Изчисляването на MD5 хеш по-малко натоварва ли процесора от SHA-1 или SHA-2 на "стандартен" лаптоп x86 хардуер? Интересувам се от обща информация, а не конкретно за определен чип.
АКТУАЛИЗАЦИЯ: В моя случай се интересувам от изчисляване на хеша на файл. Ако размерът на файла има значение, нека приемем, че е 300K.
Да, MD5 е малко по-малко натоварващ процесора. На моя Intel x86 (Core2 Quad Q6600, 2,4 GHz, с едно ядро) получавам това в 32-битов режим:
MD5 411
SHA-1 218
SHA-256 118
SHA-512 46
и това в 64-битов режим:
MD5 407
SHA-1 312
SHA-256 148
SHA-512 189
Цифрите са в мегабайти в секунда за „дълго“ съобщение (това получавате за съобщения, по-дълги от 8 kB). Това е с sphlib, библиотека с хеш реализации на функции в C (и Java). Всички реализации са от един и същи автор (аз) и са направени със сравними усилия за оптимизации; по този начин разликите в скоростта могат да се считат за наистина присъщи на функциите.
За сравнение помислете, че скорошен твърд диск ще работи с около 100 MB/s, а всичко, което е през USB, ще достигне под 60 MB/s. Въпреки че SHA-256 изглежда "бавен" тук, той е достатъчно бърз за повечето цели.
Имайте предвид, че OpenSSL включва 32-битова реализация на SHA-512, която е доста по-бърза от моя код (но не като бърз като 64-битовия SHA-512), тъй като изпълнението на OpenSSL е в процес на асемблиране и използва SSE2 регистри, нещо, което не може да се направи в обикновен C. SHA-512 е единствената функция сред тези четири, която се възползва от изпълнение на SSE2.
Редактиране: на тази страница (архив), можете да намерите отчет за скоростта на много хеш функции (щракнете върху връзката „Telechargez maintenant“). Докладът е на френски, но е пълен предимно с таблици и числа, а числата са международни. Внедрените хеш функции не включват кандидатите SHA-3 (с изключение на SHABAL), но работя върху това.
На моя MacBook Air от 2012 г. (Intel Core i5-3427U, 2x 1,8 GHz, 2,8 GHz Turbo), SHA-1 е малко по-бърз от MD5 (използвайки OpenSSL в 64-битов режим):
$ openssl speed md5 sha1
OpenSSL 0.9.8r 8 Feb 2011
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 30055.02k 94158.96k 219602.97k 329008.21k 384150.47k
sha1 31261.12k 95676.48k 224357.36k 332756.21k 396864.62k
Актуализация: 10 месеца по-късно с OS X 10.9, SHA-1 стана по-бавен на същата машина:
$ openssl speed md5 sha1
OpenSSL 0.9.8y 5 Feb 2013
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 36277.35k 106558.04k 234680.17k 334469.33k 381756.70k
sha1 35453.52k 99530.85k 206635.24k 281695.48k 313881.86k
Втора актуализация: В OS X 10.10 скоростта на SHA-1 се връща на ниво 10.8:
$ openssl speed md5 sha1
OpenSSL 0.9.8zc 15 Oct 2014
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 35391.50k 104905.27k 229872.93k 330506.91k 382791.75k
sha1 38054.09k 110332.44k 238198.72k 340007.12k 387137.77k
Трета актуализация: OS X 10.14 с LibreSSL е много по-бърза (все още на същата машина). SHA-1 все още излиза на върха:
$ openssl speed md5 sha1
LibreSSL 2.6.5
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 43128.00k 131797.91k 304661.16k 453120.00k 526789.29k
sha1 55598.35k 157916.03k 343214.08k 489092.34k 570668.37k
Истинският отговор е: Зависи
Има няколко фактора, които трябва да имате предвид, като най-очевидните са: процесорът, на който изпълнявате тези алгоритми, и изпълнението на алгоритмите.
Например аз и приятелят ми изпълняваме една и съща версия на openssl и получаваме малко по-различни резултати с различен процесор Intel Core i7.
Моят тест по време на работа с процесор Intel(R) Core(TM) i7-2600 @ 3,40 GHz
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 64257.97k 187370.26k 406435.07k 576544.43k 649827.67k
sha1 73225.75k 202701.20k 432679.68k 601140.57k 679900.50k
И неговият с Intel(R) Core(TM) i7 CPU 920 @ 2.67GHz
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 51859.12k 156255.78k 350252.00k 513141.73k 590701.52k
sha1 56492.56k 156300.76k 328688.76k 452450.92k 508625.68k
И двамата работим с абсолютно същите двоични файлове на OpenSSL 1.0.1j 15 октомври 2014 г. от официалния пакет на ArchLinux.
Моето мнение по този въпрос е, че с добавената сигурност на sha1 е по-вероятно дизайнерите на процесора да подобрят скоростта на sha1 и повече програмисти ще работят върху оптимизирането на алгоритъма, отколкото md5sum.
Предполагам, че md5 вече няма да се използва някой ден, тъй като изглежда, че няма предимство пред sha1. Също така тествах някои случаи върху реални файлове и резултатите винаги бяха еднакви и в двата случая (вероятно ограничени от I/O на диска).
md5sum на голям файл от 4,6 GB отне точно същото време като sha1sum на същия файл, същото важи и за много малки файлове (488 в същата директория). Проведох тестовете десетина пъти и те постоянно получаваха едни и същи резултати.
--
Би било много интересно да проучим това допълнително. Предполагам, че има някои експерти наоколо, които биха могли да дадат солиден отговор защо sha1 става по-бърз от md5 на по-новите процесори.
openssl speed, което е първият и най-смислен бенчмарк.
- person Johnride; 31.01.2017
Като човек, който прекарва малко време в оптимизиране MD5 производителност, реших да дам повече техническо обяснение от сравнителните показатели, предоставени тук, на всеки, който случайно открие това в бъдеще.
MD5 върши по-малко работа от SHA1 (напр. по-малко кръгове на компресиране), така че някой може да си помисли, че трябва да е по-бърз. Алгоритъмът MD5 обаче е най-вече една голяма верига на зависимост, което означава, че не използва особено добре съвременните суперскаларни процесори (т.е. проявява нисък брой инструкции на часовник). SHA1 разполага с повече паралелизъм, така че въпреки необходимостта от извършване на повече изчислителна работа, той често се оказва по-бърз от MD5 на модерни суперскаларни процесори.
Ако направите сравнението MD5 срещу SHA1 на по-стари процесори или такива с по-малка суперскаларна ширина (като като базиран на Silvermont Atom CPU), обикновено ще откриете, че MD5 е по-бърз от SHA1.
SHA2 и SHA3 са дори по-интензивни изчисления от SHA1 и като цяло са много по-бавни.
Едно нещо, което трябва да се отбележи обаче е, че някои нови процесори x86 и ARM имат инструкции за ускоряване на SHA1 и SHA256, което очевидно помага значително на тези алгоритми, ако инструкциите се използват.
Като настрана, производителността на SHA256 и SHA512 може да покаже подобно любопитно поведение. SHA512 върши повече работа от SHA256, но ключова разлика между двете е, че SHA256 работи с 32-битови думи, докато SHA512 работи с 64-битови думи. Като такъв, SHA512 обикновено ще бъде по-бърз от SHA256 на платформа с 64-битов размер на думата, тъй като обработва двойно повече данни наведнъж. Обратно, SHA256 трябва да превъзхожда SHA512 на платформа с 32-битов размер на думата.
Имайте предвид, че всичко по-горе се отнася само за хеширане на един буфер (най-често срещаният случай на употреба). Ако сте фантазия и изчислявате множество хешове паралелно, т.е. многобуферен SIMD подход, поведението се променя донякъде.
MD5 също се възползва от използването на SSE2, проверете BarsWF и след това ми кажете, че не е така. Необходими са само малко асемблерни познания и можете да създадете свои собствени MD5 SSE2 процедури. За големи количества пропускателна способност обаче има компромис със скоростта по време на хеширане, за разлика от времето, прекарано в пренареждане на входните данни, за да бъдат съвместими с използваните SIMD инструкции.
sha1sum е доста по-бърз на Power9 от md5sum
$ uname -mov
#1 SMP Mon May 13 12:16:08 EDT 2019 ppc64le GNU/Linux
$ cat /proc/cpuinfo
processor : 0
cpu : POWER9, altivec supported
clock : 2166.000000MHz
revision : 2.2 (pvr 004e 1202)
$ ls -l linux-master.tar
-rw-rw-r-- 1 x x 829685760 Jan 29 14:30 linux-master.tar
$ time sha1sum linux-master.tar
10fbf911e254c4fe8e5eb2e605c6c02d29a88563 linux-master.tar
real 0m1.685s
user 0m1.528s
sys 0m0.156s
$ time md5sum linux-master.tar
d476375abacda064ae437a683c537ec4 linux-master.tar
real 0m2.942s
user 0m2.806s
sys 0m0.136s
$ time sum linux-master.tar
36928 810240
real 0m2.186s
user 0m1.917s
sys 0m0.268s
