Я часто перемещаю большие файлы с сервера на сервер.
UNIXes поставляется со стандартными компрессорами gzip и bzip2. Тем не менее, какие открытые варианты существуют помимо них, особенно те, которые используют несколько ядер? Я знаю о pzip2, который я использую в настоящее время.
Существуют ли какие-либо современные тесты и графики, показывающие, насколько быстрыми / эффективными компрессоры видят компромисс между временем и размером файла?
Предпочтительной является альтернатива с открытым исходным кодом, которая является дистрибутивом и поддерживается в Linux / OSX. Поддержка Windows не требуется.
Ответы:
Вы не много говорите о своих приоритетах, но кажется, что сжатие больших файлов - ваш главный приоритет?
Это утверждает, что подходит для этого случая (см. Флаг -l):
http://manpages.ubuntu.com/manpages/lucid/man1/lrzip.1.html
На другом конце компромисса (высокая степень сжатия, большое время сжатия) некоторые известные дистрибутивы программного обеспечения начали использовать это недавно:
https://en.wikipedia.org/wiki/Xz
http://tukaani.org/xz/
Повторный бенчмаркинг: почему бы вам не провести несколько быстрых тестов? Тесты часто вводят в заблуждение, потому что результаты могут сильно различаться в зависимости от конкретной рабочей нагрузки и условий тестирования. Тем не менее, вот отчет на немецком языке (попробуйте google translate) о чьем-либо тесте:
http://www.linux-community.de/Internal/Artikel/Print-Artikel/LinuxUser/2010/10/Aktuelle-Komprimierprogramme-in-der-Uebersicht/(printView)/true
источник
Также стоит посмотреть на pigz для параллелизма и 7zip если поддержка Windows поднимает голову.
источник