Более эффективная программа сжатия файлов для многих идентичных файлов?

12

Я делаю резервную копию своей работы и ищу программу, которая может более эффективно сжимать файлы. Программа сжатия Windows по умолчанию работает нормально, но она не работает так "умно", как хотелось бы.

Мои файлы - это, по сути, целые снимки моей работы, сделанные за последние несколько месяцев, когда я регулярно делаю резервные копии. не много изменений между резервными копиями, и многие файлы являются просто копиями друг друга.

Весь мой набор файлов составляет примерно 15 ГБ без сжатия, в то время как отдельные резервные копии моментальных снимков (сжатые с помощью стандартных программ сжатия) составляют примерно 150-200 МБ каждая (как правило, их размер увеличивается с более поздними датами). Общий размер всех сжатых снимков составляет около 3 ГБ. Из-за природы файлов я ожидаю, что «умная» программа сжатия займет весь объем примерно до 400-500 МБ, то есть с учетом разумной неэффективности и дополнительного пространства для сжатия различий в файлах.

Существует ли программа сжатия, которая использует тот факт, что многие файлы идентичны для достижения гораздо более высокой степени сжатия, чем стандартная программа сжатия Windows?

Спасибо -Faken

Изменить: Только что закончил лучшее сжатие всего тома с использованием стандартного сжатия Windows. Это только на 10 МБ лучше, чем сжатые снимки вместе взятые. На мой взгляд, это недопустимо, зная природу файлов.

ChrisF
источник
На какой версии windows?
Джон Т
1
Хех, его перспектива ...
3
Не лучше ли перейти на контроль версий вместо этих резервных копий? Я использую Git также для двоичных файлов, и он работает очень хорошо. Я не думаю, что это может сжать его так хорошо, как 7z, но имеет ли значение, если это займет 150 МБ или 300 МБ? Если нет, я бы пошел на простоту использования и гибкость.
Maaartinus

Ответы:

18

7-zip поддерживает сплошное сжатие, если я правильно помню, поэтому он должен очень хорошо сжимать множество практически одинаковых файлов.

Т. Калтнекар
источник
2
+1 и рассмотрим формат по умолчанию 7z .
Ник
Я попробую, я вернусь к вам с результатами.
2
После 1 часа сжатия при максимальных настройках я получил размер файла 133 МБ. Это очень впечатляет! Моя первоначальная агрессивная оценка (которую я не утверждал) была размером файла около 150 МБ (это противоречит моей заявленной консервативной оценке в 400-500 МБ). Похоже, теперь я буду конвертировать в 7z!
Даже если вам нужно придерживаться стандартного формата Zip, 7-zip имеет более высокую производительность, чем другие популярные инструменты сжатия (WinRAR, WinZip) с максимальной настройкой эффективности.
Кристофем
«7 zip» буквально является одним из первых инструментов, которые я поставил на новую коробку. Это слишком полезно.
CorsiKa
6

Я провел некоторое тестирование по аспекту «идентичных файлов», как упоминалось в вопросе, используя 7-zip (версия 9.20), поскольку никто пока не дал подробного ответа на этот вопрос. Это дало некоторые интересные результаты. Я проверил с 10 копиями файла, который этот сайт использует для своего сообщения «страница не найдена» . Этот файл не очень хорошо сжимается как отдельный файл, являющийся jpg-файлом. Таким образом, он продемонстрирует эффективность сжатия нескольких идентичных файлов. Его размер файла составляет 37 КБ.

  1. Когда я сжимаю все десять копий, используя zip-формат, размер файла составляет 367 КБ, при этом сжатый размер составляет около 99% от исходного общего размера всех 10 файлов.
  2. Когда я сжимаю все десять копий в формате 7z, размер файла составляет 37 КБ, а сжатый размер составляет около 101% только одного из исходных файлов.
  3. Если я сначала помещу 5 копий в 7-z архив, а затем добавлю 3 и, наконец, 2 копии в отдельных шагах, размер файла станет 111 КБ, что примерно в три раза больше размера одного исходного файла.

Если я открою 3-й архив, одним из свойств будет Блок . Здесь перечислены 0, 1 и 2 для 3, 5 и 2 файлов соответственно.

Замечания:

  1. В zip-формате каждый файл будет сжиматься отдельно, без возможности эффективного сжатия идентичных файлов.
  2. Формат 7z эффективно сжимает несколько одинаковых файлов, если они добавляются в архив за один шаг.

Выводы:

  1. Для оптимального сжатия файлов используйте 7z, а не zip.
  2. Сжатие может значительно улучшиться, если вы не добавляете файлы в существующий 7z-архив, но сначала распаковываете его, и это сжимает его снова, включая новые файлы, за один шаг.
Р. Шреурс
источник
1

Windows Vista поставляется с Центром резервного копирования и восстановления . Он будет делать инкрементные резервные копии ваших файлов, чтобы не тратить пространство и создавать несколько резервных копий. Со связанной страницы:

В ранее сохраненных версиях файлов используется только минимальный объем дискового пространства. Если изменяется только небольшая часть файла (например, один слайд в презентации), отслеживается и сохраняется только эта часть.

Джон Т
источник
1

7-Zip имеет один из лучших алгоритмов сжатия. Я не верю, что в настоящее время есть что-то, что превосходит 7-zip по алгоритму сжатия.

Сварливый медведь
источник