Машина времени, ZFS и дедупликация

8

В настоящее время я экспортирую раздел ZFS с dedup=onиспользованием ubuntu-zfsи netatalk. Тем не менее, машина времени настаивает на создании на ней разреженного пакета, и это заставило меня задуматься о том, не повлияет ли это на дедупликацию, поскольку концепция «файлов» исчезнет, ​​и, вероятно, выравнивание блоков тоже не будет хорошим… ,

PS Вся моя идея использования дедупликации заключается в том, что у меня есть пара macbooks, резервное копирование в одно и то же место, и многие их файлы равны.


Приложение: Похоже, что выравнивание на уровне блоков не приводит к дедупликации. Вот мой опыт:

  • Копии машины времени двух разных macbooks, с множеством дублированных данных среди них (всего 200 Гб)
  • CCC из двух macbooks на два разреженных изображения.

Фактор дедупликации? 1.01x


Любые идеи о том, как настроить дедупликацию ZFS для правильной работы с резервными копиями машины времени? Должен ли я начать искать другие альтернативы резервного копирования (с дедупликацией)?

Уго Серено Феррейра
источник
Сжатие кажется действительно лучшим вариантом. Может ли это быть шифрование? Два зашифрованных файла с одинаковым содержимым могут очень хорошо «выглядеть» иначе, чем файловая система, из-за того, как работает шифрование. Я полагаю, что дедупликация хорошо работает на незашифрованном томе, даже если это один огромный файл, а не редкий пакет.
Олег Лобачев

Ответы:

7

Дедупликация в ZFS - на уровне блоков, поэтому она не зависит от концепции файлов. Единственный способ избежать дедупликации - это если смещение файла в sparsebundle не всегда одинаково по модулю размера блока. Поскольку ZFS может использовать переменные размеры блоков, которые больше, чем размер блоков файловой системы HFS + внутри sparsebundle, правильное выравнивание не гарантируется, но также не гарантируется, что дедупликация не удастся.

Если вас беспокоит пространство, вы также можете включить сжатие в своем пуле ZFS. Это накладывает дополнительные затраты ресурсов процессора, но на самом деле может увеличить эффективную пропускную способность диска.

user5516
источник