Какие инструменты и концепции хороши для тех, кто задумывается об использовании сжатия файловой системы HFS?

12

У меня есть клиент с объемом около 60 ТБ данных на нескольких томах HFS +, подключенный напрямую через оптоволоконный канал и предоставленный для совместного использования с помощью AFP. В настоящее время у нас загруженность составляет около 85%, и бюджет на расширение хранилища не будет действовать в течение нескольких месяцев. Наш рост данных предполагает, что мы достигнем 90% мощности за четыре месяца. Я рассматриваю какое-то сжатие файловой системы на месте, которое прозрачно сжимает файлы в покое в хранилище, не изменяя рабочие процессы пользователей настольных компьютеров. (То есть они должны просто работать как обычно, без необходимости распаковывать файлы.)

Я понимаю, что сжатие файловой системы HFS + можно выполнить с помощью команды ditto; Я также успешно использовал бесплатный afsctool для сжатия файлов. Последний не обновлялся в течение достаточно долгого времени, и я не уверен в приверженности разработчика. Я не программист, поэтому исходный код мало что значит для меня.

Существуют ли альтернативные коммерческие инструменты, которые будут автоматически, автоматически выполнять сжатие файловой системы так, как я ищу? Предпочтительно, чтобы была бы надежная поддержка инструмента для предприятия (скажем, поддержка по телефону). Или мне лучше периодически использовать сжатие сценариев, используя то же самое? Является ли сжатие HFS + верным путем?

storage hfs flumignan
источник

Ответы:

7

Сначала вы должны выяснить, стоит ли сжатие того или нет. Это во многом зависит от типа контента, который вы храните. Если содержимое не сжимаемо (изображения JPEG, большинство форматов видео, ZIP-архивы и т. Д.), Это дает мало преимуществ, и дополнительные накладные расходы на декомпрессию могут даже привести к (незначительному) замедлению доступа к файлам.

Сжатие HFS +, скорее всего, неправильный инструмент по нескольким причинам. Во-первых, сжатие не прозрачно, а только декомпрессия. То есть, если файл хранится в сжатом виде, он будет прозрачно распакован при чтении, но вновь созданный файл не будет сжат по умолчанию.

Хуже того, когда вы перезаписываете или добавляете в сжатый файл, он снова сохраняется без сжатия HFS +. Поэтому, если вы хотите использовать сжатие HFS + с пользовательскими данными, вам необходимо сначала скопировать весь том (используя ditto или afsctool), файл за файлом. На 60 ТБ это может занять довольно много времени. Кроме того, вам необходимо регулярно запускать процесс, который определяет, какие файлы были добавлены / изменены недавно (или не сжаты), и (повторно) сжимает их.

Как говорится в той же справочной странице, сжатие HFS + «предназначено только для сценариев установки и резервного копирования, в которых используются системные файлы» . Это отлично /Applicationsподходит для вашей папки, но не очень подходит для вашего файла. Только если вы действительно отчаянно нуждаетесь в емкости и имеете много файлов, которые никогда не записываются, я бы даже подумал об этом. Ключ отчаялся :)

Я не знаю ни о каких прозрачных пакетах сжатия на уровне файловой системы для OS X. ZFS поддерживает прозрачное сжатие файловой системы, но переключение ваших файловых файлов OS и FS может быть не вариант (так как, к сожалению, нет полной реализации ZFS для Mac OS X).

Ингмар Хапп
источник
1
Это очень полезно. Действительно, наши нынешние бюджетные ограничения, какими бы они ни были, и, учитывая нашу скорость хранения, этот тип сжатия может быть действительно уместным. Эта установка содержит десятки миллионов небольших медицинских изображений, которые хорошо сжимаются (около 25%). Я бы сказал, что 80% существующей файловой системы не тронуты в течение нескольких месяцев, поэтому сжатие HFS может быть хорошим кандидатом, чтобы удержать нас, пока мы не сможем купить больше памяти. Xserve довольно громоздкий, и с нужным элементом запуска и скриптом я мог бы выборочно сжимать старые, менее используемые проекты в фоновом режиме в нерабочее время.
Флуминьян