Самодельные решения для автоматического многоуровневого хранения с Linux? (Память -> SSD -> HDD -> удаленное хранилище)

13

В связи с этим вопрос об использовании SSD для системы и HDD для данных , за исключением того, что я хотел бы, чтобы моя система делала это автоматически ...

Возможно ли иметь несколько уровней хранения и автоматически помещать элементы между ними, используя предпочтительно бесплатное программное обеспечение с открытым исходным кодом?

Я знаю об очень дорогих решениях корпоративного класса, таких как автоматическое архивирование EMC SAN-> EMC Centera , но мне было интересно, возможно ли такое поэтапное хранение автоматически.

Было бы неплохо иметь несколько слоев: Memory-> SSD-> HDD-> более медленный HDD или магнитная лента или какое-либо другое решение для архивирования.

Есть ли файловые системы, которые могут сделать это автоматически? (ZFS, Btrfs, HAMMER?)

Любые Unix- варианты хороши, так как меня интересует, как это работает и может ли оно быть переносимым на Linux или другие разновидности (BSD и т. Д.).

linux unix ssd archive storage Дэвид Гарднер
источник

Ответы:

14

Ну, ZFS использует многоуровневую систему хранения, называемую Hybrid Storage Pool (HSP) :

  1. Слой: память
  2. Уровень: SSD-кэши для чтения (L2ARC) и записи-кэши (отдельный журнал намерений или слог).
  3. Слой: (дешевые) жесткие диски

С HSP легко автоматически воспользоваться преимуществами SSD по сравнению с решением только для жесткого диска. Система, использующая HSP, может быть быстрее и дешевле, чем последняя. Смотрите эту ссылку для некоторых хороших примеров и более подробной информации.

Я думаю, что есть планы относительно иерархического управления хранилищем (HSM) для ZFS (см., Например, проект OpenSolaris с автоматической миграцией данных (ADM) ), но я не знаю его текущего статуса.

knweiss
источник
Это как раз то, о чем я думал, спасибо! (Теперь, чтобы помочь с портом Linux ...;)
Дэвид Гарднер
Я бы не назвал это многоуровневым, а кеширующим. В том смысле, что кэширование означает сохранение копии часто используемых блоков, многоуровневое перемещение данных в более медленное / быстрое хранилище. Я бы не назвал журнал намерений в ZFS настоящим кэшем записи, если я правильно понял.
Мросси
5

Посмотрите решение на базе LVM "lvmts" (многоуровневое хранилище LVM), которое готовит этот парень:

https://bbs.archlinux.org/viewtopic.php?pid=1140640#p1140640

Довольно круто.

Шейн
источник
+1 Это выглядит очень интересно - я буду следить за этим!
Дэвид Гарднер
5

Кажется, TIER отвечает вашим потребностям. Это модуль ядра Linux, который может создать многоуровневое хранилище. Кажется, что он сам изучает шаблон и оптимизирует размещение в хранилище.

http://www.lessfs.com/wordpress/?p=776

Dolanor
источник
Только что увидел вопрос старый ... Извините ^^ '
Доланор
2
Оживление старых вопросов лучше, чем гниение со старой и устаревшей информацией о них!
Дэвид Гарднер
Я обеспокоен тем, что этот парень хочет уменьшить избыточность ради дополнительной емкости (особенно, когда твердотельные накопители сравнительно малы и ненадежны).
Тобу
Также беспокоит, что он предлагает рейд в качестве решения, когда экспериментальное программное обеспечение больше всего нуждается в резервном копировании.
Тобу
Вот еще несколько положительных отзывов: permalink.gmane.org/gmane.comp.file-systems.ceph.devel/8316
Тобу
1

Отвечая на мой собственный вопрос с чем-то, что я только что нашел:

Я просто обновлял ядро ​​и смотрел на новые вещи, которые были добавлены, и теперь есть опция 'CACHEFILES', которая позволяет кэшировать (обычно удаленные) файловые системы в локальную файловую систему. Я думаю, я мог бы использовать это для кэширования более медленного механизма хранения (HDD) в более быстрый (SSD), по крайней мере, для одного уровня иерархии.

Дэвид Гарднер
источник
Вы пробовали это решение? Как это работает?
Сколима
1
Неважно - я узнал сам, что CacheFS на данный момент поддерживает только NFS и AFS.
Сколима
Использование сетевых файловых систем для этого не является плохой идеей, они имеют тенденцию созревать намного быстрее, чем наборы исправлений ядра. Интересно, есть ли в Ceph или DRBD полезные режимы для многоуровневого хранения.
Тобу
1

Некоторые актуальные ссылки. YMMV.

http://code.google.com/p/fscops/ - «Менеджер онлайн-иерархического хранения (OHSM)» - это первая попытка создания менеджера хранения данных с открытым исходным кодом на уровне предприятия, который автоматически перемещает данные между дорогостоящим и недорогим хранилищем СМИ.".

http://www.tack.ch/unix/dmapi/ - XFS + DMAPI под Linux

http://jfs.sourceforge.net/ - JFS + DMAPI под Linux

sendmoreinfo
источник
Проект OHSM выглядит интересным для подражания. На данный момент поддерживается только ext2 и ядро ​​2.6.30, но я ожидаю, что если все получится, то получится больше файловых систем.
Дэвид Гарднер
Этот проект выглядит заброшенным, последняя активность была в 2009 году.
sendmoreinfo
0

Вспоминаются снимки LVM2 ... но вы не можете сделать больше, чем один снимок.

dyasny
источник
0

SAM-QFS - это существующий продукт Sun, который был открыт в прошлом году. Это CDDL, так что вы можете напрямую подключить его только к * BSD.

TRS-80
источник