Каково текущее состояние (2016) твердотельных накопителей в RAID?

51

В Интернете доступно множество ресурсов, в которых обсуждается использование SSD-накопителей в конфигурациях RAID - однако они в основном датируются несколькими годами, а экосистема SSD очень быстро развивается - именно так, как мы ожидаем выпуск продукта Intel «Optane» в конце этого года. который изменит все ... снова.

Я предвожу свой вопрос, утверждая, что между потребительскими твердотельными накопителями (например, Intel 535) и твердотельными накопителями (дата-центр) (например, Intel DC S3700) есть качественная разница.

Моя основная задача связана с TRIMподдержкой в ​​сценариях RAID. Насколько я понимаю, несмотря на то, что прошло более 6 лет с тех пор, как твердотельные накопители были представлены на компьютерах потребительского уровня, и 4 года с тех пор, как NVMe был коммерчески доступен - современные RAID-контроллеры все еще не поддерживают выдачу TRIMкоманд на подключенные твердотельные накопители - за исключением RAID-контроллеров Intel в режиме RAID-0.

Я удивлен, что TRIMподдержка отсутствует в режиме RAID-1, учитывая то, как диски отражают друг друга, это кажется простым. Но я отвлекся.

Отмечу, что если вы хотите отказоустойчивости дисков (как HDD, так и SSD), вы должны использовать их в конфигурации RAID - но поскольку SSD будут без TRIM, это означает, что они будут подвергаться усилению записи, что приводит к дополнительному износу, что в свою очередь, это приведет к преждевременному выходу из строя твердотельных накопителей - и это прискорбная ирония: система, предназначенная для защиты от отказа диска, может в конечном итоге привести к ее повреждению.

Так:

  1. Нужна ли TRIMподдержка современным твердотельным накопителям (эпоха 2015-2016)?

    1.1. Есть ли разница в необходимости TRIMподдержки SATA, SATA-Express и твердотельных накопителей на базе NVMe?

  2. Часто приводы рекламируются как улучшенная встроенная сборка мусора; это устраняет необходимость TRIM? Как их процесс GC работает в средах RAID?

    1.1. Например, посмотрите этот QA от 2010 года, который описывает довольно плохое снижение производительности из-за не-TRIMming ( https://superuser.com/questions/188985/how-badly-do-ssds-degrade-without-trim ) - и это В статье за ​​2015 год настоятельно рекомендуется использовать TRIM ( http://arstechnica.com/gadgets/2015/04/ask-ars-my-ssd-does-garbage-collection-so-i-dont-need-trim -право / ). Каков ваш ответ на эти веские аргументы в пользу необходимости TRIM?

  3. Многие статьи и обсуждения предыдущих лет касаются флэш-памяти SLC и MLC, а также того, что SLC предпочтительнее из-за гораздо более продолжительного срока службы - однако сегодня все твердотельные накопители (независимо от того, где они находятся в спектре от потребителя к предприятию) являются MLC. Thesesays - это различие актуальности больше?

    1.1 А что на счет TLC flash?

  4. Корпоративные твердотельные накопители, как правило, имеют гораздо более высокие пределы выносливости / записи (часто измеряемые тем, сколько раз вы можете полностью перезаписать диск за день, в течение ожидаемого срока службы диска 5 лет) - если их предел цикла записи очень высок (например, 100 полных записей в день) означает ли это, что они вообще не нужны, TRIMпотому что эти пределы настолько высоки, или, наоборот, эти пределы достижимы только при использовании TRIM?

Dai
источник
6
Хотя я не могу ответить на ваш вопрос, я думаю, что это следует рассматривать в свете того факта, что наша индустрия пытается лучше всего убить проприетарный RAID, поставщики общедоступных облачных сред теперь используют SSD в службах вычислений и хранения данных, конечно же, они решили с программным обеспечением, стиранием и т. д. Инновации в облачных вычислениях показали, что аппаратный RAID, Cisco IOS и собственные сети хранения данных являются бессмысленными товарами, которые бродят на вершине пищевой цепочки и фактически препятствуют инновациям. аппаратный RAID не может быть продан в масштабе (AWS, Azure, CERN), так что ...
Sum1sAdmin
@ Sum1sAdmin. Все поставщики общедоступных облачных сред теперь используют SSD для вычислений и хранения данных. Вы говорите, что AWS или BlackBlaze хранят данные только на SSD?
AL
@AL ну нет, я только указываю на то, что предложение SSD для хранения блоков, файлов, объектов и эфемеров
Sum1sAdmin
Я полностью не согласен с «качественной разницей» между рекламой и потребителем. Я могу заверить вас, что нет никакой разницы в производстве NAND. Конечно, есть разные производители (Samsung против Intel), но ни у одного из них нет особого производственного процесса. Конечно, есть отличия в характеристиках, но не в качественных.
Джим Б.
Говоря об Оптане, мы почти на полпути к 2016 году, и его нигде не видно ... Кто-нибудь знает, что это за сделка?
Джефф Меден

Ответы:

24

Попробуем ответить на один вопрос за раз:

  • Нужна ли поддержка TRIM для современных (эра 2015-2016) твердотельных накопителей?

Краткий ответ: в большинстве случаев нет. Длинный ответ: если вы бронируете достаточное свободное пространство (~ 20%), даже диск потребительского класса , как правило , имеет достаточно хорошие показатели согласованности производительности (но необходимо избегать дисков , которые, вместо того , дроссели на замедленной записи). Диски корпоративного уровня еще лучше, поскольку они по умолчанию занимают больше свободного места, а их комбинация контроллера и встроенного ПО оптимизирована для непрерывного использования диска. Например, взгляните на привод S3700, на который вы ссылались: даже без обрезки он имеет очень хорошую согласованность записи.

  • Часто объявляются диски с улучшенной встроенной сборкой мусора, устраняет ли это необходимость в TRIM? Как их процесс GC работает в средах RAID

Сборщик мусора накопителя работает в песочнице накопителя - он ничего не знает о внешней среде. Это означает, что на него (в основном) не влияет уровень RAID массива. Тем не менее, некоторые уровни RAID (в основном на основе четности) могут иногда (и в некоторой конкретной реализации) увеличивать коэффициент усиления записи, что, в свою очередь, означает более высокую работу для подпрограмм GC.

  • Многие статьи и обсуждения предыдущих лет касаются флэш-памяти SLC против MLC и того, что SLC предпочтительнее из-за гораздо более продолжительного срока службы, однако кажется, что все твердотельные накопители (независимо от того, где они находятся в спектре от потребителя к предприятию) - это MLC. - это различие актуальности больше

Диски SLC в основном исчезли с предприятия, будучи отнесены в основном к военным и некоторым промышленным задачам. Предприятие с пометкой теперь делится на три сорта:

  • Вспышка HMLC / MLCe - это микросхема MLC с лучшими бинами, сертифицированная для выдерживания не менее 25000/30000 циклов перезаписи;
  • Чипы 3D MLC рассчитаны на 5000-10000 циклов перезаписи;
  • обычные планарные микросхемы MLC и 3D TLC рассчитаны на 3000 циклов перезаписи.

На самом деле, любой из вышеперечисленных типов флэш-памяти должен обеспечивать достаточную общую емкость записи, и вы можете найти корпоративные диски со всеми вышеперечисленными типами флэш-памяти.

Реальное различие между движением предприятия и потребителя:

  • комбо контроллера / прошивки, с жесткими дисками предприятия умирать из-за неожиданной ошибки контроллера;
  • защищенный от записи кэш-память, чрезвычайно важная для предотвращения повреждения слоя трансляции Flash (FTL), который хранится на самой флэш-памяти.

Драйверы корпоративного уровня лучше в основном благодаря своим контроллерам и конденсаторам питания, а не благодаря лучшей вспышке.

  • Корпоративные твердотельные накопители, как правило, имеют гораздо более высокие пределы выносливости / записи (часто измеряемые тем, сколько раз вы можете полностью перезаписать диск в день в течение ожидаемого 5-летнего срока службы диска), устраняет ли это какие-либо опасения по поводу усиления записи, вызванные не работает TRIM?

Как указывалось выше, диски корпоративного уровня имеют гораздо больше свободного места по умолчанию (~ 20%), что, в свою очередь, значительно снижает потребность в регулярных TRIM

В любом случае, обратите внимание на некоторые программные RAID-массивы, которые поддерживают TRIM (кто-то сказал, что Linux MDRAID? )

shodanshok
источник
Всего 35000 циклов записи ?! Это не похоже на очень многих. Я думаю, что имеет смысл, если увеличенные замены дисков дешевле, чем покупка такой же емкости в SLC.
user253751
~ 30000 минимальных гарантированных циклов перезаписи ничего плохого: с увеличенной емкостью, обеспечиваемой коммутатором для NAND с 2 битами на ячейку, накопители MLC намного дешевле, чем SLC, сохраняя при этом аналогичную стойкость. Более того, дни, когда ячейки SLC класса 50 нм были оценены на> 100000 циклов перезаписи, вероятно, прошли: даже у корпоративных накопителей есть флэш-память класса 34/25 нм (или меньше), с существенно меньшей выносливостью (что также влияет на накопители SLC).
Сёданшок
@shodanshok Ваш вывод таков: «Используйте твердотельные накопители корпоративного уровня (SAS), подключенные к обычному RAID-контроллеру, и не беспокойтесь об этом» - и что я не увижу снижение производительности в течение 5 лет, на которые гарантирован диск? И что проблемы с производительностью, задокументированные другими пользователями, влияют только на диски потребительского уровня?
Дай
@Dai для жестких дисков корпоративного уровня. Я имею в виду не только твердотельные накопители SAS, но и отдельные твердотельные накопители SATA можно считать корпоративными. И да, корпоративные диски имеют очень хорошую стабильность производительности даже в устойчивом состоянии (то есть: полностью заполнены). Пример таких приводов смотрите здесь . Даже некоторые потребительские диски в сочетании с щедрым сверхобеспечением могут быть вполне последовательными. Смотрите здесь для примера.
Сёданшок
1
Биннинг - это процесс, при котором кремниевые чипы анализируются и группируются в зависимости от их качества. Итак, корпоративные чипы MLC NAND - это, по сути, «лучше сделанные», лучше протестированные чипы.
Шоданшок
9

TRIM - это не то, о чем я когда-либо беспокоюсь, когда использую SSD на современных RAID-контроллерах. Усовершенствованы твердотельные накопители, функции аппаратного RAID-контроллера оптимизированы для этих рабочих нагрузок, а отчеты о выносливости обычно присутствуют.

TRIM для дисков нижнего уровня SATA. Для SAS SSD у нас есть SCSI unmap, и, возможно, именно поэтому я не сталкиваюсь с потребностями TRIM ...

Но другой комментатор прав. Программно-определяемое хранилище (SDS) меняет то, как мы используем твердотельные накопители. В решениях SDS контроллеры RAID не имеют значения. И такие вещи, как TRIM, как правило, менее важны, потому что твердотельные накопители выполняют указанные роли. Я имею в виду кэш-память чтения Nimble или ZFS L2ARC и ZIL ... Все они отвечают определенным потребностям, а программное обеспечение более разумно использует ресурсы.

ewwhite
источник
3
UNMAP и TRIM делают то же самое.
Майкл Хэмптон
2
Trim / unmap всегда требуется - без него вам бы пришлось полностью полагаться на внутренний сборщик мусора
Jim B
Внутренняя сборка мусора не заменит TRIM. Нет функции прошивки, которая может заменить то, что делает TRIM. Это немного настораживает, так как многие ответы здесь не понимают, что на самом деле делает TRIM и зачем это нужно. Ссылка на такие статьи, как эта arstechnica.com/gadgets/2015/04/…
Шив,
1

Уровни RAID с SSD Ответ выше предполагает, что уровни RAID с четностью, как RAID 5, увеличивают усиление записи. На самом деле существует несколько способов интерпретации этого: влияние на один диск или влияние на набор дисков.

По сравнению с отсутствием избыточности, RAID 5 добавляет записи в набор, поскольку добавляет четность контрольной суммы. По сравнению с массивом RAID 0 (n-1), влияние массива RAID 5 с n дисками на диск является ничем. Каждый из n дисков получает столько же записей. RAID 5 добавляет 1 / (n-1) дополнительные записи в набор. RAID 1 и RAID 10, однако, добавляют на набор 100% дополнительных записей, поскольку все данные, записанные на одном SSD, записываются на его зеркало.

Таким образом, с точки зрения записи в набор RAID 5 по сравнению с набором RAID 10 с тем же числом дисков, твердотельные накопители в наборе RAID 5 будут получать меньше записей. И это остается верным, даже если вы увеличите количество SSD в RAID 10, установленном для выравнивания полезной емкости.

Кит Дж
источник
0

Здесь настоящий шоданшок затронул реальный ответ. Если вы зарезервируете дополнительное пространство, «переполнение», устойчивость вашего SSD и согласованность производительности записи со временем будут улучшены, а отсутствие поддержки TRIM станет в основном неактуальным. Резервировать это дополнительное пространство можно так же просто, как, начиная с нового твердотельного накопителя, с разделением меньше, чем полная емкость. Большинство встроенных контроллеров обрабатывают никогда не использованное пространство так же, как зарезервированное пространство и, таким образом, значительно уменьшают усиление записи. Для загрузки и ОС, вероятно, достаточно 10% зарезервированного пространства. Для дисков, которые часто перезаписываются, увеличьте это пространство.

Кит Дж
источник