Можно ли в некоторых ситуациях безопасно заменить «корпоративные» диски на ближнюю / среднюю?

22

При указании серверов, таких как (я бы предположил) многих инженеров, которые не являются экспертами в области хранилищ, я обычно буду осторожен (и, возможно, буду рабом маркетинга), стандартизируя как минимум 10 тыс. Дисков SAS (и, следовательно, Enterprise "-regrade с рабочим циклом 24x7 и т. д.) для" системных "данных (обычно ОС и иногда приложений) и резервировать использование дисков средней / ближней / средней скорости 7,2 тыс. для хранения несистемных данных, где производительность не является существенной фактор. Все это предполагает 2,5-дюймовые (SFF) диски, так как 3,5-дюймовые (LFF) диски действительно имеют отношение только к требованиям высокой емкости и IOP.

В ситуациях, когда нет большого количества несистемных данных, я обычно размещаю их на тех же дисках / массиве, что и системные данные, что означает, что на сервере имеется только 10 тыс. Дисков SAS (как правило, типа «один большой RAID10»). настройки в эти дни). Только если размер несистемных данных является значительным, я обычно рассматриваю возможность размещения их на отдельном массиве средних / близких дисков емкостью 7,2 тыс., Чтобы снизить стоимость / ГБ.

Это заставляет меня задуматься: в каких ситуациях эти 10-килобайтные диски в массиве RAID10 можно было заменить на 7,2 тыс. Дисков без каких-либо существенных негативных последствий? Другими словами, иногда я переусердствую (и поддерживаю производителей оборудования), придерживаясь как минимум 10 тыс. Дисков корпоративного уровня, или есть веская причина всегда придерживаться этого как минимум?

Например, возьмем сервер, который действует как гипервизор с парой виртуальных машин для типичной небольшой компании (скажем, 50 пользователей). Компания имеет средние схемы ввода / вывода без особых требований. Типичный 9-5, пн-пт офис, с резервными копиями, работающими в течение нескольких часов ночью. Виртуальные машины могут быть DC и сервером файлов / печати / приложений. На сервере имеется массив RAID10 с 6 дисками для хранения всех данных (системных и несистемных данных). На мой неопытный взгляд, похоже, что средние / ближние диски могут работать нормально. Взяв диски HP в качестве примера:

  • Рабочая нагрузка: средние диски рассчитаны на <40% рабочей нагрузки. Поскольку офис открыт только в течение 9 часов в день, а среднее число операций ввода-вывода в этот период вряд ли будет где-то близко к максимуму, маловероятно, что рабочая нагрузка превысит 40%. Даже после нескольких часов интенсивного ввода-вывода в ночное время для резервного копирования, я думаю, он все равно будет ниже 40%
  • Скорость. Несмотря на то, что размер дисков составляет всего 7,2 Кб, производительность повышается за счет распределения по шести дискам.

Итак, мой вопрос: разумно ли вставлять как минимум 10 тыс. Дисков SAS или средние / ближние диски емкостью 7,2 тыс. Действительно более чем достаточны во многих ситуациях? Если так, как я могу определить, где находится линия, и не быть рабом невежества, играя в это безопасно?

Мой опыт в основном связан с серверами HP, поэтому вышеизложенное может иметь некоторые наклонности к HP, но я бы предположил, что эти принципы не зависят от поставщика.

DBR
источник
3
Средние диски SFF 7.2k не имеют смысла из-за ограничений по объему и нагрузке. Если вы говорите об оборудовании HP (моя специальность) , то диски SAS емкостью 900 ГБ и 1,2 ТБ 10 КБ будут лучшим вариантом, если вы не используете твердотельные накопители. Если вы находитесь в США, 900 ГБ SAS должны составлять ~ 300-400 долларов, если у вас хороший поставщик.
ewwhite
1
Небольшая грамматическая жалоба: если вы говорите «замените X на Y», это означает, что у вас был Y для начала, и вы заменяете его на X.
pjc50
2
Вы уверены, что живете в 2015 году? Потому что с некоторых лет мой OS диск является маленьким SSD (экономит электроэнергию и т. Д.), И я бы не стал трогать HD для высокой производительности.
TomTom
1
@ TomTom Нет, я в 2016 году :) На самом деле, я не особо обдумал это. Как я уже говорил в своем посте, я обычно использую подход «один большой RAID 10» в наши дни, поэтому ОС будет работать и дальше. Разделение ОС на отдельный SSD кажется расточительным, если в этом нет особой необходимости. Мне было бы интересно услышать ваши мысли. Вы бы использовали один SSD или зеркальную пару? Возможно, это сделало бы хороший вопрос о СФ само по себе ...
dbr
1
Зеркальная пара для ОС. HP даже продает ОС / загрузочные SSD.
ewwhite

Ответы:

25

Здесь есть интересное пересечение дизайна серверов, дисковых технологий и экономики:

Также см .: Почему диски с большим форм-фактором (LFF) все еще довольно распространены?

  • Переход к плотным стоечным и малым серверам форм-фактора. Например, вы больше не видите много предложений башен от крупных производителей, в то время как более плотные производственные линии пользуются более частыми изменениями и имеют больше возможностей / доступности.
  • Застой в разработке 3,5-дюймовых корпоративных (15 КБ) дисков - 600 ГБ, 15 КБ 3,5 "- это как можно больше.
  • Медленное продвижение на 2,5-дюймовом дисковом накопителе (7,2 Кб) - 2 ТБ - самый большой, который вы там найдете.
  • Повышенная доступность и более низкие цены на твердотельные накопители большой емкости.
  • Консолидация хранилища на общее хранилище. Односерверные рабочие нагрузки, требующие высокой емкости, иногда могут обслуживаться через SAN.
  • Созревание массивов флэш-памяти и гибридных хранилищ, а также приток запусков хранилищ.

Вышесказанное объясняет, почему производители обычно концентрируются на серверах 1U / 2U с 8-24 2,5-дюймовыми отсеками для жестких дисков.

3,5-дюймовые диски предназначены для случаев использования с большой емкостью при низком IOP (2 ТБ +). Они лучше всего подходят для внешних хранилищ или хранилищ SAN, где используется некоторая форма кэширования. На скоростях 15k RPM на предприятии они доступны только до 600 ГБ.

Вращающиеся диски 2,5 "10k RPM предназначены для более высоких требований IOPS и обычно доступны до емкости 1,8 ТБ.

Прядильные диски 2,5 "с частотой вращения 7,2 тыс. Об. / Мин. - это плохой вызов, поскольку они не предлагают ни емкости, ни производительности, ни долговечности, ни ценовых преимуществ. Например, стоимость диска SAS 10k емкостью 900 ГБ очень близка к стоимости SAS с частотой вращения 7,2 тыс. Об / мин 1 ТБ. Учитывая небольшую цену Разница в том, что лучше купить диск на 900 ГБ. В примере 1.8TB 10k SAS против 2.0TB 7.2k SAS цены также очень близки. Гарантии - 3 года и 1 год соответственно.

Таким образом, для серверов и 2,5-дюймового внутреннего хранилища используйте SSD или 10 КБ. Если вам нужна емкость и для 3,5-дюймовых отсеков для дисков можно использовать внутреннюю или внешнюю систему, используйте скорость вращения 7,2 К / мин.

Для описанных вами случаев использования вы не слишком настраиваете серверы. Если они имеют 2,5-дюймовые отсеки для дисков, вам следует просто использовать 10k SAS или SSD. Диски средней линии теряют производительность, емкость, имеют значительно более короткую гарантию и не сильно экономят на стоимости.

ewwhite
источник
Спасибо, что нашли время собрать это вместе. Завтра у меня будет возможность подумать. Если просто взглянуть на цены, то это будет примерно 30% скачок между 1 ТБ 7,2 КБ и 900 ГБ 10 КБ, что не так уж много (я в Великобритании, если это имеет значение). Возможно, это может быть фактором, если у вас ограниченный бюджет, хотя вы пытаетесь сделать разумную экономию в нескольких местах, а выбор диска - лишь одно из них. Мне было бы интересно услышать, что вы думаете по этому вопросу с чисто технической точки зрения.
DBR
С технической точки зрения нет никакого преимущества для 2,5-дюймового диска со скоростью 7200 об / мин. Если цены кажутся слишком далекими, продолжайте делать покупки. На этом рынке нет большой разницы. Если это для целей загрузочного диска, SSD - хорошая альтернатива. Но я не могу придумать причину, по которой я бы сегодня использовал 2,5-дюймовый диск HP 7200 на сервере. Кроме того, внимательно прочитайте свои краткие характеристики HP. У средней линии есть более короткие гарантии.
ewwhite
1
В общем, этот ответ отличный. Но, как и во всем остальном, «это зависит». В примере диска емкостью 900 ГБ 10 КБ против 1 ТБ 7200 диск емкостью 1 ТБ будет работать круче и, следовательно, может работать дольше и будет дешевле. Если вам не нужна дополнительная производительность, тогда это пустая трата денег, как первоначальных капитальных затрат, так и операций. Для одного сервера это не имеет большого значения. На 10 он начинает складываться.
Дэн Притц
2
Неужели диск, который работает медленнее, прослужит дольше? Любая статья, которую я пропускаю?
vasin1987
2
С точки зрения поставщика / производителя, да. Они рулевое вас 10k и SSD 2,5" . Если бы вы были бело-бокс, идти 7200 RPM. На самом деле, мой ZFS поставщик хранения, PogoStorage , использование 7200 RPM 2.5" для их ZFS массивов , так как кэширование и SSD многоуровневого устранения нужно специфицировать более быстрые диски.
ewwhite
5

Есть по крайней мере несколько вещей, которые могут вызвать проблемы с НЕКОТОРЫМИ типами дисков:

  • Диски, которые не предназначены для работы с вибрационной нагрузкой в ​​корпусе, имеющем много дисков (маловероятная проблема с любым диском, указанным как RAID / NAS-совместимый)

  • Встроенное ПО, которое не позволяет использовать TLER или требует много времени для ручной перенастройки привода, чтобы включить его (так же)

  • Диски, которые никогда не тестировались с использованием RAID-контроллера и могут содержать нераспознанные ошибки, которые появляются в такой конфигурации

  • Кэши записи на внутренний диск ведут себя таким образом (физическая запись вышла из строя или очень задержана), что приводит к большой путанице в случае жесткого отключения (RAID-контроллер должен быть настроен на принудительное отключение. Потенциальная проблема, если прошивка когда-либо будет игнорироваться что. Смотрите непроверенные диски :)

  • Диск может время от времени выполнять внутренние процедуры обслуживания, которые могут привести к тому, что диск будет работать медленно или реагировать с достаточной задержкой, чтобы заставить контроллер RAID думать, что он вышел из строя (связано с TLER)

  • SATA в целом, как это обычно реализуется, имеет меньше защитных средств по сравнению с SAS от привода с полностью выстреленным или зависшим электронным блоком, на котором все висит на контроллере (не теоретический риск, некоторые комбинации дисков и контроллеров любят этот режим отказа).

rackandboneman
источник
1
Похоже, это причины для использования дисков, подходящих для аппаратного обеспечения сервера и стека приложений, но конкретно не для 10k против 7k2 об / мин.
пул
1
Этот вопрос можно легко (неправильно?) Понять следующим образом: «Можно ли использовать в приложении диск 7,2 КБ, не принадлежащий предприятию, или диск, предназначенный для корпоративного использования с одним приводом?». А «безопасно» обычно подразумевает устранение рисков потери данных или простоев, связанных с ошибками.
rackandboneman
4

ОГРОМНАЯ проблема:

(Может быть, немного не по теме - но я неважный! )

Когда вы имеете дело с твердотельными накопителями - (как это часто бывает, или может быть как случай, так и искушение) - у многих твердотельных накопителей возникает неприятная проблема, когда они не всегда могут восстановиться после спонтанных отключений питания!

Это небольшая проблема с жесткими дисками. Жесткие диски обычно имеют достаточную емкость для питания своей логики и достаточный угловой момент для переноса пластин путем завершения записи 512-байтового блока - в случае потери питания в середине записи. В редких случаях это не будет работать, что приведет к так называемой «разорванной записи», когда один блок может быть частично записан. Частичная запись (редко встречающаяся) приведет к сбою контрольной суммы в блоке - то есть этот отдельный блок будет плохим. Обычно это может быть обнаружено как неисправное самой схемой диска и исправлено вышестоящим контроллером RAID.

SSD - это другое животное. Обычно реализуют то, что называется «выравнивание износа» - где они не просто записывают «блок X» в физическое место для «блока X», как это делает жесткий диск. Вместо этого они пытаются записывать в разные места на флэш-носителе - и они пытаются агрегировать или комбинировать записи (используя небольшую буферизацию). Запись в разные места включает в себя «карту» того, где написаны вещи, которая также буферизуется и записывается таким образом, чтобы снизить уровень износа. Часть выравнивания износа может даже включать перемещение данных, которые уже есть на устройстве и даже не были недавно записаны.

Эта проблема состоит в том, что когда SSD теряет питание - у него много данных в памяти (незаполненных), у него есть некоторые данные, которые были записаны в разные / измененные местоположения - и у них есть эти карты в его собственной памяти, которые должны быть вытащил, чтобы понять структуру всех данных на устройстве.

МНОГИЕ твердотельные накопители не имеют логики или схемы, позволяющей поддерживать свои контроллеры включенными и работающими достаточно долго при самопроизвольном отключении питания, чтобы безопасно сбросить все эти данные на флэш-память до того, как они умрут. Это означает не только то, что один блок, который вы написали, теперь может быть в jeprody - но другие блоки - даже все блоки на устройстве могут быть в беде. У многих устройств также возникают проблемы, когда они не только теряют все данные на устройстве, но и само устройство становится заблокированным и непригодным для использования.

Это все истинная теория - но (работающая в индустрии хранения) - я / мы видели, что это случалось слишком много раз на слишком большом количестве устройств - в том числе на некоторых наших личных ноутбуках!

Многие поставщики обсуждали создание «SSD-накопителей корпоративного уровня», где специально добавляются устройства («супер-заглушки») и другие схемы, чтобы обеспечить чистую «очистку», но очень очень трудно найти любое устройство, которое специально указано как часть его данные о том, что он имеет достаточную, явную, проверенную защиту от таких событий и будет защищать от таких событий.

Очевидно, что если вы покупаете «массив хранения высшего класса» у поставщика высшего уровня, который использовал технологию флэш-памяти, либо их накопители, либо их система в целом были разработаны с учетом всего этого. Убедитесь, что это так!

Проблема в отношении вашего вопроса: если у вас есть RAID-массив - и несколько дисков являются «плохими» твердотельными накопителями без этой защиты - если вы получаете «спонтанное отключение питания» - вы можете потерять ВСЕ данные на НЕСКОЛЬКИХ дисках. сделать восстановление RAID невозможно.

«Но я использую UPS»

Также, как правило, важно отметить, что «самопроизвольное отключение питания» может включать такие ситуации, как BSOD и блокировки / сбои / паники ядра - когда у вас нет выбора для восстановления, если отключить систему.

штифтик
источник
2
Редко когда кто-нибудь отключает подключенную систему (если она не загружает диск) достаточно быстро, чтобы не позволить дискам любого типа очистить кэш. И в этом случае обычные жесткие диски с включенными кэшами могут создавать такой же беспорядок, хотя и с меньшей вероятностью блокирования, но все же со значительной вероятностью повреждения данных - Reiserfs, ранняя NTFS, имела тенденцию в конечном итоге вылетать из этого, потому что они обрабатывали данные журнала быть написанным для действия, которое на самом деле не произошло (или наоборот, оба, вероятно, с неработающей очисткой кэша) ОЧЕНЬ плохо.
сторожевик
2
Правильно спроектированный твердотельный накопитель не повредит и не потеряет данные в случае, если данные не были полностью очищены. Поскольку физическое местоположение каждого логического сектора может изменяться при каждой записи, предыдущая версия данных в каждом логическом секторе все еще должна существовать в том случае, если обновление еще не сброшено. Вы все еще можете потерять данные, если прошивка страдает недостатками дизайна или ошибками реализации.
Касперд
1
Потребительские твердотельные накопители @kasperd продаются на скоростной основе, для этого они идут на компромиссы. Хотя должна быть возможность поддерживать целостность так, как вы предлагаете, факт заключается в том, что большинство производителей дисков (по крайней мере, на уровне потребителей) просто не делают этого. Также, когда они достигают EoL, большинство не терпит неудачи изящно.
JamesRyan
@JamesRyan Истории о том, что производители обманывают при сбрасывании данных в постоянное хранилище для улучшения показателей по некоторым показателям производительности, не новы. Мы слышали о том, что происходило и во времена жестких дисков. Это не потому, что этого хотят потребители. Это потому, что потребители видят только некоторые показатели и не знают, как производитель обманывал в других областях, чтобы достичь этого. Иногда производители обманывают обманом, иногда нет. (Я уверен, что кто-то может придумать автомобильную аналогию, вдохновленную недавними новостями.)
kasperd
2
SSD - это другое животное. У них есть таблицы карт, которые сообщают ГДЕ данные. Они перемещают и перемещают данные и корректируют эти карты. Им НУЖНО объединить свои записи (т.е. отложить, собрать их и записать позже), чтобы избежать усиления записи. Сами карты не могут быть написаны агрессивно и должны следовать тем же правилам. Мы можем говорить о «правильном дизайне» и недостатках - но SSD не являются «простыми», как журнальные файловые системы (которые не простые). Я говорю из МНОГО опыта, испытаний, спецификаций, и я мог или не мог говорить с производителем - или два - или три в моей работе.
Брэд