Почему Enterprise Storage такой дорогой?

Это канонический вопрос о стоимости корпоративного хранилища.
Смотрите также следующий вопрос:

• Как лучше всего объяснить проблемы с хранилищем разработчикам и другим пользователям?

Что касается общих вопросов, таких как:

• Почему я должен платить 50 долларов в месяц за дополнительный гигабайт хранилища?
• На нашем файловом сервере всегда не хватает места, почему наш системный администратор просто не добавляет туда дополнительный диск емкостью 1 ТБ?
• Почему оборудование SAN такое дорогое?

Приведенные здесь ответы помогут лучше понять, как работает хранилище на уровне предприятия и что влияет на цену. Если вы можете расширить вопрос или дать представление об ответе, пожалуйста, напишите.

1. Емкости серверных жестких дисков незначительны по сравнению с емкостью жестких дисков настольных компьютеров. 450 и 600 ГБ не являются необычными размерами, которые можно увидеть на совершенно новых серверах, и вы можете купить множество жестких дисков SATA для настольных ПК объемом 4 ТБ по цене одного 600 ГБ жесткого диска SAS (сервера).

2. Ваш жесткий диск SATA в настольном ПК у вас дома подобен мощному автомобилю от Ford, GM, Mercedes или любого другого производителя автомобилей для обычных людей (большой объем V8 или V12, 5 или 6 литров). Поскольку они должны управляться людьми, которые не имеют гоночной лицензии или не понимают, как работает двигатель внутреннего сгорания, они имеют очень большие допуски. У них есть ограничители оборотов, они предназначены для работы на любом масле определенного класса, у них есть интервалы обслуживания, скажем, 10 000 км друг от друга, но если вы пропустите интервал обслуживания на несколько недель, это не взорвется вам в лицо. Они не загораются, когда вы едете на большие расстояния.

   Диск SAS на сервере больше похож на движок Формулы 1. Они действительно маленькие (2,4 литра), но имеют огромную выходную мощность из-за своих крошечных допусков. Они обороты выше, и часто не имеют ограничителя оборотов (что означает, что они получают серьезные повреждения при неправильном управлении), и если вы пропустите интервал обслуживания (который каждые несколько часов ), они взрываются.

   Вы в основном сравниваете мел и сыр. Числа и полный анализ обсуждаются в Intel Whitepaper Enterprise Class против жестких дисков класса Desktop

3. Давайте поговорим здесь некоторые жесткие цифры. Допустим, вы запрашиваете 1 МБ дополнительных данных (хороший круглый номер). Сколько данных это на самом деле ? Что ж, ваши 1 МБ данных собираются в массив RAID. Допустим, они в безопасности и превращают это в RAID1. Ваши 1 МБ данных являются зеркальными, поэтому на самом деле это 2 МБ данных.

   Допустим, ваши данные находятся внутри SAN. В случае отказа узла SAN ваши данные синхронизируются на уровне байтов со вторым узлом SAN. Таким образом, он дублируется, и ваши 2 МБ данных теперь 4 МБ.

   Вы ожидаете, что ваш провайдер будет хранить резервные копии на месте, чтобы ваши данные могли быть восстановлены в случае чрезвычайной ситуации, не связанной с бедствием? Любой достойный поставщик предоставит вам как минимум 1 резервную копию на месте, а может и больше. Допустим, они делают снимки один раз в неделю в течение трех недель на месте. Это дополнительные 3 МБ данных, так что теперь у вас есть до 7 МБ.

   Если происходит критическое бедствие, вашему провайдеру лучше иметь копию где-нибудь за пределами сайта. Даже если ему месяц, он должен существовать. Так что теперь вы до 8 МБ.

   Если это действительно высокоуровневый поставщик, у них может даже быть сайт аварийного восстановления, который синхронизируется в реальном времени. Эти диски также будут RAID-массивами, так что это дополнительные 2 МБ, и, таким образом, вы получите до 10 МБ данных.

   Вы должны будете в конечном итоге передать эти данные. Какая? Перенести это? Да, передача данных стоит денег. Это стоит денег, когда вы загружаете его, получаете доступ к нему через Интернет, даже стоит денег для его резервного копирования (кто-то должен вынуть эти ленты из офиса, и может случиться так, что ваши 1 МБ данных означают, что они должны приобрести дополнительные набор лент и перенос их куда-то).

4. Когда ваш домашний диск SATA выходит из строя, вам нужно обратиться в техподдержку и убедить их, что ваш диск мертв. Затем отправьте свой диск производителю (чаще всего на свои деньги). Подожди неделю. Верните запасной диск обратно и переустановите его (он почти наверняка не поддерживает горячую замену или уже находится в салазках).

   Когда этот диск SAS выходит из строя, вы вызываете техподдержку. Они почти никогда не ставят под сомнение ваше мнение о том, что диск нуждается в немедленной замене и доставке нового диска; обычно новый диск доставляется позже в тот же день, в противном случае следующий день также очень распространен. Обычно производитель отправляет представителя для фактической установки диска, если вы не знаете, как это сделать (очень удобно, если вы планируете взять отпуск и вам нужно, чтобы все работало, пока вас нет).

5. Корпоративные накопители имеют жесткие допуски, см. № 2 выше, и, как правило, служат в 10 раз дольше, чем накопители потребительского уровня (MTBF). Корпоративные диски почти всегда поддерживают расширенное обнаружение ошибок и сбоев, которое, как обнаруживается в отчете Google, работает примерно 40% времени, но это то, что любой предпочел бы, чтобы компьютер внезапно умирал.

   Когда у вас есть один диск в вашем домашнем компьютере, его статистические шансы на сбой просто зависят от диска. Раньше диски оценивались в MTBF (где диски SAS по-прежнему оцениваются на ~ 50% и более выше), теперь чаще можно увидеть частоту появления ошибок. Типичный диск SAS имеет в 10-1000 раз меньше вероятность возникновения неисправимой ошибки (100 раз - самая распространенная из тех, что я обнаружил недавно). (частота ошибок в соответствии с документацией производителя, предоставленной Seagate, Western Digital и Hitachi; предвзятость не предусмотрена; явно отказывается от компенсации).

   Частота ошибок особенно важна не тогда, когда вы сталкиваетесь с неисправимой ошибкой на диске, а когда происходит сбой другого диска в том же массиве, и вы не полагаетесь на то, что все диски в массиве будут доступны для чтения для восстановления неисправного диска.

6. SAS является производной от SCSI, который является протоколом хранения. SATA основана на ATA, которая сама основана на шине ISA (эта 8/16-битная шина в компьютерах эпохи динозавров). Протокол хранения SCSI имеет более обширные команды для оптимизации способа передачи данных с накопителей на контроллеры и обратно. Это повышение эффективности сделало бы иначе равным SAS-накопитель по своей природе быстрее, особенно при экстремальных рабочих нагрузках, чем SATA-накопитель; это также увеличивает стоимость.

7. Выпускается меньше дисков SAS, экономия от масштаба диктует, что при прочих равных условиях они будут дороже.

8. Диски SAS обычно имеют скорость вращения 10 или 15 Кб; в то время как SATA обычно входят в 5.4k или 7.2k. Диски SAS, особенно 2,5-дюймового размера, которые становятся все более популярными, имеют более быстрое время поиска. Эти два вместе значительно увеличивают число операций ввода-вывода, которые может выполнять диск, обычно диск SAS в ~ 3 раза быстрее. Когда нескольким пользователям требуются разрозненные данные, операции ввода-вывода емкость диска / массива становится критическим показателем производительности.

9. Диски в центре обработки данных, как правило, постоянно включены. Исследования показали, что отказ привода зависит от количества циклов нагрева / охлаждения, которые он проходит (от работы до выключения). Постоянная их работа обычно увеличивает срок службы привода. Следствием этого является то, что диски потребляют электроэнергию. Это электричество должно быть поставлено чем-то (в случае большого постоянного тока одни только приводы могут потреблять больше энергии, чем небольшие кварталы домов). Они также должны рассеивать это тепло где-то, требуя системы охлаждения (которые сами требуют больше энергии для работы).

10. Расходы на инфраструктуру и персонал. Эти диски находятся в высокопроизводительных устройствах NAS или SAN. Эти устройства дороги, даже без дорогих дисков в них. Для их развертывания и обслуживания требуется дорогостоящий персонал. Здания, в которых находятся эти устройства NAS и SAN, дороги в эксплуатации (см. Выше раздел о охлаждении, но там происходит намного больше.) Программное обеспечение для резервного копирования, как правило, не является бесплатным (равно как и лицензии на такие вещи, как зеркалирование) и персонал для развертывания и обслуживания резервных копий, как правило, тоже дорогой. Стоимость аренды доставки и хранения за пределами площадки - это еще одна из многих вещей, которые начинают накапливаться, когда вам нужно больше места для хранения.

Принимая во внимание, что емкость их накопителей вполне может быть 1/10 размера настольного накопителя, и в пять раз дороже, ваши 1 МБ данных на самом деле равны 10, и все другие различия, вы никак не сможете нарисовать сколько-нибудь значимое выводы между ценой вашего настольного хранилища и ценой хранилища корпоративного уровня.

Я не добавляю это к главному ответу CW прежде всего, потому что это различие во мнениях. Не стесняйтесь объединять / редактировать это, если хотите.

Часто причиной того, что хранилище на уровне предприятия является настолько дорогим, может быть то, что спрашивающий не понимает требования, но иногда системный администратор также не понимает требования, не может передать требование кому-либо с полномочиями на покупку или просто получает игнорируется указанным авторитетом.

Высокопроизводительные, высокодоступные готовые массивы хранения с минимальным обслуживанием стоят дорого . Часть работы системного дизайнера - знать, где они уместны, а где уместен другой дизайн.

Я не думаю, что относительная стоимость различных типов дисков на самом деле имеет отношение к любому из примеров вопросов.

Почему я должен платить 50 долларов в месяц за дополнительный гигабайт хранилища?

Это явно адресовано какому-либо поставщику услуг. Два возможных ответа на мой взгляд:

1. В Манхэттене / Лондоне / Гонконге у вас есть 5 рабочих часов, круглосуточная поддержка. Вращающиеся пластины - это лишь малая часть стопки, за которую вы платите.

2. Вы платите слишком много. Договоритесь, поменяйте поставщика или принесите его в дом.

На нашем файловом сервере всегда не хватает места, почему наш системный администратор просто не добавляет туда дополнительный диск емкостью 1 ТБ?

Это почти наверняка плохой дизайн (и, вероятно, по политическим причинам). Данные на этом файловом сервере находятся где-то в этом спектре:

• Данные стоит хранить на высокой производительности, высокой доступности, высокой стоимости установки. Время простоя, вызванное нехваткой места, влияет на вашу высокую доступность и является ошибкой проектирования или планирования.

• Данные либо не важны, либо низкая производительность, либо допустимо более длительное время простоя. Дешевые диски и дешевые решения для резервного копирования являются приемлемыми. Регулярные простои из-за нехватки дискового пространства все еще кажутся странным компромиссом, так как большая часть ваших затрат в этом случае, вероятно, будет вашим временем системного администратора, и в долгосрочной перспективе они будут тратить больше времени на устранение неполадок на низком диске пространство.

Обратите внимание, что я сказал, что это спектр, и большинство требований находятся где-то посередине.

Стоимость производства любого предмета напрямую связана с объемом товара, который он будет продавать в обратной связи.

В случае с обычным жестким диском с вращающимся ржавым стеклом и электроникой стоимость механических и электронных компонентов потенциально может сильно варьироваться, однако появились 2 четких диапазона цена / качество - Enterprise и Commodity.

Однако сокращение объема продаж корпоративного диска сильно сказывается на том, что вы получаете за свои деньги - то, что стоит в семь раз дороже, не будет в семь раз лучше.

Единицы предприятия (для заданной емкости) немного быстрее, чем единицы товара, например, сравнивая диски Seagate Barracuda SATA (товарный) и Cheetah SAS (корпоративный):

model            Barracuda            Cheetah
capacity(Gb)     500                  450
sustained data   125                  168
   rate (Mb/s)
cache(Mb)        16                   64
annual failure   <1%                  0.44%
   rate
Price GBP        42                   275
Price USD        67                   440

Но в корпоративном контексте ни один здравомыслящий системный администратор никогда не будет хранить важные данные на одном диске - использование нескольких дисков обеспечивает большую надежность и пропускную способность и эффективно снижает задержки; четыре из дисков Barracuda, сконфигурированные как RAID10, будут намного быстрее, чем один диск Cheetah, с гораздо меньшим риском потери данных примерно на 60% от цены.

Конечно, вы получите лучшую гарантию с накопителем Enterprise, и поставщик, как правило, сможет получить его вам в тот же день, но вы, вероятно, сможете получить товарный диск от местного поставщика быстрее, чем ваш поставщик. курьер вышел на замену диска. С другой стороны, корпоративный диск, скорее всего, станет точной заменой вышедшего из строя диска.

Так, может быть, вы получаете гораздо больше надежности от корпоративных дисков? В то время как люди, производящие и продающие диски, часто говорят, что это так (Seagate довольно стесняется этого на своем веб-сайте - но даже запутанные цифры, которые они публикуют, показывают, что это менее чем в 2 раза). Независимые исследования показывают, что нет существенной разницы .

Набор команд SCSI обладает некоторыми техническими преимуществами по сравнению с набором команд ATA, в частности, в том, что касается того, как ОС точно знает, что записано на диске, однако, опять же, это только дает эффективную разницу, если смотреть на производительность и надежность файловой системы. реализовано на одном диске.

Если ваш поставщик услуг использует Fibre Channel SAN, то стоимость гигабайта хранилища будет как минимум в 8 раз выше, чем покупка диска с полки в ближайшем магазине оборудования. Но есть и другие подходы, которые могут значительно снизить стоимость.

Обратите внимание, что это все равно никогда не будет дешевле, чем покупка готового диска, поскольку вы также платите за избыточность, питание, кондиционирование воздуха и поддержку, но эти затраты должны быть небольшими по сравнению со стоимостью предоставления хранилища.

Я согласен с другими постами о качестве того, что предлагает хостинговая компания. Но мы недавно перезаключили наш хостинговый контракт и пошли по магазинам, и никто не был конкурентоспособен в отношении места для хранения, и при этом цены не были ниже, чем наш предыдущий 3-летний контракт. Диски SAS падают в цене, дисковая полка / массивы / SAN / FC / коммутаторы падают, все дешевеет. Но не дисковое хранилище?

Коллега с большим опытом указала тактику. ЦП, память, стоимость полосы пропускания были ослепительными! Подпишите здесь! Зарегистрируйтесь сейчас и не обращайте внимания на проблему с дисковым пространством! Вам не нужно много места на диске. Посмотрите на процессор и память!

Как только вы соглашаетесь с их контрактом, они действительно получают вас, и они получают свой доход на дисковом пространстве. Да, это RAID-5, высокая производительность и т. Д., Но резервное копирование обходится дороже, а удаленная репликация - дороже.

Для хостинговых компаний это бизнес-модель. Большинство компаний делают что-то похожее со своими ценами - снижайте эту цену здесь, но увеличивайте ее там, чтобы получить доход где-то еще. Они также должны платить за аренду и зарплату.

Для внутренних серверов у вас разные проблемы. Вы не можете просто войти в серверную комнату с боксом Fedex, на котором установлен новый жесткий диск объемом 3 ТБ. Если вы запланировали расширение, это проще, но серверы / стойки / массивы уже могут быть загружены с точки зрения слотов, ввода-вывода, плат контроллера и питания.

Это как смотреть под камень, вы удивитесь тому, что найдете.

Также важно отметить, что «локальное» хранилище может стоить дороже, чем вы думаете.

В рамках упражнения по перемещению некоторых наших «архивированных» данных в облако я недавно выполнил оценку цен, сравнив стоимость доступного (например, отформатированного, а не сырого) дискового пространства, доступного в нашей последней сети хранения данных, со стоимостью хранилища. в облачном сервисе данных Amazon.

Только учитывая цену, уплаченную за саму SAN, включая диски, с учетом 5-летнего срока службы оборудования SAN, а не «накладных» расходов на эксплуатацию нашего серверного помещения, наша цена на 150 ГБ локального хранилища составляет 31,88 долларов в месяц против 28,41 долларов в Amazon ( предполагая, что скорость трафика в месяц составляет 20% вверх и вниз).

Теперь я не собираюсь спешить с переносом всего нашего хранилища в облако, потому что есть и другие преимущества, связанные с локальным хранилищем, но я думаю, что такое ценообразование полезно: если вы думаете, что облачное хранилище дорого, то сколько Вы действительно платите за местное хранилище?

Мой вопрос по этому вопросу - простой ввод-вывод ... файл, который находится на одном обычном жестком диске без рейда и, вероятно, без горячей замены, и к нему обычно обращается один человек и, вероятно, никогда не создает резервные копии. Это дешевый и простой метод IO ...

В нашем бизнесе я использовал один из самых дорогих методов raid (raid 10), который требует минимум 4 накопителя, мы используем 6 ... это дает нам высокую скорость ввода-вывода и отказоустойчивость.

Эта конфигурация значительно сэкономила мне $$, и этот результат означал более высокую производительность и меньшее время простоя для конечных пользователей ... для простого ввода-вывода разочаровался только один человек, и, вероятно, с простоями связана небольшая финансовая ценность.

У нас также есть выделенный сервер iSCSI, который используется для виртуализации Xen и который также настроен для raid 10 ...

Чем больше операций ввода-вывода, необходимых для использования и резервного копирования, тем дороже его реализация ... если требования вашего предприятия допустят потерю данных, очень медленную скорость и отсутствие избыточности - тогда хранение бизнес-класса может осуществляться на дешево !!! Просто будьте готовы к увольнению ...