Как я могу безопасно использовать хранилище данных?

19

У меня есть хранилище, которое позволяет мне сократить объемы, представленные клиентам. Это безопасно? Каковы лучшие практики?

Бэзил
источник

Ответы:

16

В общем, говорите ли вы о SCSI LUN (SAN) или сетевых файловых системах (NAS), хранилище с тонким предоставлением - это когда вы сообщаете клиенту хранилища, что у него больше места, чем вы фактически выделили для него. Это само по себе не несет никаких рисков, но если у вас недостаточно фактического хранилища, чтобы позволить каждому отдельному контейнеру дойти до полного обещанного размера, это называется избыточным выделением ресурсов, и это влечет за собой риск.

преимущества

Преимущества сверхпоставки и тонкой инициализации неоспоримы. Многие потребители хранилищ (серверы, пользователи общего доступа к файлам и т. Д.) Будут запрашивать гораздо больше хранилищ, чем им первоначально необходимо, и продолжают обеспечивать им запас прочности для роста по мере роста. Централизованно обеспеченная безопасная маржа для роста намного эффективнее, чем сотни маленьких. Использование базового хранилища без тонкого / избыточного выделения ресурсов может быть очень низким, и это позволяет повысить коэффициент использования.

риски

Все риски этого сценария связаны с чрезмерным предоставлением. Чем больше у вас избыточного обеспечения, тем выше ваш риск. Опасность заключается в возможности использования ресурсов хранилища для полного заполнения доступного хранилища, что обычно приводит к выходу из строя всех контейнеров хранилища тем или иным образом. Файловые системы перейдут только для чтения или в автономный режим, а LUN перейдут в автономный режим.

Лучшая практика

Чтобы получить преимущества от более высокого уровня использования, которые связаны с избыточным выделением ресурсов при снижении риска, вам необходимо постоянно контролировать хранилище и иметь возможность предпринимать действия при необходимости.

  • Используйте программное обеспечение для мониторинга и оповещения об условиях использования пула. Если в коробке ничего не будет, напишите это самостоятельно. Большая часть хранилища поддерживает команды CLI, которые могут быть прочитаны сценарием, который вы планируете выполнять часто. Частота должна быть достаточно высокой, чтобы ни один из ваших пулов не мог заполняться между событиями опроса.
  • Установите базовый порог. Все новые пулы хранения с клиентами с избыточным предоставлением должны использовать это по умолчанию. Этот порог должен быть самым консервативным в вашей среде.
  • Для небольших пулов используйте более низкий порог. Если вы выдаете себе 30% предупреждений в пуле 100 ТБ, у вас будет гораздо больше времени на добавление диска, чем если бы у вас было 30% предупреждений в пуле 10 ТБ, при условии, что они оба способны принимать записи с одинаковой скоростью.
  • Отрегулируйте порог вверх, если вы менее обеспечены. Если у вас есть пул с перерасходом только на 106%, то использование 70% использования не столь рискованно, как пул с 200% перерасходом.
  • Настройте свои пороговые значения в зависимости от того, сколько времени вам нужно, чтобы добавить пространство в пул. В моем магазине мы храним онлайн-хранилище в каждом ящике, которое можно хранить в любом пуле, и больше места на полке, готовой к установке в любой ящик для хранения. Мы делаем это для достаточного количества типов хранилищ, чтобы справиться с ростом в любом пуле.
  • Везде, где это возможно и применимо, прорежьте свое хранилище. Дедупликация работает, чтобы уменьшить ваше использование, и если вы используете LUN, то восстановление нулевой страницы и клиенты, которые могут выполнять хранение, нераспределяются при удалении данных.
Бэзил
источник
Мы начали указывать «подписку» с точки зрения как предоставленной емкости, так и общей емкости. Но также с точки зрения неиспользованного обеспечения против свободного пространства. Таким образом, в вашем примере - 70% использования, с 200% подпиской - у вас есть оставшиеся 130%, выделенные против 30% фактического хранилища, что дает вам 433% коэффициент подписки. (где «106% против 70%» означает 36%: 30% = 120%)
Sobrique
Мы ничего не говорим клиентам об этом, но мы, безусловно, снижаем порог, который заставляет нас добавлять диск, когда мы находимся на более высокой емкости.
Василий
Возвратные платежи и отчетность - важная часть для размышления, конечно. Я на самом деле в двух умах - с одной стороны, если им не нужно знать, и доверяю команде хранения, чтобы справиться с этим, то, на мой взгляд, это лучший способ. Тем не менее, я столкнулся с ситуациями, когда они доверяют команде хранилища справиться с этим - до тех пор, пока не настанет время для обратной засыпки, и поэтому пытаются остановить заказ на покупку большего количества дисков.
Sobrique
1
Мы решили, что было бы неплохо передать экономию от того, что она будет одинаково подходить для всех клиентов хранилищ. Мы выставляем счет за адресный туберкулез.
Василий
Ежемесячная или капитальная стоимость? Я был сбит с толку последним просто потому, что очень сложно оценить коэффициенты в течение срока службы. Но может быть довольно сложно убедить бухгалтеров, что вы больше не хотите делать модели капитальных затрат.
Sobrique
9

Смысл и цель тонкой подготовки аналогичны причине использования консолидированного хранилища в первую очередь - благодаря консолидации вы получаете лучшую пиковую емкость с меньшим необходимым средним значением.

Но не поддавайтесь иллюзиям - тонкое выделение ресурсов делает вид, что что-то выделяет, фактически не делая этого. Есть много причин, по которым это полезно. Два ключевых из них:

  • Более высокая степень использования - если ваши тома не заполнены полностью, дисковое пространство теряется. Большинство систем не работают на 100% заполненных постоянно (и, как правило, предполагается, что они «в беде», если они есть).

  • Отложенные расходы - если я дам вам сегодня 10 ТБ, но вы будете заполнять их по 2 ТБ в год, я, вероятно, смогу заплатить меньше, если подожду перед покупкой дисков.

У вас есть две ошибки, вытекающие из этого, хотя:

  • слишком быстрое исчерпание диска - тот, кто начинает заполнять «свои» диски, может запустить остальную часть предприятия из-за недостатка места.

  • количество шпинделей - покупка меньшего количества дисков означает, что у вас меньше шпинделей и, следовательно, меньше IOP. Это означает, что ваши диски будут работать горячее, а ваша производительность будет хуже.

Вещи, которые я бы рекомендовал в качестве передовой практики для тонкой инициализации:

  • Привлеките руководство к вовлеченным рискам.
  • установить «приемлемый» коэффициент переподписки. (Это решение по деловому риску, поэтому передайте его вверх).
  • Также рассмотрите индивидуальные размеры объема. Объем в 20 ТБ, скорее всего, будет занимать больше места, чем объем в 100 ГБ.
  • Подготовьте емкость (или заказ на покупку), когда начнете заканчиваться (на основе «свободного места» или «размера тома»). Вы не получаете столько предупреждений о том, что у вас заканчивается, и, вероятно, можете не ждите до следующего квартала / финансового года, чтобы заполнить запасы - вы больше не покупаете новые мощности, вы снова наполняете вещи, которые вы уже «продали».
  • Учитывайте теоретическую максимальную емкость вашей системы хранения. Тщательно продумайте, что вы будете делать, если пройдете мимо.
  • обратите пристальное внимание на вашу работу. IOPs / пропускная способность оба. Вы, вероятно, не получите хороший ответ на вопросы «сколько производительности вам нужно». Но вы можете обнаружить, что «исчерпали» производительность быстрее, чем в противном случае. Установите порог для этого тоже.
  • рассмотрите вашу зарядку соответственно. Вы экономите деньги за счет тонкого предоставления, но вам НУЖНО вернуть его обратно, чтобы идти в ногу с моделью тонкого предоставления.

Я не могу переоценить этот последний пункт достаточно. У вас вполне могут быть клиенты, которые просят о хранении и никогда не используют его. Это деньги, которые вы не потратили, и это экономия. Однако это не то же самое, что клиенты, которым требуется некоторое время (например, больше, чем финансовый год) - вы экономите деньги, покупая более крупные / более дешевые диски в следующем году. Но вам не сходит с рук "продажа" места заранее, и вы просто надеетесь, что никто его не использует. Вы можете в конечном итоге заполнить весь лот с течением времени, и вы должны быть готовы к обратному заполнению.

Sobrique
источник
1
В моем магазине избыточная подписка не видна владельцам данных, если они не просят об этом. Мы принимаем решение о хранении, но обещаем никогда не разрушать пул.
Василий
1
Это вариант - и, вероятно, разумный, при условии, что «хранилище» не должно бороться за капвложения «больше дисков». Это больше вопрос политики и финансов, хотя :)
Sobrique