Запуск 100 виртуальных машин на одном хост-сервере VMWare

Я много лет использую VMWare, работаю с десятками производственных серверов с очень небольшим количеством проблем. Но я никогда не пытался разместить более 20 виртуальных машин на одном физическом хосте. Вот идея:

1. Урезанная версия Windows XP может вместить 512 МБ ОЗУ и 4 ГБ дискового пространства.
2. За 5000 долларов я получаю 8-ядерный компьютер класса сервера с 64 ГБ ОЗУ и четырьмя зеркалами SAS.
3. Поскольку 100 вышеупомянутых виртуальных машин вписываются в этот сервер, стоимость моего оборудования составляет всего 50 долларов за виртуальную машину, что очень приятно (дешевле, чем аренда виртуальных машин в GoDaddy или любых других хостинговых магазинах).

Я хотел бы посмотреть, сможет ли кто-нибудь достичь такой масштабируемости с помощью VMWare? Я сделал несколько тестов и столкнулся со странной проблемой. Производительность виртуальной машины начинает резко снижаться после запуска 20 виртуальных машин. В то же время на хост-сервере отсутствуют узкие места в ресурсах (диски простаивают на 99%, загрузка ЦП не достигает 15%, и имеется много свободной оперативной памяти).

Буду признателен, если вы поделитесь своими историями успеха в масштабировании VMWare или любой другой технологии виртуализации!

Да, ты можешь. Даже для некоторых рабочих нагрузок Windows 2003 достаточно 384 МБ, поэтому 512 МБ - довольно хорошая оценка, пусть и немного высокая. ОЗУ не должно быть проблемой, как и ЦП.

100 виртуальных машин немного крутые, но это выполнимо, особенно если виртуальные машины не будут очень заняты. Мы легко запускаем 60 серверов (Windows 2003 и RHEL) на одном сервере ESX.

Предполагая, что вы говорите о VMware ESX, вы также должны знать, что может перегружать память. Виртуальные машины практически никогда не используют свой полностью выделенный объем памяти, поэтому ESX может выделять виртуальным машинам больше доступного объема оперативной памяти и запускать больше виртуальных машин, чем у него фактически «официально» есть.

Скорее всего, вашим узким местом будет не CPU или RAM, а IO. VMware может похвастаться огромным количеством операций ввода-вывода в секунду в своем маркетинге, но когда дело доходит до толчка, конфликты резервирования SCSI и ограниченная пропускная способность остановят вас на пути, прежде чем вы приблизитесь к хвастовству IOPS, которое VMware предлагает.

В любом случае, мы не испытываем снижения производительности на 20 ВМ. Какую версию ESX вы используете?

Одной из основных проблем такой большой среды является предотвращение стихийных бедствий и защита данных. Если сервер умирает, то вместе с ним умирает 100 виртуальных машин.

Вам необходимо спланировать отказоустойчивость виртуальных машин и запланировать управление дополнительными виртуальными машинами, которое защитит виртуальные машины в случае сбоя. Разумеется, такой вид избыточности означает увеличение затрат, и, вероятно, именно поэтому такие затраты часто не утверждаются до тех пор, пока их преимущества не будут видны на практике (из-за их отсутствия).

Помните также, что хост VM является лишь одной из нескольких точек отказа:

• Сеть - что делать, если сетевая карта хоста ВМ выходит из строя?
• Память - что, если часть памяти хоста ВМ испортится?
• CPU - если умирает ядро ​​CPU, что происходит с виртуальными машинами?
• Питание - есть только один - или два - силовых кабеля?
• Порт управления - предположим, вы не можете получить доступ к управлению хостом виртуальной машины?

Это лишь некоторые из них: массивная инфраструктура виртуальных машин требует пристального внимания к предотвращению потери данных и предотвращению потери виртуальных машин.

Нет никаких заявлений о его жизнеспособности в производственном процессе, но есть очень интересная демонстрация NetApp, где они предоставляют рабочие столы 5440 XP на 32 хостах ESX (это 170 на хост) примерно за 30 минут, используя очень мало дискового пространства из-за дедупликации по отношению к обычной виртуальной машине. картинки

http://www.youtube.com/watch?v=ekoiJX8ye38

Я предполагаю, что ваши ограничения исходят от дисковой подсистемы. Вы, кажется, учли использование памяти и процессора соответственно.

Никогда не делал этого - но я обещаю, что вы потратите гораздо больше, чем на хранилище, чтобы получить достаточное количество IOP для поддержки столько виртуальных машин, сколько вы будете на серверном оборудовании. Вам потребуется много IOP, если все 100 из них активны одновременно. Не звучит негативно, но вы также подумали, что вы кладете много яиц в одну корзину (звучит так, как будто вы выбрали решение с одним сервером?)

Больше всего меня беспокоит конфликт ЦП с 100 ВМ на одном хосте. Вы должны помнить, что процессор НЕ виртуализирован, поэтому каждой машине придется ждать доступа к процессору. Вы можете начать видеть конкуренцию, посмотрев на ESXTOP. Мне сказали, что более 5 в поле% RDY очень плохо для инженеров VMWare.

По своему опыту я видел около 30-40 серверов, работающих на одном хосте (не слишком много).

У меня было 10 хостов на VMWare Server 1.0.6 (под Windows 2003), и он регулярно сталкивался с проблемами ввода-вывода (и если ночные сборки когда-либо перекрывались с чем-то другим, у них были бы проблемы). После обновления с Windows до ESXi U3 мы обнаружили, что наши проблемы с производительностью исчезли (ночные сборки больше не давали ошибок).

Также обратите внимание, что хотя SSD имеют гораздо более высокую скорость ввода-вывода, чем вращающиеся носители, в некоторых случаях это не поддерживается, например, определенные типы шаблонов записи (большое количество небольших записей, разбросанных по диску, снижает производительность, если контроллер не имеет интеллектуальный кэш буферизации записи, который хорошо работает при точечной записи).

Я бы порекомендовал исследовать / протестировать наличие SWAP-файлов на разных дисках, если у вас возникнут проблемы.

Если вы собираетесь это сделать, то настоятельно рекомендую вам использовать новые процессоры Intel Nehalem серии Xeon 55xx - они предназначены для работы виртуальных машин, и их дополнительная пропускная способность памяти также очень поможет. О, и если вы можете использовать больше, меньшие диски, чем несколько, большие, - это очень поможет. Если вы можете использовать ESX v4 более 3.5U4 тоже.

У меня есть 20 виртуальных машин XP с 512 МБ памяти на компьютере с 16 ГБ. Меньше, чем это, и они меняются на диск, и это дает узкое место. Это всегда активные виртуальные машины XP.

VMware и его функция OverCommit должны позволить вам увеличить скорость памяти на каждом компьютере с XP. Аналогичная машина будет использовать одни и те же страницы, что может сократить объем записи на диск. Это то, что я хотел бы изучить для нашей установки, чтобы попытаться добавить больше машин, поскольку наши виртуальные машины XP производят 10-20 мг непрерывного дискового трафика.

Мы не смогли набрать 100 счастливых гостей на сервере VMWare, но потом обнаружили, что ESXi работает намного лучше. Итак, похоже, что 100 XP vms не является проблемой, если вы используете ESXi и приличный сервер (несколько зеркал диска для распределения ввода / вывода, пара микросхем I7 и 64 ГБ ОЗУ). Для конечных пользователей нет видимой задержки, и ресурсы хоста не исчерпаны (самая горячая - это процессор, но обычно она простаивает как минимум на 70%).

PS. Этот вопрос был опубликован мной еще тогда, когда мы боролись с VMWare Server.

В прошлый раз, когда я проверял, VMware рекомендует использовать не более 4 виртуальных машин на каждое ядро ​​обработки для ESX, при этом по одному виртуальному ЦПУ на виртуальную машину

Это предполагает, что накладные расходы менеджмента становятся фактором.

Мне очень интересно посмотреть, сможете ли вы достичь фактора 4x на 8-ядерном процессоре.