К настоящему времени у меня есть 10 серверов для HP, ориентированных на мощные вычисления. Моим пользователям нужно запустить несколько процессов, используя qmake. Пользователи привыкли работать с Ubuntu 9.10, и программное обеспечение из репозиториев для них доступно.
Я развернул Ubuntu 9.10 на всех 10 серверах.
К настоящему времени мы работаем с параллельными-ssh и cluster-ssh, что позволяет так же запускать один и тот же процесс на всех серверах. С помощью этих инструментов эти инструменты серверы остаются независимыми, но с тем же программным обеспечением и той же запущенной командой.
Теперь мы хотели бы перейти к следующему шагу и увидеть все серверы как единый со всеми ресурсами остальных 9, как если бы это были его ресурсы.
Разница будет существенной во времени для обработки, а также во времени для разработки команды для запуска.
Любой совет, какое программное обеспечение использовать будет очень полезно?
Спасибо
источник
Ответы:
То, о чем вы говорите, называется Single System Image (SSI) . Наиболее распространенный вариант этой схемы для Linux реализован MOSIX . Хотя это обеспечивает некоторые преимущества с точки зрения управления системой, в целом процессы не могут охватывать несколько узлов без использования какой-либо формы MPI . В основном, независимо от того, используете ли вы «стандартный» кластер, работающий на gridengine, или вы формируете свои системы в один образ, вам все равно придется изменить все программное обеспечение, чтобы оно могло охватывать несколько узлов.
источник
Кластер - это не одна машина с точки зрения производительности, локальность fs / memory важна для производительности.
Работа на уровне приложений, хотя и менее общая, является более ресурсоэффективной. Ваш пример qmake может быть значительно ускорен путем установки distcc.
источник
в конце я использовал Sun Grid Engine.
Я задокументировал в частной вики, и вырезал и вставил в свой блог. Я думаю, что это может быть полезно даже без перевода. ;)
Запись в блоге: http://suportrecerca.barcelonamedia.org/blog/?p=240
Если кому-то нужен вики-код, просто спросите его здесь.
Благодарю.
источник
Я никогда не реализовывал это раньше, но похоже, что кластер Беовульф будет работать для того, что вы пытаетесь сделать. Я много читал об этом в прошлом, и для некоторых более простых процессов может потребоваться мало перекодирования в зависимости от того, чего вы пытаетесь достичь.
источник