Почему водяное охлаждение ЦОД не получило широкого распространения?

19

Из того, что я читал и слышал о центрах обработки данных, не так много серверных комнат, в которых используется водяное охлаждение, и ни один из самых крупных центров обработки данных не использует водяное охлаждение (поправьте меня, если я ошибаюсь). Кроме того, относительно просто купить обычные компоненты ПК с водяным охлаждением, в то время как серверы с водяным охлаждением практически отсутствуют.

С другой стороны, использование воды может (ИМО):

  1. Уменьшите энергопотребление крупных центров обработки данных, особенно если возможно создание объектов с непосредственным охлаждением (т. Е. Объект расположен вблизи реки или моря).

  2. Уменьшите шум, сделав работу людей в центрах обработки данных менее болезненной.

  3. Уменьшите пространство, необходимое для серверов:

    • На уровне сервера я полагаю, что как на стойках, так и на блейд-серверах легче проходить трубки водяного охлаждения, чем тратить пространство, чтобы воздух проходил внутрь,
    • На уровне центра обработки данных, если по-прежнему необходимо сохранять переулки между серверами для обслуживания доступа к серверам, пустое пространство под полом и на уровне потолка, используемое для эфира, может быть удалено.

Так почему системы водяного охлаждения не получили широкого распространения ни на уровне центров обработки данных, ни на уровне стоечных / блейд-серверов?

Это потому что:

  • Водяное охлаждение вряд ли избыточно на уровне сервера?

  • Прямая стоимость водоохлаждаемой установки слишком высока по сравнению с обычным центром обработки данных?

  • Сложно поддерживать такую ​​систему (регулярная очистка системы водяного охлаждения, которая использует воду из реки, конечно, намного сложнее и дороже, чем просто чистка вентиляторов пылесосом)?

Арсений Мурзенко
источник

Ответы:

29

Вода + Электричество = Бедствие

Водяное охлаждение обеспечивает большую плотность мощности, чем воздушное охлаждение; так что выясните, как сэкономить на дополнительной плотности (скорее всего, нет, если вы не очень ограничены в пространстве). Затем рассчитайте стоимость риска водной катастрофы (скажем, 1% * стоимость вашего объекта). Затем проведите простое сравнение рисков и вознаграждений и посмотрите, имеет ли это смысл для вашей среды.

Крис С
источник
И было бы очень сложно и дорого адаптировать установку к водяному охлаждению. Они должны были бы обслуживать утечки с водосборными сооружениями ниже. Многие DC имеют силу, идущую снизу.
Мэтт
«Водяное охлаждение» обычно используют масло, а не воду, которая не является ни электрическим проводником, ни окислителем
Адриан Мэйр
@AdrianMaire Water имеет удельную теплоемкость 4,2; в то время как большинство масел попадают в диапазон от 1,5 до 2,0. Это означает, что масла менее чем в два раза эффективнее при перемещении тепла, чем вода. Теплообменники, трубопроводы, насосы должны быть в 2-3 раза больше. Я никогда не видел, чтобы система "водяного охлаждения" использовала масло, за исключением одного парня на YouTube, который помещал свой компьютер в аквариум, наполненный минеральным маслом.
Крис С
@ChrisS Концепция аквариума для центров обработки данных edgesense.com/libvirtblog/2014/3/30/…
xverges
Поэтому используйте непроводящее масло. Вы не ответили на основной вопрос, вместо этого сосредоточившись на семантических деталях.
MarcusJ
22

Поэтому я разобью свой ответ на несколько частей:

  • Физические свойства воды в сравнении с воздухом и минеральным маслом
  • Риски водопользования и исторические неудачи
  • Общая стоимость охлаждения ЦОД
  • Слабые стороны классических систем жидкостного охлаждения

Физические свойства воды по сравнению с другими

Сначала несколько простых правил:

  • Жидкость может переносить больше тепла, чем газы
  • Испарение жидкого экстракта больше тепла (используется в холодильнике)
  • Вода обладает лучшими охлаждающими свойствами среди всех жидкостей.
  • Движущаяся жидкость извлекает тепло лучше, чем неподвижная жидкость
  • Турбулентный поток требует больше энергии для перемещения, но извлекает тепло лучше, чем ламинарный поток.

Если сравнить воду и минеральное масло с воздухом (для того же объема)

  • минеральное масло примерно в 1500 раз лучше воздуха
  • вода примерно в 3500 раз лучше воздуха

  • Масло является плохим проводником электричества в любых условиях и используется для охлаждения трансформаторов большой мощности.

  • масло в зависимости от его точного типа является растворителем и способно растворять пластик
  • вода является хорошим проводником электричества, если она не чиста (содержит минералы ...), иначе нет
  • вода хороший электролит. Таким образом, металлы, вступающие в контакт с водой, могут быть растворены при определенных условиях

Теперь несколько комментариев о том, что я сказал выше: Сравнения сделаны при атмосферном давлении. В этих условиях вода кипит при температуре 100 ° C, что выше максимальной температуры для процессоров. Поэтому при охлаждении водой вода остается жидкой. Охлаждение органическими соединениями, такими как минеральное масло или фреон (то, что используется в холодильнике), является классическим методом охлаждения для некоторых применений (электростанции, военные машины ...), но долгое использование масла в прямом контакте с пластиком никогда не было сделано в сфере ИТ. Так что его влияние на надежность серверных частей неизвестно (Green Evolution не говорит ни слова об этом). Заставить вас двигаться очень важно. Полагаться на естественное движение внутри неподвижной жидкости для отвода тепла неэффективно, а правильное направление жидкости без трубы затруднительно. По этим причинам,

Технические неисправности

Делать движение воздуха легко, а утечки не являются угрозой для безопасности (для эффективности). Это требует много места и потребляет энергию (15% от вашего рабочего стола уходит на ваших поклонников)

Делать жидкие движения - это хлопотно. Вам нужны трубы, охлаждающие блоки (холодные пластины), прикрепленные к каждому компоненту, который вы хотите охладить, бак, насос и, возможно, фильтр. Более того, обслуживание такой системы затруднено, так как необходимо удалить жидкость. Но это требует меньше места и требует меньше энергии.

Другим важным моментом является то, что много исследований и стандартизации упали на том, как проектировать материнские платы, настольные ПК и серверы на основе воздушной системы с вентиляторами охлаждения. И полученные конструкции не подходят для систем на жидкой основе. Больше информации на formfactors.org

риски

  • Системы водяного охлаждения могут протечь, если ваш дизайн сделан плохо. Тепловые трубки являются хорошим примером системы на основе жидкости, в которой нет утечек ( смотрите здесь для получения дополнительной информации )
  • Обычные системы водяного охлаждения охлаждают только горячий компонент и, таким образом, все еще требуют воздушного потока для другого компонента. Таким образом, у вас есть две системы охлаждения вместо одной, и вы снижаете производительность вашей системы воздушного охлаждения.
  • В стандартных конструкциях утечка воды имеет огромный риск причинения большого ущерба, если она попадет на металлические детали.

замечания

  • Чистая вода - плохой проводник электричества
  • Почти каждая часть электронных компонентов покрыта непроводящим покрытием. Только паяльных колодок нет. Так что несколько капель воды могут быть безвредными
  • Водные риски могут быть уменьшены с помощью существующих технических решений

Охлаждающий воздух снижает его способность удерживать воду (влажность), поэтому существует риск образования конденсата (вредно для электроники). Поэтому, когда вы охлаждаете воздух, вам нужно удалить воду. Это требует энергии. Нормальный уровень влажности для человека составляет около 70% влажности. Возможно, что после охлаждения вам понадобится вернуть воду в воздух для людей.

Общая стоимость центра обработки данных

Когда вы рассматриваете охлаждение в центре обработки данных, вы должны принять во внимание каждую его часть:

  • Кондиционирование воздуха (фильтрация, удаление избыточной влажности, перемещение его вокруг ...)
  • Холодный и горячий воздух никогда не должен смешиваться, иначе вы снизите свою эффективность, и есть риск возникновения горячей точки (точки, которые недостаточно охлаждаются)
  • Вам нужна система для отвода тепла в избытке или необходимо ограничить плотность производства тепла (меньше серверов на стойку)
  • Возможно, у вас уже есть трубы для отвода тепла от помещения (для переноса его на крышу)

Стоимость центра обработки данных определяется его плотностью (количество серверов на квадратный метр) и потребляемой мощностью. (некоторые другие факторы также учитываются, но не для этого обсуждения) Общая поверхность центра обработки данных делится на поверхность, используемую самим сервером, системой охлаждения, коммунальными услугами (электричество ...) и обслуживающими помещениями. Если у вас больше серверов на стойку, вам нужно больше охлаждения и больше места для охлаждения. Это ограничивает фактическую плотность вашего центра обработки данных.

Привычки

Центр обработки данных - это нечто очень сложное, требующее высокой надежности. Статистика причин простоя в центре обработки данных говорит о том, что 80% времени простоя вызвано человеческими ошибками.

Чтобы достичь наилучшего уровня надежности, вам нужно много процедур и мер безопасности. Исторически сложилось так, что в центрах обработки данных все процедуры выполняются для систем воздушного охлаждения, и вода ограничивается наиболее безопасным использованием, если оно не запрещено в центрах обработки данных. По сути, вода никогда не вступает в контакт с серверами.

До сих пор ни одна компания не смогла прийти с достаточно хорошим решением для водяного охлаждения, чтобы изменить этот факт.

Резюме

  • Технически вода лучше
  • Дизайн сервера и дизайн центра обработки данных не адаптированы к водяному охлаждению
  • Текущие процедуры обслуживания и безопасности запрещают использование водяного охлаждения внутри серверов
  • Ни один коммерческий продукт недостаточно хорош для использования в центрах обработки данных
Бенуа Каллебаут
источник
2
Фанатично продуманный ответ, очень проницательный.
Алекс КейСмит
3
Вода обладает лучшими охлаждающими свойствами среди всех жидкостей. Это просто неправда. Смотрите здесь для сравнения. Меркурий имеет более чем 12-кратную теплопроводность воды.
Ксалори
9

Хотя у нас есть несколько стоек с водяным охлаждением (на самом деле, HP, не знаю, производят ли они их по-прежнему), в наши дни прямое водяное охлаждение немного устарело. Большинство новых крупных центров обработки данных строятся с всасывающими туннелями, в которые вы проталкиваете свою стойку, и затем протягивает окружающий воздух и удаляет или улавливает для повторного использования тепло, собираемое при его прохождении через оборудование. Это означает отсутствие охлаждения вообще и экономит огромное количество энергии, сложности и технического обслуживания, хотя это ограничивает системы использованием очень специфических стоек / размеров и требует, чтобы свободное место в стойке было «заглушено» спереди.

Chopper3
источник
Есть ли у вас примеры / источники, описывающие эту систему охлаждения на основе всасывания?
Крис Сирс
@ChrisSears - взгляните на это место, они были практически первыми, кто начал делать это в больших масштабах; theregister.co.uk/2008/05/24/switch_switchnap_rob_roy
Chopper3
@ChrisSears в терминах HVAC - это система прохождения. Вытягивание является предпочтительным, когда у вас есть относительно статический пленум для рисования. Для отвода воздуха требуется меньше энергии, чем для прохождения через препятствие.
Ксалори
@ Chopper3 Система прокачки, которую вы описываете, забирает кондиционированный воздух из камеры, через стойки и в систему отопления, вентиляции и кондиционирования, где он восстанавливается и подается обратно в камеру. , Эта же функция работает для установок «горячих» / «холодных» рядов. Возврат воздуха выше горячего ряда, подача на холодный ряд. В настоящее время наилучшей практикой (2016 г.), как представляется, является поставка камеры с кондиционированным воздухом на площади. Обратный воздух отводится сверху стойки. Стойки часто герметичны (без вентиляционных отверстий). Пространство между стойками может быть почти без кондиционера. Однако контроль влажности требует кондиционирования.
Xalorous
6

Вода является универсальным растворителем. Если у вас будет достаточно времени, он съест ВСЕ.

Водяное охлаждение также добавило бы значительный (и дорогостоящий) уровень сложности в центр обработки данных, на который вы ссылаетесь в своем посте.

Системы пожаротушения в большинстве центров обработки данных не содержат воды по нескольким, очень конкретным причинам, во многих случаях ущерб от воды может быть больше, чем ущерб от пожара, а также потому, что центрам обработки данных приходится работать безотказно (с резервными генераторами для питания и т. Д.) это означает, что довольно трудно отключить электричество (в случае пожара), чтобы обливать его водой.

Так что вы можете себе представить, если у вас в центре обработки данных есть какая-то сложная система водяного охлаждения, которая избавляется от призрака в случае пожара? Хлоп.

GregD
источник
3

Я думаю, что короткий ответ заключается в том, что это добавляет значительную сложность. Это не столько проблема космоса.

Если вам приходится иметь дело с большим количеством воды (трубопровод, сток и т. Д.), Вы добавляете много риска ... вода и электричество смешиваются не очень хорошо (или они смешиваются слишком хорошо, в зависимости от того, как вы смотрите на Это).

Другая проблема с водой - влажность. В больших масштабах все ваши системы кондиционирования будут брошены на петлю. Затем происходит накопление минералов в результате испарения, и, без сомнения, множество других вещей, о которых я здесь не думал.

DictatorBob
источник
3

вода НЕ должна использоваться для охлаждения центра обработки данных, но минеральное масло очень хорошо смешивается с электричеством. см. http://www.datacenterknowledge.com/archives/2011/04/12/green-revolutions-immersion-cooling-in-action/

Несмотря на то, что решение является новым, технология довольно старая, однако осуществить такой тип изменений в существующих центрах обработки данных становится очень сложно, так как вам необходимо заменить существующие стойки новыми стойками ...

silviud
источник
3
Я не согласен извините, у нас есть стеллажи с водяным охлаждением, я был там в тот день, когда они были заполнены, и это была очищенная обычная вода.
Chopper3
вау - тогда как это работает? - У вас есть детали?
Сильвиуд
Это стеллажи с перепрограммируемым HP (понятия не имею, кем был первоначальный производитель, может быть, Rittal?), Они продавали их около 2 лет назад, но сейчас я посмотрю, будут ли они до сих пор.
Chopper3,
спасибо - нашел один на h10010.www1.hp.com/wwpc/us/en/sm/WF06a/… ... посмотрите на цену ...
Сильвиуд
Да, это тот, кто не уверен, что они все еще продают их в Великобритании, где я, никогда не думал, что загляну на сайт в США. Мы использовали их в ограниченном пространстве, где нам нужно было МНОГО серверов.
Chopper3
2

Большим препятствием для отказа от использования воды в центрах обработки данных является тот факт, что большинство систем водяного охлаждения являются примитивными. Все они нуждаются в быстром подключении для подключения сервера к источнику воды в стойке, и это является источником отказа, тем более что их может быть тысячи в постоянном токе. Они также усложняют обслуживание серверов, и в большинстве случаев вам все еще нужны вентиляторы. Итак, вы добавляете к сложности.

С человеческой стороны большинство руководителей предприятий сопротивляются переменам. Они очень опытны в воздушном охлаждении, и переход на жидкость сделает эти навыки устаревшими. Кроме того, каждый производитель оборудования будет противостоять изменениям, поскольку это повлечет за собой полную переделку линейки продуктов.

Изменения будут происходить только с: а) улучшенным дизайном жидкостного охлаждения и б) законодательством, чтобы заставить изменения

Фил
источник
1

Они нужны, но вам нужны специально разработанные компоненты, OVH (одна из крупнейших компаний в мире центров обработки данных) использует водяное охлаждение уже более 10 лет.

Проверьте эту ссылку, где вы можете увидеть их стойки: http://www.youtube.com/watch?v=wrrZxmfevoE

Основная проблема для классических компаний заключается в том, что вам необходимо провести некоторые исследования и разработки, чтобы использовать такую ​​технологию.

Дэвид
источник
Многие контроллеры домена «приносят свой собственный сервер», что не обязательно соответствует модели.
Мэтт
0

Центры датирования с водяным охлаждением очень эффективны и экономят энергию при условии, что у вас есть очищенная вода. однако опасности больше, если они находятся в тесном контакте. 1) уровень влажности / влажность
2) вода против электричества.

Мартин Пол
источник
2
Есть ли у вас какие-либо упоминания о том, что охлаждение воды более эффективно? Похоже, что накачку воды потребует больше энергии, чем использование вентиляторов для выброса ее в атмосферу. Как вода в системе охлаждения с замкнутым контуром повлияет на уровень влажности?
Крис С
@Chris S, коэффициент теплопередачи воздуха составляет от 10 до 100 Вт / м2К, где вода - от 500 до 10000 Вт / м2К. Это дает вам существенное преимущество в плотности, которое вы можете затем компенсировать с помощью большого теплообменника в другом месте. Рассмотрим систему охлаждения автомобиля для хорошей параллели.
Джоди С
@ Джоди, ты должен вкладывать больше энергии в перекачку воды, а больше - в выталкивание дополнительного воздуха через радиатор большего размера. Радиатор должен идти куда-то. Эта дополнительная энергия имеет затраты, так же как и механизм водяного охлаждения, требует более высоких затрат на техническое обслуживание. Кроме того, коэффициент передачи применяется в среде; надеюсь, вы не предлагаете процессорам и воде вступать в непосредственный контакт. Там, скорее всего, устройство сдерживания, которое имеет свои собственные оценки проводимости. Эффективность выше коэффициента теплопередачи выбранной среды.
Крис С
@Chris S, нет, ты не вкладываешь в это больше энергии. Расходы на перекачку минимальны, а большая площадь теплообменника означает, что вам не нужны мощные вентиляторы для проталкивания плотных ребер. Часть проблемы с оборудованием для воздушного охлаждения заключается в том, что вам приходится нагнетать огромное количество воздуха через узкое пространство, в которое вы одновременно пытаетесь втиснуть столько площади, сколько сможете. Это одна из причин, по которой кулеры с тепловыми трубками распространены в настольных ПК. Сваи на 40-миллиметровых 15krpm поклонниках в 1U складываются быстро.
Джоди С
@Chris S, например, для вентиляторов 4ea 40 мм 20 cfm на процессор вы смотрите на 35 Вт только для вентиляторов, по сравнению с одним 120MM 105CFM на 6 Вт. Eheim 1048 достаточно для TDP 135 Вт и потребляет 10 Вт энергии. Итак, теперь вы на 16 Вт для системы с более высокой эффективностью.
Джоди С
0

Вода на самом деле не самая лучшая жидкость для использования. Как указывалось, со временем оно растворяется. Конечно, вода хорошо подходит для охлаждения, но все же не лучший. Тем не менее, минеральное масло также может прийти в игру, это также не лучший выбор.

Доступны специальные масла для теплопередачи, которые не являются коррозийными, в отличие от воды, и специально разработаны для использования в качестве теплоносителя. Paratherm уже делает самые разнообразные из них.

Проблема заключалась бы в подключении материала к теплообменнику с замкнутым контуром, и мы говорим о больших количествах.

Решение уже сделано, но не используется в электронике и происходит от сельскохозяйственной техники. Чтобы назвать это, гидравлика. Быстроразъемные концы шлангов герметичны, если по какой-либо причине они отсоединены, они также закрывают их как с наружной, так и с внутренней стороны. в худшем случае при отключении может быть не более 1-2 маленьких капелек.

Таким образом, мы можем устранить эту часть. Однако разработка правильных медных деталей, подходящих для каждой отдельной микросхемы / схемы, требующей охлаждения, является сложной задачей. Как и в случае жидкостного охлаждения, необходимо покрыть каждую деталь, которая должна избавиться от избыточного тепла. Требуется насос относительно высокого давления, датчики давления и редукторы, чтобы убедиться, что в каждой стойке имеется достаточное количество циркулирующей жидкости, и предотвратить поломку. Электронные запорные клапаны также будут необходимы. В этом нет ничего нового, так как эти детали уже сделаны, даже если для самых разных целей. Многие небольшие вентиляторы имеют преимущество избыточности, поэтому было бы желательно иметь несколько насосных агрегатов, чтобы предотвратить вероятность отказа одной точки.

Кроме того, если это действительно замкнутый цикл, то перемещение теплоносителя с низкой вязкостью, а не огромного количества воздуха, естественно, окупится.

На самом деле было бы несколько способов сделать это. Прежде всего, расходы на кондиционирование и эксплуатацию вентиляторов будут снижены. Никогда не стоит недооценивать эти расходы. Даже маленький вентилятор может потреблять несколько ватт энергии, и через некоторое время вентиляторы выходят из строя. Гидравлический насос может работать - учитывая низкое давление, связанное с этим применением - буквально в течение 24/7 лет, заменяя огромное количество вентиляторов. Далее, чипы серверного класса способны противостоять злоупотреблениям и могут работать при очень высоких температурах по сравнению с настольными устройствами. Несмотря на это, держите их холоднее, и ожидаемая продолжительность жизни будет больше, что никогда не следует недооценивать, учитывая цену этих вещей. Фильтрация воздуха для предотвращения попадания пыли и влаги больше не требуется.

Эти факторы значительно превосходят недостатки такого рода технологий охлаждения. Тем не менее, первоначальные инвестиции выше. Конечно, решение может обеспечить более высокую плотность настройки серверов, но в данный момент центры обработки данных просто не учитывают инвестиции. Восстановление существующего решения по охлаждению займет время, а время - деньги. Обслуживание было бы также очень простым, так как громоздкие радиаторы просто не требовались бы и не были бы поклонниками. Следует помнить о сокращении числа возможных точек отказа (каждый вентилятор является одним из них), также резервные насосы могут включаться без какого-либо вмешательства со стороны операторов. Также фанаты тоже разогревают себя. Рассмотрим блок с 20 вентиляторами внутри, который дает не более 5 Вт. Конечным результатом будет еще 100 ватт тепла, чтобы как-то избавиться. Насосы и приводные двигатели также выделяют тепло, но не внутри стойки. Скорее отделены и изолированы от целевой системы. В случае короткого замыкания, например, при коротком замыкании активного элемента питания, этот тип жидкостного охлаждения может фактически переместить достаточно тепла и, следовательно, снизить вероятность распространения пожара. Перемещение свежего воздуха около огня - не лучшая идея. Пластиковые детали также плавятся, а пластиковые детали легко воспламеняются. Жидкость для теплопередачи будет успешно работать при температурах, при которых вентиляторы будут таять, потенциально давая возможность для другого источника короткого замыкания. Пластиковые детали также плавятся, а пластиковые детали легко воспламеняются. Жидкость для теплопередачи будет успешно работать при температурах, при которых вентиляторы будут таять, потенциально давая возможность для другого источника короткого замыкания. Пластиковые детали также плавятся, а пластиковые детали легко воспламеняются. Жидкость для теплопередачи будет успешно работать при температурах, при которых вентиляторы будут таять, потенциально давая возможность для другого источника короткого замыкания.

Так будет ли опасно жидкостное охлаждение? Я думаю, что с точки зрения безопасности куча маленьких поклонников гораздо опаснее. С точки зрения продолжительности жизни, на мой взгляд, жидкостное охлаждение намного предпочтительнее. Единственными недостатками являются обучение персонала и первоначальные инвестиции. Кроме того, это гораздо более жизнеспособное решение, которое хорошо окупается даже в середине.

Надя Андрас
источник
-4

Он работает просто замечательно, но его дорого и требует много времени для установки на тысячи машин и занимает много места. Плюс это не обязательно. Игровые автоматы имеют очень плотный способ сблизиться. Что-нибудь с приличной вентиляцией будет хорошо с хорошим воздушным потоком 70f, даже работая на 100%, что они вряд ли когда-либо делают.

Эмили Тейлор
источник
2
Игровые автоматы? при чем тут что-то, это SERVERfault
Chopper3
3
Похоже, вы новичок в Stack Exchange, так что добро пожаловать. Обратите внимание, что в отличие от форумов, которые приветствуют обсуждения, Stack Exchange ориентируется на объективные ответы, основанные на опыте . Центры обработки данных являются очень дорогими , и это отнимает много времени , чтобы создать тысячи машин в любом случае. Говоря о космосе, водяное охлаждение можно легко настроить на 1U. Поскольку вы сравниваете сервер с игровым ПК, знаете ли вы, что такое блейд-серверы или что такое высокая плотность вычислений? Что касается «приличной вентиляции / потока воздуха 70 ° F», вы никогда не посещали центр обработки данных, верно?
Арсений Мурзенко