Использование силовых кабелей Y в центре обработки данных

17

Я всегда предполагал, что использование Y-кабелей от PDU к резервным блокам питания на одном и том же сервере было вполне приемлемой практикой, однако недавно я говорил с кем-то, кто сказал, что их colo не допустит этого.

Я не электрик, но мне кажется, что, поскольку блоки питания избыточны, они не рисуют одновременно. В этом случае может показаться, что использование Y-кабеля на двух блоках питания не приведет к превышению номинальной емкости кабеля или отдельной розетки.

Я что-то здесь пропустил? Почему colo решил запретить кабели Y-power в серверных стойках?

MDMarra
источник
1
Можете ли вы дать ссылку на пример кабеля?
ewwhite
9
Хм, похоже, нам действительно нужен начальный и окончательный учебник "Power for Sysadmins". Некоторые из этих ответов открыли совершенно новую банку с червями
MDMarra
3
Я сильно подозреваю, что в прошлом у них был какой-то идиот, который брал один порт C13 с PDU и «распределял» его по 5 серверам или чему-то, что взорвало PDU ... И теперь у них есть правило против сплиттеров Wye.
Крис С
1
Этот вопрос следует добавить в список «Канонический». YMMV ...
Охотник на оленей
4
@DeerHunter Я не думаю, что этот вопрос должен быть каноническим сам по себе, но учебник «Power for Sysadmins», безусловно, кажется хорошей идеей для нового канонического.
HopelessN00b

Ответы:

19

Я тоже не электрик, но думаю, что при этом вы, по крайней мере, потеряете возможность поддерживать ваш сервер в рабочем состоянии. Напротив, если вы подключите каждый блок питания к отдельному источнику питания, на вашем сервере все еще будет доступный источник питания (надеюсь).

Халед
источник
12
Эта. Y-кабели не представляют опасности для электричества, с тех пор они представляют опасность избыточности.
Ли Харрисон
Итак, вы говорите о наличии нескольких блоков распределения питания в стойке? Во многих случаях это неосуществимо, особенно если вы используете вертикальные PDU.
MDMarra
Зависит от стойки, я полагаю. Мы небольшая компания с двумя высокими серверными шкафами, и в обоих размещены резервные блоки питания, имеющие независимые шины питания на каждой стороне шкафа. Конечно, ваша серверная комната должна быть правильно подключена, чтобы воспользоваться этим преимуществом.
Ли Харрисон
@MDMarra: Возможно, у вас будет риск, если блоки питания работают в режиме балансировки нагрузки и происходит сбой. В этом случае мощность будет увеличиваться на другом все еще активном блоке питания. Посмотри на этот пост .
Халед
@ Khaled, но это все равно не приведет к небезопасному потреблению энергии, насколько я знаю.
MDMarra
16

Я никогда не использовал их, потому что в лучшем случае они - единственная точка отказа.

Каждый сервер, который я развертываю в реальном центре обработки данных, имеет каждый блок питания, подключенный к отдельному блоку распределения питания в стойке, каждый из которых подключен к отдельному независимому ИБП, в разных цепях, в идеале даже от различных источников питания.

Если ИБП, PDU или цепь, к которой подключен ваш Y-кабель, выйдет из строя, избыточные блоки питания будут бесполезны, поэтому в лучшем случае это будет пустая трата времени, а в худшем - ложное чувство избыточности.

РЕДАКТИРОВАТЬ:

Я просто упомяну, что я говорю о ИБП 1U или 2U меньшей емкости, установленных внутри серверной стойки, а не о гораздо более крупных и более дорогих ИБП, которые сами занимают стойку. Они определенно созданы для того, чтобы быть в высшей степени избыточными сами по себе, без необходимости в дополнительном устройстве.

HopelessN00b
источник
В большинстве сред, в которых я работал, есть Symmetra или аналогичные ИБП, которые используют несколько стоек. На самом деле я не вижу слишком много мест с избыточными ИБП такого масштаба, но я также не очень хорошо знаком с «энергетической» стороной вещей - таким образом, этот вопрос. Я также действительно никогда не видел вышедший из строя PDU (не то, чтобы этого не случилось, я уверен). Когда вы достигнете этой шкалы, действительно ли у людей будет несколько Symmetra для питания нескольких PDU?
MDMarra
@MDMarra Да, посмотрите мое редактирование, у меня есть туннельное зрение - я еще не видел, чтобы кто-нибудь установил большую систему ИБП, подобную тому, о которой вы упомянули, со вторым блоком для резервирования. Если / когда добавляются дополнительные единицы этого размера, речь идет о дополнительной емкости, а не о избыточной избыточности.
HopelessN00b
4
@MDMarra Я занимаюсь проектированием и созданием центров обработки данных. Это редко бывает несколько систем ИБП для резервирования. Сами большие системы ИБП могут работать с различными уровнями сбоев (аккумуляторы, контроллеры питания) и будут грациозно прибегать к простому переключению электропитания при необходимости. Питание от сети будет передано генератору при необходимости. Поэтому обычно ИБП является выпрямителем / устройством защиты от перенапряжений и покрывает переход от сети к генератору. ИБП будет иметь несколько выходных цепей, которые питают блоки PDU в стойке. Каждый сервер подключается к 2 различным схемам.
Тонни
@ Тонни Хммм, очень хорошая информация. Хотелось бы, чтобы я сформулировал вопрос таким образом, чтобы это мог быть ответ, а не комментарий, чтобы вы могли получить от него несколько повторений :)
MDMarra
@MDMarra :-) Я делаю ОК с этими пунктами :-) Но канонический вопрос / ответ о лучших методах для власти серверной комнаты, кажется, в порядке. (И давайте не будем забывать о проблемах с заземлением на этом.)
Тонни
8

Основная причина, по которой такие предметы вызывают недовольство, связана с их избыточностью, отсутствием. Использование такого кабеля означает, что все входы питания вашего сервера питаются одной и той же цепью, поэтому, когда эта схема умирает (или PDU, к которому она подключена, у меня такое было), то и сервер тоже. Именно по этой причине Colos рекомендует первичные и вторичные каналы и хочет, чтобы серверы с несколькими блоками питания были подключены к двум каналам.

Еще в тот день у меня была группа машин, которые поставлялись с одним трехпроводным Y-кабелем и 3 обычными силовыми кабелями для большой (7U, если я правильно помню) системы с 3 блоками питания. В дата-центре, в котором я работал в то время (это было в 1999 году), не было достаточно розеток для такого рода вещей, поэтому в итоге мы использовали кабель Y; 2 ножки Y на одном ИБП и прямой кабель питания для третьего блока питания ко второму ИБП. К счастью, системы с 3 блоками встречаются гораздо реже.

Балансировка нагрузки БП или это переключение?

Существуют различия в том, как источники питания справляются с нагрузкой. Как показали различные эталонные тесты блоков питания, максимальная эффективность достигается после того, как нагрузка превысит 50% . Есть преимущества, которые можно получить для запуска всего на одном блоке питания, это, скорее всего, будет эффективным. Именно по этой причине некоторые производители серверов пропускают весь ток сервера через один блок питания и переключаются на другой при возникновении сбоя или прихоти; 230-ваттная система получит максимальную эффективность от двух 400-ваттных блоков питания, пропустив всю нагрузку только через один блок питания.

Такие системы коммутации потребляют только один блок питания и, следовательно, одну цепь, если используют полностью разделенные цепи питания, за один раз.

Недостатком коммутационных систем является то, что нагрузка может непредсказуемо перемещаться в сообществе блоков питания, подключенных к определенной цепи. Если достаточное количество из них сбросит свой вес на одну цепь, это может привести к его перегрузке. Это плохое энергопотребление, так как вы хотите спроектировать вещи так, чтобы вы могли потерять полную цепь и не потерять работу, но это все-таки сбивает с толку системных инженеров.

Серверы балансировки нагрузки получают одинаковое количество тока от обоих блоков питания. Это обеспечивает предсказуемость в нагрузке цепи, хотя может привести к перегоранию выключателей, если системные инженеры нагружают свои цепи более чем на 50%, а цепь умирает, заставляя блоки питания потреблять 100% от одной цепи, что теперь превышает его номинальные значения. Опять же, плохой дизайн, но это распространенная ошибка.

Пусковые нагрузки

Существует два вида загрузки при загрузке:

  1. Все работает без сбоев, пока BIOS (или загрузка ОС, или загрузка приложения) не нагонит и все не успокоится.
  2. Пуская текущую загрузку прямо, как все включено.

Первое - это то, с чем мы все знакомы. Этот 120-дисковый массив SAS может потреблять только 4000 Вт при нормальной работе, но если все полки диска перезагружаются одновременно, он может потреблять 6500 Вт.

То же самое относится и к серверам. Вентиляторы работают на полной скорости, да. Да, процессоры работают на полной скорости. ОЗУ работает при полном напряжении во время поста, да. Вероятно, он вытянет столько же, сколько может нарисовать на тех первых этапах POST, но быстро падает, когда BIOS передает вещи ОС и режимы питания вступают во владение. Сервер, который обычно потребляет 110 Вт при обычном использовании, может временно потреблять до 200 Вт для этих первых нескольких этапов.

Это временная нагрузка, о которой большинство людей думают, когда говорят что-то вроде: «Он запускает блоки питания при запуске». Эти 400-ваттные блоки питания, подключенные к серверу, потребляющему 230 Вт в напряженный день, не потребляют 400 Вт, они потребляют 230 Вт ... вместе взятые.

Второй не очень известен, но когда люди сталкиваются с ним, они беспокоятся . Это пусковой ток , который занимает несколько миллисекунд, в течение которых потребление может быть намного выше, чем обычно. Пусковой ток для ИТ-устройств с преобразователями переменного тока в постоянный (а это все) почти всегда происходит дважды:

  • Один раз, когда кабель подключен, так как предварительная мощность ступени получает питание. Именно на этом этапе кнопка питания на передней панели позволяет включить устройство.
  • Второй раз, когда включается основной этап распределения и запускается устройство.

Из-за таймингов это становится фактором только при восстановлении питания в мертвой цепи. Все эти устройства, включающиеся в одно и то же время, могут сделать странные вещи для питания этой цепи, и это может привести к самому повреждению. Постановочный запуск облегчает это.

Это другая область, о которой люди думают, когда говорят такие вещи, как «блоки питания работают при полном наклоне при запуске», поскольку каждый блок питания имеет свой собственный бросок тока. Но, как я уже сказал, это длится несколько миллисекунд и происходит в два этапа.

sysadmin1138
источник
Оптимизированы ли серверные блоки питания для точки нагрузки, отличной от потребительской? Для последнего пика эффективность обычно составляет ~ 50% и падает по обе стороны от этой точки. Экзамен № 3 здесь составляет 50%. jonnyguru.com/… Аналогичные результаты были показаны для обоих других обзоров в верхней части главной страницы; и в большинстве, если не во всех обзорах, которые я видел, о качественных БП.
Дэн Нили,
@DanNeely Вы правы, я неправильно запомнил кривые. Буду обновлять.
sysadmin1138
4

Нашему местному Коло они тоже не понравились. У нас был общий кабинет, и нам было разрешено использовать только один порт PDU для нашего сервера с двумя блоками питания. Коло не понравилось из-за избыточности, но для некритической машины это было совершенно приемлемо для нас. Там нет каких-либо серьезных проблем с электропитанием с электрической точки зрения.

Вот почему нашему коло это не понравилось:

  1. Если PDU умирает, сервер мертв
  2. Если кабель зажегся, ваш сервер мертв

Вот почему мне это нравится:

  1. Не критический ящик
  2. Подача питания на оба блока питания, обеспечивающая избыточность на коробке
  3. Я не был полностью обеспокоен потенциальным простоем из-за отказа PDU, и меня не беспокоило то, что кабель сходит с ума. (см. № 1).

Коло не было никаких проблем с ними с электрической точки зрения. Розыгрыш был идентичным, коробка использовала только то, что ей было нужно, независимо от количества блоков питания, потребляющих энергию. Однако вскоре после покупки этого кабеля с моей коробкой Dell Dell прекратила публично предлагать кабели для продажи.

Брент Пабст
источник
4
If the PSU dies the server is dead- Вы имели в виду PDU там?
MDMarra
IMO, colo / datacenter не должен указывать на то, что по сути является оперативной проблемой. Если я решу использовать Y-кабель, то это мой выбор, независимо от избыточности или ее отсутствия.
Joeqwerty
@joeqwerty Полностью согласен, однако, если центр обработки данных будет отвечать за бесперебойную работу устройства, я бы полностью согласился с их необходимостью использовать вместо этого 2 прямых кабеля. Это было не для меня, и в сценарии с общим кабинетом Y-кабель был намного лучшим выбором.
Брент Пабст
Я думаю, что «PSU» в пункте 3 также должен быть «PDU», в результате чего точки означают: вы считаете, что риск отказа кабеля или PDU намного меньше, чем риск сбоя PSU, что звучит как раз для меня. Я видел гораздо больше отказов БП, чем отказов кабелей. Я не проделал много работы на стойках, поэтому я не могу комментировать частоту отказов PDU.
Кевин Кэткарт
@joeqwerty Для меня, и по моему опыту, похоже, что когда-то в прошлом кто-то подключал кабель Y к серверу с двумя блоками питания (возможно, даже техник центра обработки данных сделал это), а затем умерла цепь, и остроконечный haired-boss выпустил на DC, что «избыточная» мощность, за которую они заплатили (как на сервере, так и на двухпроводных цепях в их стойке), не сработала, они нарушили их SLA и т. д. и т. д. просто запретить кабели, чем беспокоиться о том, поняли ли люди результат их использования, особенно если это сделали их собственные технические специалисты.
gregmac
3

Когда сервер загружается, оба блока питания запускаются на полную мощность для проверки системы. Это удваивает нормальную рабочую мощность. Теперь, когда проблема питания больше, схемы, входящие в ваш шкаф, очень специфичны. Они не хотят, чтобы вы отключили прерыватель, если вам придется перезагрузить сервер.

Кроме того, некоторые офисные здания не позволяют вам сделать это из-за пожарного кода. Вы удваиваете мощность, которая может потребляться из одной розетки.

NeerPatel
источник
1
Есть ли у вас документация, показывающая, что при включении сервера с двумя блоками питания 750 Вт будет потребляться 1500 Вт?
MDMarra
2
Ваш эффект правильный (или близкий к нему), но я думаю, что ваша причина неправильная: серверы потребляют больше энергии при запуске, потому что у них есть «запуски»: вращение дисков, проверка питания вентилятора, зарядка конденсаторов и т. Д. - Я не знаю ни одного блока питания, который выполняет тест псевдонима. Для этого потребовалась бы нагрузка для тестирования (большой хонкин резистор) и коммутационного оборудования, которое я никогда не видел в блоке питания. Если вы видели такого зверя, я бы хотел услышать об этом.
voretaq7
1
@ voretaq7 Но даже в этом случае эта дополнительная нагрузка должна быть намного ниже номинальной мощности одного блока питания в системе. Конечно, есть увеличенное потребление, но это не небезопасное увеличение.
MDMarra
@MDMarra Это зависит от того, сколько дисков у вас крутится и насколько интеллектуален контроллер - я видел коробку, которая давала всплеск 2-3 А (при напряжении 208 В - так что ~ 450-500 Вт плюс обычная 150-секундная, на которой он работал) потому что его инструкции вращения диска были «все 16 дисков ПРЯМО СЕЙЧАС . (Эта конфигурация длилась недолго.) В общем, хотя вы правы - мы не говорим« Полное номинальное потребление на обоих блоках питания »(по крайней мере, я» никогда не видел, чтобы это было так плохо)
voretaq7
@MDMarra По личному опыту я знаю, что большинство серверов HP Proliant ненадолго (от 3 до 8 секунд) полностью загружают оба блока питания при запуске. Некоторые модели Dell Poweredge делают это тоже.
Тонни
3

Colo, который предлагает две резервные цепи питания в вашем шкафу, может быть заинтересован в сбалансированности этих двух цепей.

Возможно, поэтому им не нравится, когда вы подключаете серверы с двумя блоками питания к одной цепи, независимо от того, выполняется ли это с помощью Y-кабеля или двух кабелей, подключенных к одному и тому же PDU.

Оливер
источник
4
Может быть, но опять же, если я заплачу за схемы, то это должен быть мой выбор, как использовать их, с балансировкой нагрузки или нет. До тех пор, пока я не превышаю допустимую пропускную способность любой из цепей, центр обработки данных / центр обработки данных не должен будет ничего рассказывать о том, как я их использую.
Joeqwerty
Если они чувствуют необходимость сохранять баланс между этими двумя цепями, я бы беспокоился, что они не так избыточны, как предполагалось. В конце концов, в любой момент, если один из них выходит из строя, другой должен быть готов принять всю нагрузку мгновенно.
Касперд
2

Находясь в коло и хостинг-бизнесе в течение достаточно долгого времени, я могу дать вам три самые веские причины, по которым хостинговая компания не допустит этого.

Деньги, деньги и деньги

Подумайте о том, сколько вам стоил один канал на 15 или 20 ампер, хостинговые компании предпочли бы, чтобы вы купили второй для восстановления после отказа и вместо этого брали большие деньги два раза в месяц.

Alex
источник
Ну, я не уверен, что это покрывает, честно говоря - вы можете подключить два кабеля к одной цепи так же, как вы можете подключить один Y-кабель.
HopelessN00b
Конечно, вы можете, но в конечном итоге вам не хватит места для ваших вилок. Это означает, что второй PDU. Поверьте мне, бизнес - это две вещи: 1) Пространство 2) Власть. Что бы ни заставило вас потреблять больше одного или другого, они попробуют это.
Алекс
Хорошо, но запуск вашего PDU из разъемов не требует аренды второго контура, поэтому я не уверен, как это связано с фиксацией прибыли colo / host.
HopelessN00b
Но это заставляет вас использовать еще 1 U, если не 2. Для клиентов, арендующих 1/4 или даже 1/2 кабинета, этого может быть достаточно, чтобы обновить их до 1/2 или полного шкафа.
Алекс
-2

Я действительно удивлен, что никто здесь не осознал, что вы можете иметь два 20-амперных PDU, работающих с разной мощностью, затем подключить кабель к двум разным серверам и подключить к первому PDU, а затем подключить другой кабель к второму источнику питания двух серверы и запустить его на второй PDU. Теперь у вас есть избыточность и меньше беспорядка шнура питания.

d3vmono
источник