На написание этой публикации меня подвигли 4 вещи:
1. Публикация «Почему важно поддерживать температурный режим в серверной. Как обычно устроено охлаждение серверной», в которой автор попытался выполнить почетную и очень трудную миссию по разъяснению необходимости охлаждать сервера.
2. Ошибки, вычитанные в этом посте.
3. Собственный опыт.
4. Стремящееся к нулю количество содержательных статей по тематике инфраструктуры ЦОД (я подразумеваю, что серверная = маленький ЦОД) на Хабре. Хотя «Билайн» и ребята из «ЦОДы.рф» в этом плане большие молодцы.
Итак, о чем будет этот публикация.
В первую очередь это будет небольшой экскурс в теорию холодоснабжения серверных. Во вторую очередь я попытаюсь разобраться с основными заблуждениями при планировании холодоснабжения. И в третью – разбор, куда же все-таки стоит вложить денег, а от чего можно отказаться.
На сегодня в холодоснабжении ЦОД существуют две глобальные стратегии:
1. Свободное охлаждение. Это когда сервера охлаждаются напрямую внешним воздухом с минимальной его подготовкой (обычно это базовая фильтрация и подогрев в зимний период).
2. Контролируемое холодоснабжение, назовем его так. Это когда вы готовите воздух по показателям загрязнения, влажности, температуры и подаете его в сервера. Сюда же входят различные методы косвенного фрикулинга (используется внешний воздух для охлаждения теплообменника в котором находится воздух из ЦОД).
Преимущества первой стратегии очевидны. Это низкая стоимость внедрения, низкая стоимость обслуживания, смешные счета за электроэнергию. Недостатки тоже понятны. Неконтролируемая влажность и запыленность воздуха, что неминуемо приводит к выходу из строя компонентов серверов. У такого подхода есть свои приверженцы. Обычно это очень крупные технологические компании. Почему это хорошо для них и плохо для остальных? Есть 3 причины:
1. Сеть полностью резервируемых площадок. Если произойдет сбой на одной, подхватит вторая.
2. Необходимость быть на пике технологий. Сервер, работающий с плохим воздухом, выйдет из строя примерно за год. За год эти компании поменяют поменяют парк серверов на треть. Им нет смысла беречь железо, которое через год уйдет на помойку.
3. Объемы и счета за электроэнергию. Охлаждение – наиболее затратная статья в счетах за электроэнергию. Сокращение расходов на охлаждение на 1% сэкономит им несколько миллионов долларов. Что уж говорить про сокращение на 30-50%. И они готовы терпеть некоторые неудобства.
Вторая стратегия подразумевает большую надежность и продолжительный срок эксплуатации охлаждаемого оборудования. Наиболее традиционный пример — это банковская отрасль. Ну и все остальные компании, которые не меняют сервера как перчатки. Недостатки этой стратегии – цена, цена, цена. Строительства, обслуживания, электричества.
Понятно, что большинство компаний рассматривают вариант «максимально функционально и без изысков». Однако просто не всегда просто. Бывает просто и правильно, а бывает совсем наоборот (я прям боксером себя почувствовал).
Плавно перейдем к более практическим вещам. Когда говорят про охлаждение серверов, в первую очередь подразумевают контроль температуры. Это верно, но недостаточно. Три столпа правильного охлаждения – это температура, объем воздуха и его влажность. Вторым эшелоном идет управление воздушными потоками, то есть как направить холодный воздух туда, где его заберет сервер и как забрать горячий воздух с «выброса» сервера и направить его в кондиционер. И как при этом сделать, чтобы горячий и холодный воздух не перемешивался.
С температурой все просто. Есть рекомендации производителя сервера, есть рекомендации ASHRAE. Нормальной температурой для большинства серверных я считаю 22-24 градуса.
Если про температуру все помнят, то про объем воздуха не думает практически никто из строящих серверную. Давайте посмотрим на технические параметры сервера. Помимо потребления, размеров и т.п. там есть параметр, обычно измеряемый в CFM (кубические футы в минуту) – это объем прокачиваемого воздуха. То есть вашему серверу нужен воздух определенной температуры и в определенном объеме. Толстым шрифтом с капсом «в определенном объеме». Здесь мы сразу переходим к возможности использования бытовых сплит-систем в серверной. Штука вот в чем — они не справятся с необходимым объемом. Дело в том, что удельное тепловыделение человека несопоставимо мало по сравнению с сервером, а бытовые кондиционеры рассчитаны именно на создание комфортного климата для человека. Их маленькие вентиляторы (как передние конечности тираннозавра) не способны прогнать через себя объем воздуха, необходимого для охлаждения сервера. В результате мы получаем картину, когда сервер прогоняет через себя воздух, кондиционер не может его забрать и горячий воздух перемешивается с холодным. Вы, наверняка, бывали в серверной, где кондиционер выдает +16 градусов, а в помещении +28. Я бывал. Может быть, ваша серверная именно такая?
Ну и чтоб два раза не вставать:
1. Бытовые сплиты рассчитаны на работу 8/5, а серверная работает 24/7. Свой ресурс сплит выработает за год-полтора.
2. Сплиты не умеют подавать воздух нужной температуры на сервер, они умеют выбрасывать из себя воздух нужной температуры, а уж что там попадет на сервер – им все равно (вот такие они гады).
3. У них слишком близко расположены забор и выброс воздуха, а это значит, что горячий и холодный воздух неизбежно будет перемешиваться (и тут см. п.2).
4. Очень трудно заставить сплиты работать в соответствии с показаниями датчиков температуры (и тут опять см. п.2).
В общем, не используйте бытовые сплиты. Не надо. В продолжительном периоде, хороший прецизионный кондиционер выйдет дешевле сплита.
Что касается контроля влажности. В упомянутой вначале статье есть один неправильный посыл. Влажностью нужно управлять, это несомненно. Но только нужно не сушить, а увлажнять воздух. Дело в том, что серверное помещение имеет замкнутый воздухообмен (по-крайней мере должно). И количество влаги в воздухе на стадии 0 (запуск серверной) там находится в определенных пределах. В процессе охлаждения, большинство влаги конденсируется на теплообменнике кондиционера (слишком высока разница температур) и сбрасывается в дренаж. Воздух становится слишком сухим, а это статика на платах и снижение теплоемкости воздуха. Поэтому хорошей тратой денег будет покупка производительного увлажнителя и системы водоподготовки к нему.
Момент, связанный с управлением воздушными потоками. В подавляющем большинстве случаев, блоки вентиляторов в шкафах абсолютно бесполезны. Они тянут воздух снизу вверх, а сервера его тянут спереди назад. Что нужно сделать – выкинуть из сметы блоки вентиляторов и заложить заглушки на пустые юниты в шкафу. Хоть досками заколотите, но закройте все дыры, через которые воздух из задней части шкафа может попасть в переднюю. Пассивные способы управления воздухом в большинстве случаев работают лучше, чем активные. И стоят дешевле.
Мониторинг микроклимата. Очень важный момент. Без мониторинга вы никогда не узнаете, что у вас работает не так, как задумывалось. Мониторить надо и температуру и влажность. Влажность можно мониторить в самой удаленной от увлажнителя точке, поскольку этот показатель одинаков для любой точки помещения. А вот температуру нужно мониторить на передней двери шкафа. Если вы не применяете раздачу холодного воздуха из-под фальш-пола, то достаточно одного датчика на шкаф. Если раздаете воздух через фальш-пол (понятно, что мы уже используем правильные кондиционеры), тогда верной сратегией будет мониторить воздух на разных уровнях от пола (например 0,5 м и 1,5 м). Ну и не лишним будет упомянуть, что в серверной никогда, ни при каких обстоятельствах, нельзя ставить шкафы со стеклянными/глухими дверями. Воздух должен свободно проходить сквозь шкаф и сервер. Если у вас вдруг есть такие шкафы – снимите с них двери.
В качестве резюме:
1. Не используйте бытовые сплиты – они всё делают не так.
2. Управляйте влажностью.
3. И воздушными потоками.
4. Установите заглушки на неиспользуемые юниты шкафа.
5. Используйте шкафы с перфорацией передних и задних дверей. Если у вас нет таких, снимите двери вообще. Ну или дрель вам в руки.
6. Правильно размещайте датчики системы мониторинга. Температуру меряем на передней части шкафа, влажность – в любой части помещения.
7. Уберите из серверной батареи отопления. Они не только греют, но и поливают иногда.
8. Уберите окна. Окна – это теплопритоки и самый простой путь в помещение, минуя бронированную дверь в серверную и пять постов охраны.
9. Сделайте нормальную гидро- и паро- и теплоизоляцию помещения.
10. Инструменты вторичны. Есть огромное количество решений по охлаждению и мониторингу. Главное понять что для вас первично на сегодня, а инструмент найдется.
11. Примите тот факт, что сегодня ИТ – это не только «пропатчить kde под free bsd», VM и БД, но и такие далекие когда-то вещи как энергетика, холодоснабжение, физическая безопасность и архитектура.
Удачи вам ниве строительства правильной инфраструктуры.
Автор: ksopt
