— Какой обычно есть выбор для охлаждения ЦОДа?
- Фреоновое охлаждение. Проработано, просто, доступно, но главный минус — ограниченные возможности по манёвру в энергоэффективности. Также часто мешают физические ограничения по длине трассы между наружными и внутренними блоками.
- Системы с водой и гликолевыми растворами. То есть хладагентом всё ещё остаётся фреон, а вот хладоносителем уже будет другое вещество. Трасса может быть длиннее, но главное, что открывается многообразие вариантов настройки режимов работы системы.
- Системы комбинированного типа: кондиционер может быть и фреонового, и водяного охлаждения (здесь масса нюансов).
- Охлаждение воздухом с улицы — это различные варианты фрикулинга: роторные теплообменные аппараты, прямые и косвенные охладители и так далее. Общий смысл — либо прямой теплоотвод фильтрованным воздухом, либо замкнутая система, где уличный воздух охлаждает внутренний через теплообменник. Нужно смотреть на возможности площадки, так как возможны внезапные решения.
— Так давайте бахнем классические фреоновые системы, в чём проблема?
Классические фреоновые системы отлично работают в малых серверных и, не часто, средних ЦОДах. Как только машзал переваливает за 500–700 кВт, возникают проблемы с размещением наружных блоков кондиционеров. Для них банально не хватает места. Приходится искать свободные площади подальше от ЦОДов, но тут вмешивается длина трассы (её не хватает). Конечно, можно спроектировать систему на пределе возможностей, но тогда растут потери в контуре, снижается эффективность, усложняется эксплуатация. В итоге для средних и больших ЦОДов сугубо фреоновые системы зачастую невыгодны.
— Как насчёт того, чтобы использовать промежуточный хладоноситель?
Всё верно! Если применять промежуточный хладоноситель (например, воду, пропилен или этиленгликоль), то длина трассы становится практически неограниченной. Фреоновый контур, как ясно, никуда не девается, а охлаждает уже не сами машзалы, а хладоноситель. Он уже и идёт дальше по магистрали до потребителя.
— Какие плюсы и минусы у промежуточных хладагентов?
Ну, во-первых, существенно экономится место на крыше или прилегающей территории. При этом трассы под фреон, на случай дальнейшего роста нагрузки, нужно прокладывать заранее и глушить, а вот под ту же воду можно добавлять новые устройства по мере потребности или внезапной необходимости, заранее смонтировав трубопровод необходимого диаметра. Можно сделать заранее отводы, а потом просто подключить их. Система гибче, легче масштабируется. Обратная сторона системы с промежуточным хладоносителем — увеличение тепловых потерь, рост количества энергопотребителей. Для малых ЦОДов удельная цена охлаждения на стойку получается выше, чем у фреоновых систем. Также надо помнить о промерзании системы. Мороз противопоказан воде, этиленгликоли считаются опасными для ряда объектов. Пропилен менее эффективен. Ищем компромисс в зависимости от задачи.
Обычный проект выглядит так
— Бывают системы пассивного охлаждения?
Да, но, как правило, для ЦОДов не применяются. Пассивное охлаждение возможно для небольших помещений с 1–3 стойками. Так называемая диссипация тепла помогает при общей мощности не более 2 кВт на помещение, а в ЦОДах обычно уже по 6 кВт на стойку, да и плотность размещения высокая, потому и не применимо.
— Как насчёт охлаждения через теплообменник в ближайшем озере?
Отличная технология. Делали подобный проект для крупного заказчика в Сибири. Очень важно рассчитать режим и рабочую точку, на которую можно рассчитывать круглый год, предусмотреть риски, не связанные с эксплуатацией ЦОДа напрямую. Грубо говоря, смысл технологии такой: в озеро или реку погружается теплообменник, к которому подходит трасса с хладоносителем. Дальше — фрикулинг, только вместо воздуха во внешнем контуре — вода.
— Вы говорили про какой-то «лайфхак» с уличным охлаждением.
Да, есть и альтернативные варианты — использование оборотной технологической воды промышленных предприятий. Не то чтобы прямо лайфхак, но иногда не стоит упускать из виду подобные возможности.
— Я слышал, что на малых объектах используются геозонды...
Да, на базовых станциях и подобных объектах, где максимум пара стоек, можно увидеть и такие решения. Принцип тот же, что и с озером: под землю закапывается теплообменник, и благодаря постоянной разнице температур можно напрямую охлаждать «железо» внутри контейнера. Технология уже достаточно налажена и хорошо протестирована, но при необходимости можно доукомплектовать резервным фреоновым блоком.
— A для больших объектов остаётся возможность сэкономить только фрикулингом, верно?
Да, по экономическим соображениям системы фрикулинга являются одним из наиболее интересных вариантов. Главная особенность — мы полагаемся на внешнюю среду, то есть всё же могут быть дни, когда снаружи воздух будет слишком тёплым. В этом случае потребуется его доохлаждать, используя традиционные методы. От резервных систем не часто удается отказаться. Но это основной вектор в проектировании подобных систем — полный отказ от резервного фреонового контура.
— И каково оптимальное решение?
Универсального оптимального решения, как ни банально, нет. Если климат позволяет, то 350 дней в году используем «чистый» фрикулинг, а 15 дней, когда особенно жарко, охлаждаем воздух какой-либо дополнительной традиционной системой. В переходные дни, когда свободного охлаждения недостаточно, выходим на смешанный режим. Желание сделать систему со множеством режимов упирается в ее возрастающую стоимостью. Проще говоря, учитывая коэффициент спроса на работу такой традиционной системы, она должна быть дешёвой в закупке, монтаже и при этом без жёстких требований к эффективности работы под нагрузкой. В идеале же мы всегда стремимся рассчитать систему так, что в конкретном регионе при штатной климатической ситуации (как за последние 10 лет) вообще не должно быть включений традиционной системы. Понятное дело, что климат части регионов, современный уровень технологий и лояльность заказчиков к прогрессивным системам охлаждения не позволяют это реализовать постоянно.
— А как соотносятся затраты энергии для режимов работы системы?
Схема простая: берём холодный воздух с улицы, загоняем внутрь ЦОДа (с теплообменником или без него — неважно). Если воздух достаточно холодный — всё хорошо, система потребляет, скажем, 20% питания. Если тёплый — надо его доохладить, и у нас добавляется ещё 80% электропотребления. Естественно, хочется «вырезать» эту часть и работать на холодном воздухе.
— Но ведь летом не всегда бывает нужная температура для чистого фрикулинга. Можно увеличить время его работы?
К примеру, у нас всегда есть запас в несколько градусов за счёт того, что воздух можно продуть через камеру испарения. Несколько градусов — это сотни рабочих часов в году. Это грубый пример того, как можно усложнением системы сделать контур более экономичным — суть проектирования в том, чтобы добиться оптимального решения задачи, используя десятки вариантов таких инженерных практик. Зачастую возникает необходимость в дополнительных ресурсах (вода, например). Ну, и от климата всё очень зависимо.
— А какие температурные потери на теплообменниках при фрикулинге?
Пример. В Москве и Петербурге при температуре воздуха 21 градус по Цельсию за окном хладоноситель будет примерно 23 градуса, а температура в машзале — 25 градусов. Очень важны детали, конечно же. Можно обойтись без промежуточного хладоносителя и сэкономить пару градусов. К примеру выше, то же адиабатическое увлажнение позволяет выиграть в некоторых регионах 7 градусов, но не работает во влажном климате (воздух уже приходит достаточно увлажнённым).
— Стало понятнее. Фреон для малых ЦОДов, фреон плюс вода или подобные системы — для крупных объектов. Свободное охлаждение лучше, если позволяет климат. Верно?
В целом — да. Но всё это нужно считать, потому что нюансов по каждой системе очень много. Например, если вы вдруг используете автономный энергоцентр для питания ЦОДа с тригенерацией, гораздо логичнее утилизировать тепло, выделяемое при генерации электричества, в АБХМ и, следовательно, охлаждать ЦОД. В этом случае можно меньше задумываться о затратах энергии. Но появляется масса других вопросов, как то: непрерывность процесса генерации электроэнергии, достаточность утилизируемого тепла.
— Насколько велик разброс эффективности системы чиллеров и доводчиков?
Это очень хороший вопрос, особенно приятно, когда его задают заказчики, понимающие фишку. Всё зависит от конкретного объекта. Где-то чиллер с высоким EER неоправданно дорог, просто никогда не окупится. Нужно помнить, что производители постоянно экспериментируют с компрессорами, холодильными контурами и режимами загрузки. На текущий момент для системы чиллер-фанкойл сформирован некий потолок по эффективности, который можно закладывать в расчёты и стремиться к нему снизу. В рамках одной и той же схемы возможны достаточно сильные колебания по цене и эффективности в зависимости от подбора устройств и их совместимости. В цифрах, к сожалению, говорить сложно, т. к. для каждого региона они свои. Ну, например, для Москвы успешным PUE системы кондиционирования считается равным 1,1.
— Глупый вопрос про фрикулинг: а если снаружи –38 градусов по Цельсию, в машзале так и будет?
Нет, конечно. Система на то и система, чтобы держать заданные параметры круглый год при любых наружных условиях. Слишком низкая температура, понятно, для железа вредна — близка точка росы со всеми вытекающими. Как правило, температура в холодном коридоре устанавливается в диапазоне от +17 до +28 градусов Цельсия. Коммерческие ЦОДы имеют по SLA режим, например, 18–24, и опускаться за нижнюю границу столь же неприемлемо, как и заходить за верхнюю.
— А какие проблемы у комбинированных систем при минусовых температурах?
Если наружу выходит часть контура с водой, то она определённо замёрзнет и станет причиной разрушения трубопровода и остановки работы контура. Поэтому используется пропилен или этиленгликоль. Но и этого не всегда достаточно. У нас на ЦОДе «Компрессор», например, неактивные наружные блоки до включения «прогреваются» за счёт того, что через них проходит трасса с хладоносителем рабочей температуры.
— Можно ещё раз: какова обычная практика выбора системы охлаждения?
До 500 кВт — обычно фреон. От 500 кВт до 1 МВт — переходим на «воду», но не всегда. Выше 1 МВт экономический кейс по организации системы бескомпрессорного холода (довольно сложной в плане капитальных затрат) становится положительным. ЦОДы на 1 МВт и выше без фрикулинга сегодня редко кто может позволить себе сделать, если есть расчёт на долговременную эксплуатацию.
— Можно ещё раз на пальцах?
Да. Прямой фреон — дёшево и сердито во внедрении, но очень дорого в эксплуатации. Фреон плюс вода — экономия площадей, масштабирование, разумные расходы для крупных площадок. Бескомпрессорный холод дорог при внедрении, но очень дёшев в эксплуатации. При расчёте используется, например, 10-летний кейс и считаются как капитальные, так и операционные затраты в совокупности.
— Почему фрикулинг такой дешёвый в эксплуатации?
Потому что современный фрикулинг удобен сам по себе использованием внешнего неограниченного ресурса, плюс объединяет в себе максимально энергоэффективные решения для ЦОДа, минимум движущихся частей. А питание ЦОДа — примерно 20% бюджета. Подняли на пару процентов КПД — сэкономили миллион долларов в год.
— А что с резервированием?
В зависимости от требуемого уровня отказоустойчивости ЦОДа может потребоваться резервирование N+1 или 2N по узлам системы охлаждения. И если в случае стандартных фреоновых систем это вполне просто и отработано годами, то в случае с рекуператорами зарезервировать систему целиком будет несколько дороговато. Поэтому конкретная система всегда считается под конкретный ЦОД.
— Ок, а как быть с питанием?
Здесь тоже не всё тривиально. Давайте начнём с простой вещи: если питание отключится, потребуется просто невероятно много батарей для ИБП, чтобы поддержать работу системы охлаждения до момента запуска дизеля. По этой причине нередко аварийное питание системы кондиционирования сильно ужимается, так сказать, ограничивается.
— А какие варианты?
Наиболее распространённый способ — бассейн с заранее захоложенной водой (как у нас на ЦОДе «Компрессор»). Он может быть открытым или закрытым. Бассейн выступает в роли аккумулятора холода. Питание пропадает, и вода в бассейне позволяет ещё около 10–15 минут охлаждать ЦОД в штатном режиме. От сети работают только насосы и вентиляторы кондиционеров. Этого времени с большим запасом достаточно для запуска дизель-генераторов.
За лампами видно край бассейна открытого типа. У нас там 90 тонн воды, это 15 минут охлаждения без питания чиллеров.
— Открытый или закрытый бассейн — есть разница?
Открытый дешевле, его не надо регистрировать в надзорных органах (сосуды под давлением по российским нормативам инспектируются), естественная деаэрация. Закрытая ёмкость, с другой стороны, может располагаться где угодно, нет особых ограничений по насосам. Не цветёт и не пахнет. За это приходится платить значительно более высокими капитальными и эксплуатационными затратами.
— Что ещё надо знать про бассейны?
Тот простой факт, что мало кто считает их правильно, если нет длительного опыта эксплуатации. Мы вот собаку съели на таких системах, знаем, что при правильном проектировании и применении разных подходов можно сократить ёмкость в несколько раз. Это и дешевле в эксплуатации, и меньше по объёму и площади. Вопрос инженерного подхода.
— А как же стены, сами стойки — они же тоже накапливают тепло?
Практика показывает, что в нормализованных расчётах стены, стойки и другие объекты в машзале не стоит рассматривать как аккумуляторы холода или тепла. В смысле, что их не трудно просчитать, но они идут как НЗ. Эксплуатационщики знают, что благодаря холоду, накопленному в стенах, фальшполе, потолке, у них в случае серьёзной аварии будет примерно ещё от 40 до 90 секунд на реакцию. С другой стороны, был случай у одного из заказчиков, когда разогретый зал ЦОДа охлаждался работающей на полную системой кондиционирования до штатной температуры несколько часов — стены отдавали накопленное тепло. Им повезло: наверняка такое помещение при отключении охлаждения позволяет продержаться не полминуты, а все 3–5.
— А если у нас в ЦОДе будет ДДИБП?
ДДИБП — это прекрасный вариант для аварийного энергоснабжения. Если коротко — у вас постоянно крутится тяжеленный волчок, поддерживать вращение которого почти ничего не стоит. Как только питание пропадает, этот же волчок без перерыва начинает отдавать накопленную энергию в сеть, что позволяет быстро переключить контуры. Соответственно, нет проблемы долгого запуска резерва (при условии готовности дизеля к быстрому пуску) — и о бассейне можно забыть.
— Как выглядит процесс проектирования?
Как правило, заказчик обращается с предварительными данными по объекту. Нужна примерная прикидка нескольких вариантов. Часто важно просто понимать, где какие затраты и организационные сложности ожидаются или уже есть у клиента. Редко охлаждение заказывается отдельно, поэтому обычно уже есть вводные и по питанию, и по деталям резервирования. Учитывая, что наши системы в конечном итоге занимают далеко не верхние строчки бюджета ЦОДа, коллеги шутят, что мы занимаемся «разной требухой». Тем не менее от качества исполнения проекта и последующей реализации зависит очень многое в эксплуатации. Затем, как правило, заказчик или подрядчик (то есть мы) останавливается на одном из вариантов по совокупности систем. Мы просчитываем детали и «вытягиваем» каждое звено за счёт подбора правильного оборудования и режимов. Фрагмент схемы есть выше.
— Есть какие-то особенности на тендерах?
Да. Ряд наших решений дешевле и эффективнее, чем у других участников. Сказывается практика. Всё же нами поднято более сотни ЦОДов по всей стране. Но люди удивляются, спрашивают, откуда такие расчёты. Приходится приезжать, всё это объяснять с применением температурных графиков. Дальше они нашим конкурентам всё это дело выкладывают, чтобы те тоже откорректировались. И новый виток. Дальше вопросы: выбор правильного насоса, выбор холодильных машин, драйкулеров, чтобы они и по цене были приемлемыми, и эффективно работали.
— А подробнее?
Взять тот же чиллер. Первое, на что все смотрят, — это холодопроизводительность, дальше вписывают его в необходимые габариты, третий этап — сравнение вариантов (если имеются) по годовому энергопотреблению. Это классический подход. Дальше люди, как правило, не идут. Мы стали обращать внимание на режим работы чиллера при полной и частичной загрузке. То есть в зависимости от того, насколько он загружен, его эффективность меняется, поэтому важно выбрать в том числе и резерв по всей системе по количеству чиллеров таким образом, чтобы, когда все чиллеры работают постоянно в режиме, они были в самой эффективной точке своей работы. Очень грубый пример, но таких деталей просто море.
Ещё один типичный пример — чиллер со встроенными фрикулингом или с выносной градирней. Здесь можно в ущерб габаритам существенно увеличить эффективность и управляемость, что часто экономически важнее. Здесь уже надо искать подход к заказчику.
Из-под фальшпола выходит холодный поток, охлаждает стойку и поднимает в потолок, где прогретый воздух отбирается из зала на охлаждение.
Заготовка воздуха для машзала в венткамере.
Тесты охлаждения на «Компрессоре». В зале стояли нагреватели по 100 кВт, которые греют воздух 72 часа.
Чиллеры и сухие градирни на крыше.
— Какова самая частая ошибка при запуске ЦОДа?
Вода, воздух и другие среды в трассах и помещениях ЦОДа должны быть чистыми. Вода в магистралях подготавливается специальным образом, в машзалах поддерживается избыточное давление, для того чтобы пыль не засасывало через двери (в рассказе про эпидемию «Когда сисадмины правили Землёй» это очень хорошо раскрыто), внутрь никого не пускают без бахил. Уровень чистоты, думаю, понятен. Так вот, перед запуском ЦОДа в эксплуатацию нужно обязательно позвать клининговую компанию, которая отдраит машзал так, как будто в нём будут собирать процессоры. Иначе вечером же система охлаждения перейдёт на аварийный режим из-за забитых воздушных фильтров. «Монтажники ушли, мы запустили ЦОД», — довольно частый случай, несмотря на наши предупреждения. Где-то раз в год такое случается, приходим, меняем фильтры. А если забыли поставить фильтры — то и сами кондиционеры. Сразу скажу: уборка дешевле.
Вопросы
Надеюсь, я помог разобраться в основах охлаждения для ЦОДов. Если интересны детали — спрашивайте здесь в комментариях или прямо в почту astepanov@croc.ru. Можно задавать вопросы по конкретным площадкам, подскажу варианты и посоветую неочевидные решения с оборудованием, если нужно.
Автор: Andrey_Stepanov
