Погружная система охлаждения сервера или фермы на базе Novec как альтернатива воздушному охлаждению

Всем привет!

Мы продолжаем рассказывать о наших продуктах и в прошлой статье Сухая вода Novec® 1230 для защиты серверных и не только было много вопросов об инновациях в сфере охлаждения серверных, поэтому решили выделить ответы на многие вопросы в отдельный пост! К тому же, совсем недавно наше решение использовалось на крупнейшей крипто-ферме в Гонконге!

Узнаете формулы с доски?

В статье обсуждаются возможности и преимущества пассивной двухфазной погружной системы охлаждения серверов на основе фторкетонов. В статье вас ждут интриги и расследования, разбор технологии и эксперименты!

Воздушная система охлаждения

Вначале обсудим ограничения традиционной воздушной системы охлаждения. Причинами малой эффективности традиционной системы воздушного охлаждения являются: действие второго закона термодинамики (необратимость тепловых процессов) вследствие множества процессов теплопереноса, перемешивание потоков холодного и нагретого воздуха, высокие показатели мощности, потребляемой охлаждающим оборудованием – чиллерами, кондиционерами и тд., а также использование воздуха в качестве теплопередающего звена. При внедрении данных технологий в настоящий момент учитывают, что их эффективность снижена по одной или нескольким вышеназванным причинам.

Охлаждаемые водой задние двери, канальная система воздушного охлаждения, стойки с принудительной циркуляцией ограничивают смешение воздушных потоков. Эти и некоторые другие технологии позволяют эксплуатировать систему без чиллера, переключаясь на использование экономайзера, когда позволяет погода.
Системы с постоянно работающим экономайзером проще в своем устройстве и могут достигнуть показателя эффективности использования энергии <1.3. Такие серверные должны располагаться в районах с относительно холодным климатом.

Стоит также учитывать другие неотъемлемые экономические аспекты и влияние на окружающую среду. Возможность управления потоком воздуха на уровне шасси, стойки или серверной добавляет значительную стоимость при установке каждого нового или расширения существующего дата-центра.
Поэтому вопрос увеличения энергоэффективности стоит рассматривать не только с точки зрения того, как отвести избыточное тепло, но и с точки зрения того, как его использовать. Тем не менее, возможность и стоимость рекуперации отведенного тепла на любом расстоянии от дата-центра ограничены большим объемным потоком воздуха и низким значением его полезной работы.

Рассмотрим традиционные системы жидкостного охлаждения и их ограничения

Жидкостное охлаждение может уменьшить влияние вышеупомянутых причин низкой эффективности воздушного охлаждения, облегчить рекуперацию отведенного тепла и увеличить его термодинамическую доступность. В одном из исследований было проведено сравнение двух систем охлаждения для суперкомпьютера: гибридной системы воздушное/жидкостное охлаждение и воздушной системы. В том же исследовании была предсказана эффективность полностью жидкостной системы охлаждения и этой же системы, работающей в отсутствии чиллеров или с водным экономайзером.
Последняя конфигурация позволяет сэкономить до 90% энергии на охлаждение по сравнению с кластером на воздушном охлаждении.

Так в чем проблема?

Тем не менее, внедрение традиционных жидкостных систем охлаждения, будь они одно- или двухфазными, закрытыми или с погружением, осложнено количеством и вариацией производящих тепло устройств в сервере и требованием, чтобы для каждого сервера в пределах стойки могла быть осуществлена процедура горячей замены (hot swap). Это усложняет задачу направления всего тепла, производимого на печатной плате, к внешнему потоку охлаждающей жидкости.
Как результат, гибридная воздушно-жидкостная система охлаждения привносит расходы на дизайн и производство охлаждающих пластин, резервные насосы, подвод воды, быстроразъемные соединения, датчики и теплообменники.

Полностью жидкостная система охлаждения часто еще более сложна и требует установки дополнительных охлаждающих пластин, грейферов (подъемников с цепляющим устройством) и герметичных электрических разъемов. Эффективность многих таких систем ограничена вторичным или даже третичным термоинтерфейсом и температурным скольжением охлаждающей жидкости (это явление изменение температуры кипящей жидкости в результате изменения состава). Также в системах, где рабочими жидкостями является гидрофторуглероды или перфторуглероды, могут возникать протечки, что ведет к выбросу веществ с высоким потенциалом глобального потепления в атмосферу.

Таким образом, необходима простая, компактная система охлаждения, которая минимизирует использование природных ресурсов и выбросы вредных веществ. При этом должен осуществляться отвод всей выделяемой теплоты при минимизации разницы температур между активным слоем в чипе процессора и водой в качестве вторичного теплоносителя. Система должна быть модульной, масштабируемой с легкой настройкой под новое оборудование.

Существующие системы жидкостного охлаждения

Пассивная двухфазная погружная система охлаждения давно используется для охлаждения такого дорогостоящего электронного оборудования как трансформаторы, тяговые преобразователи, компьютеры специального назначения и клистроны. Данная технология относительно проста, надежна и эффективна.

Тяговый преобразователь карьерного самосвала.

В данных системах обычно используют емкости под давлением и герметичные электрические разъемы. Емкости вакуумируют и заполняются практически также как и холодильники и их обслуживание в полевых условиях невозможно. Создание аналогичной системы охлаждение для компьютеров будет дорогим и сложным вследствие огромного числа заменяемых компонентов и коннекторов. По этой причине многие вообще не рассматривают погружное охлаждение в контексте датакомовского оборудования.

Паровой обезжириватель с открытой ванной

Эти устройства широко используются в мире для прецизионной очистки различных деталей, начиная с шурупов и подшипников и заканчивая ортопедическими имплантами, печатными платами и инжекторными форсунками.

Установка парового обезжиривания компании Reibesam.
Этой технологии будет посвящена следующая статья.

Обезжириватель представляет собой открытую прямоугольную емкость с двумя рядами охлаждающих змеевиков, установленными сверху по периметру. До определенной высоты емкость поделена на две части, или ванны, заполненные летучим растворителем. В первой ванне растворитель нагревается снизу и кипит. Пары поднимаются на высоту первого ряда охлаждающих змеевиков, создавая ниже данного уровня зону насыщенного пара. Конденсат стекает вниз и через водоотделитель попадает в ванну для ополаскивания. Таким образом, в результате дистилляции в эту ванну попадает только свободный от загрязнений растворитель.

Схема устройства парового обезжиривателя.

Данные системы способны очищать тысячи деталей в смену, потребляя малое количество растворителя. При этом большую часть времени они либо полностью открыты, либо прикрыты горизонтально перемещающейся крышкой, когда не используются. Минимизация потерь растворителя в результате уноса осуществляется за счет вторичных охлаждающих змеевиков, работающих при температуре ниже 0°С.

Концепция погружного охлаждения в открытой ванне

Эта концепция базируется на предпосылке, что электронное оборудование может быть охлаждено погружением в полуоткрытую ванну, которые во многом схожа с паровым обезжиривателем, рассмотренным выше. Термин «полуоткрытая» означает, что ванна закрыта, когда не требуется доступ к оборудованию и в качестве примера подобной конструкции можно привести морозильный ларь для еды. Так же как и он, ванна работает при атмосферном давлении и не имеет специальных герметичных разъемов для подводимого и отводимого электричества.

В данной системе каждый сервер или узел подключен к объединительной панели на дне ванны (в отличие от задней стенки серверной стойки). Ванна частично заполнена летучей диэлектрической рабочей жидкостью.

Модель открытой погружной системы охлаждения.

Электрическая проводка ниже уровня жидкости заведена в канал, и выходит из него наверху емкости. Встроенный конденсатор паров охлаждается либо водопроводной водой, либо водой, используемой для комфортного отопления (да, есть такое понятие в США).
Кроме того, пары могут пассивно течь в так называемую градирню с естественной тягой, отдавая тепло непосредственно наружному воздуху, без использования воды как промежуточного теплоносителя.

Проект Allied Control с фторкетоном 3М – двухфазное погружное охлаждение в открытой ванне.

Концепция имеет множество преимуществ по сравнению с традиционными системами жидкостного охлаждения. Основной принцип состоит в том, что пропадает надобность в большей части оборудования, обязательного для воздушного и жидкостного охлаждения, а соответственно и не рассматриваются вопросы, связанные с его установкой, надежностью и потребляемой мощностью. Плотность мощности и надежность системы очень высоки. Более того, данной технологии априори присуще противопожарные свойства.
Конечно, в рамках данной модели следует рассмотреть и другие аспекты, например, потери рабочей жидкости в результате уноса. Но, так как они возникают в одном определенном месте, а не в бессчетном количестве разъемов, то легко могут быть посчитаны и снижены с помощью технических приемов, о которых мы расскажем далее.

Внутри ванн тепло от десятков серверов вызывает кипение жидкости Novec.
Её пары конденсируются на охлаждающем змеевике и возвращаются в систему.

Тепловая эффективность

Тепловая эффективность системы складывается их двух составляющих. Первое определяется конструкцией печатной платы и количественно выражается в разнице температур между активным слоем в чипе процессора, как основного элемента, который требуется охладить, и температурой рабочей жидкости. Второе составляющее определяется разницей температур между рабочей жидкостью и подводимой водой. При этом под температурой рабочей жидкости мы подразумеваем температуру её кипения при атмосферном давлении.

Процессор в его типичной конфигурации в виде чипа, подложки и теплораспределительной крышки со встроенным радиатором почти идеально подходит для пассивной системы погружного охлаждения. В большинстве случаев требуется лишь нанесение 100-микронного слоя пористого металлического покрытия, которое улучшает теплоотдачу при кипении. Данные покрытия обеспечивают коэффициент теплопередачи > 10 Вт/cм2*К при тепловом потоке 30 Вт/cм2.
Если внедрить операцию по нанесению покрытия уже на этапе производства процессора, то пропадет необходимость во вторичном термоинтерфейсе, обычно используемом в многих схемах жидкостного охлаждения.

Модель погружной 2-х фазной системы охлаждения 3М.

Следующим моментом, который стоит рассмотреть, будет оценка того, какую максимальную выделяемую мощность может охладить данная система. В одном из исследований авторы предполагают, что требуется 100 см3 рабочей жидкости, чтобы охладить 1кВт-й модуль при условии, что известна и учтена его конфигурация, то есть плотность расположения компонентов.

Провели эксперименты

Для эксперимента собрали модельную печатную плату с 20-ю тепловыделяющими керамическими элементами размерами 19*19 мм и мощностью 200 Вт каждый. При этом, с одной стороны к ним на эпоксидный клей крепится медный радиатор размером 30*30*3 мм, с нанесенным с противоположной стороны тем самым покрытием, увеличивающим теплопередачу при кипении. Термопары в рабочей жидкости и в каждом из элементов позволяют подсчитать индивидуальное тепловое сопротивление и убедиться, что элементы не переходят в режим пленочного кипения. Далее эту модельную печатную плату погружают в узкую вертикальную емкость той же формы с зазорами 4 и 7 мм между кипящей поверхностью и стенкой.

Кипение Novec на криптоферме.

В ходе эксперимента было показано, что данная конфигурация способна отводить 4 кВт тепла (200 Вт с каждого элемента) через 4 мм зазор при атмосферном давлении, если в качестве рабочей жидкости залит гидрофторэфир – С3F7OCH3. При этом 4 кВт эквивалентно тепловому потоку в 11,7 Вт/cм2 против потока в 1,7 Вт/cм2, наблюдаемом в суперкомпьютере Cray X1E при охлаждении распылением!
Результаты эксперимента позволяют предположить, что значение в 1 кВт отводимой теплоты на 100 см3 рабочей жидкости определенно достижимы. Также значительно снижается количество используемых материалов и различного рода выбросы.

Химия рабочих жидкостей

В таблице ниже представлены свойства одного гидрофторэфира и двух фторкетонов. Они обладают необходимыми теплофизическими характеристиками, являются безопасными и совместимыми с различными материалами и были протестированы в открытой погружной системе охлаждения.
Заметьте, диэлектрические характеристики фторкетонов схожи с аналогичными свойствами перфторуглерода С6F14, который часто использовался в погружных системах охлаждения. В тоже время, гидрофторэфир имеет более высокую диэлектрическую постоянную и более низкое сопротивление, что может ограничить его использование в некоторых случаях. Первый из представленных фторкетонов со значением потенциала глобального потепления всего лишь в 1, на сегодняшний день широко используется в мире как пожаротушаший агент.

Экономичность системы с точки зрения потерь рабочей жидкости

Действительно, это главный фактор, влияющий на жизнеспособность представленной системы.
Существую формулы для подсчета потерь жидкости во время заполнения ёмкости, пуска и работы. Они позволяют сделать вывод, что наиболее эффективной мерой для уменьшения потерь в результате уноса паров будет создание такой конструкции, в которой восходящие пары будут улавливаться с помощью вторичного охлаждающего змеевика, который автоматически включается, когда температура системы превысит заданную допустимую температуру.

В этих стеллажах находятся платы ASIC для майнинга, погруженные в жидкости Novec (установка находится в Гонконге).

Результаты

В ходе описанных выше экспериментов было показано, что при использовании коммерчески доступного фторкетона с температурой кипения 49°С в открытой ванне и потоке воды в 15 галлон (что примерно равно 3,785 *15 = 56,8 литра) в минуту, температура в активном слое чипа процессора не будет превышать 60°С. При этом достаточно использовать воду с температурой 28°С.

Если же допустимо повышение температуры в активном слое процессора до 83°С, и при это объемный поток воды достигнет 30 галлонов в минуту, то можно использовать воду для первичных змеевиков с температурой уже 62°С.

Плотность мощности, которую способна охладить емкость, равно 130 кВт/м2, что значительно выше предела в 52 кВт/м2, типичного для стоек с воздушным или гибридным охлаждением. При переходе к масштабу серверной с полностью жидкостной системой охлаждения подобного типа мы получаем 25 кВт/м2 против 2,2 кВт/м2 для серверной с воздушным охлаждением.

Кроме того, данная система значительно экономит место, так как не требуется устанавливать дополнительное оборудование, обязательное для воздушной системы охлаждения. Отводимое тепло можно использовать для отопления зданий, обогрева теплиц и других объектов.

Практическая реализация

Пример реализации новой концепции охлаждения можно посмотреть здесь.

Где еще можно узнать информацию?

На нашем сайте.

Где можно купить?

Звоните нам по многоканальному телефону +7 495 784 7474.
Задавайте вопросы в комментариях, мы на все постараемся ответить!

У вас есть еще что-нибудь почитать?

Конечно!
» Сухая вода Novec® 1230 для защиты серверных и не только
» Как безопасно читать Хабр на работе с помощью наших экранов защиты информации
» Из спрея в пленку в один пшик. Paint Defender: защитная пленка на кузов автомобиля

Если мы допустили какие-либо ошибки, пишите в ЛС, мы все оперативно поправим. Не забывайте, мы ошибку поправим, а ваш коммент останется висеть.

Спасибо за внимание, надеемся, статья для вас оказалась полезной!

UPD: Спасибо за указание на биткоин-ферму WarP.

Автор: 3MRussia

Источник