В первой части я рассказывал о том, как мы начали погружаться в тему жидкостного погружного охлаждения. Прошло время и хочу рассказать о достигнутых глубинах.
Закончив 2016 год на весьма успешной ноте – проект выполнен, заказчик доволен, мы ожидали если не вала заказов, то хотя бы продолжения работы. Реальность охладила наши планы. Заказчик сообщил, что следующее финансирование в рамках программы можно получить аж в 2020 году. Мы решили занять себя каким-то другим делом, в ожидании пока время быстро пролетит. Попытки погрузить в контейнер микрокластеры и суперкомпьютеры не удалась – не нашлось выходов на заинтересованных людей.
И тут наш взор обратился на ниву майнеров криптовалют. Тема эта была для нас совершенно новая и неизведанная. Все, что мы знали это то, что три маленькие платы с чипами жрут почти 2 кВт электричества. Опыт работы с ПЛИС (FPGA) у нас имелся и мы смело ринулись вперед, в смысле вглубь.
В отличие от предыдущего проекта, где у нас был вполне разумный заказчик и ТЗ, здесь не было ни того, ни другого. Количество майнеров и их разнообразие повергало в уныние. Ведь для полупромышленного оборудования важным условием является однотипность входящих в него элементов. Гораздо проще сделать контейнер на один типоразмер плат, нежели на целый букет. Вариант купить майнер и делать контейнер под него нами тоже рассматривался. Этот вариант помимо прочего сулил и быструю окупаемость проекта в целом. Однако сославшись на незнание предметной области и на разумное соображение, что во время золотой лихорадки лучше всего продавать лопаты, мы от него отказались.
Познакомившись со многими энтузиастами майнинга, мы сделали для себя следующее заключение. Оно не претендует на звание истины – это исключительно наше мнение. Мир майнинга разделен на две части – АСИКи и видеокарты. Среди АСИКов львиную долю составляет продукция с размерами плат 15 на 25 см, плюс минус сантиметр. В разделе видео карт мы себя не нашли ввиду очень большой рыхлости ферм. Даже при снятых вентиляторах и радиаторах компоновка получается очень громоздкой.
Мы начали разработку устройства, отталкиваясь от нашего понимания нашей целевой аудитории и максимальной электрической мощности, доступной простому человеку. Эта мощность около 10 кВт.
Мы решили опереться на наш успешный 5 кВт бокс и масштабировать его до 10 кВт. Дело нам представлялось совершенно простым и мало рискованным и поэтому мы решили обойтись без изготовления опытного образца и заказать сразу мелкую серию. Как же мы ошибались))) Нарушив давнее правило вносить не более одного изменения за раз, мы решили сразу сделать много изменений. Что было сделано.
Во-первых. Мы решили дать шанс российскому производителю и заменить внутренний немецкий медный теплообменник отечественным. Нашли производителя и опытный образец, покрашенный в красивый черный цвет, выглядел точно так, как и его зарубежный предшественник.
Во-вторых, мы увеличили размер контейнера с тем, что бы он вмещал 24 платы выбранного нами форм-фактора 15 *25 см. Суммарная мощность этих плат как раз укладывалась в выбранный диапазон 10-12 кВт. Увеличился соответственно и периметр фланца, соединяющего крышку и собственно контейнер.
В-третьих. Мы не погружаем блоки питания в жидкость и оставляем их снаружи, следовательно, появилась необходимость завести внутрь контейнера порядка 800-1000 ампер. Данное решение было обусловлено в частности тем, что блоки питания тоже весьма рыхлые и для их охлаждения нужно много жидкости. К тому же блоки питания майнеров у всех разные и сделать универсальный контейнер под любые блоки весьма затруднительно.
Сразу скажу, что все три технических решения оказались провальными. К сожалению, узнать об этом мы смогли только после изготовления первой партии. Расскажу подробнее.
1. Внутренний теплообменник оказался не полностью медным, ламели были алюминиевыми. Поскольку мы «умные» и заложили некий запас по мощности теплообменника, то это мы смогли бы пережить. Но выяснилось, что ламели не припаяны, а просто надеты на медную трубу. При включении эти ламели быстро прогревались до температуры 50С и переставали отбирать тепло.
2. Жесткость фланца оказалась недостаточной. При нагревании металл деформировался и добиться герметичности контейнера оказалось мега трудно.
3. Ввод питания был выполнен через медные болты. Токи то не детские. Сначала выяснилось, что медного крепежа нет. Есть омедненный. Это те же стальные шпильки и гайки, покрытые тонким-тонким слоем меди. Для нас этот вариант был неприемлем. Мы нашли российского производителя медного крепежа. Объем нашего заказа вызвал у него видимо гомерический смех, но заказ был выполнен. Стоимость и сроки его выполнения добавили несколько седых волос в наши шевелюры))) Беда пришла позже, когда контейнеры стали работать. Многократные включения и выключения, прогрев до рабочей температуры и охлаждение привели к тому, что крепление болтов перестало быть герметичным, пары теплоотводящей жидкости сифонили сквозь переходную панель питания.
Хочу сказать слова благодарности нашим заказчикам, отважившимся купить наши контейнеры. Совместными усилиями мы выявили все слабые места. По результатам испытаний была выполнена «работа над ошибками». Мы разработали новый контейнер.
Автор: Андрей Давыдов
