Создание собственного корпуса для сервера. Думаете, просто?

Привет, %username%. Меня зовут Семён Климов, я менеджер проектов технического департамента в Selectel. Сегодня я расскажу, как мы разрабатывали корпусы серверов из линейки Chipcore (выделенные серверы по доступной цене). В далеком 2016 году перед нами встала нетривиальная задача: необходимо уйти от стеллажей с объемными системными блоками и привести железо к более компактному виду, который бы позволял размещать бо́льшее количество серверов на единицу площади.

На первый взгляд задача выглядит простой: все элементы системного блока — материнскую плату, блок питания и диски — надо разместить компактнее на стеллаже с полками. Решили расположить комплектующие вертикально, на одном листе металла, что позволило бы уместить на одном стеллаже 72 сервера вместо 20.

^{Так выглядели стойки бывшего ЦОД Tehnodom в Tower-исполнении}

^{Старое фото от 2015 года ЦОД Tehnodom}

Все началось в начале 2016 года — с листочка бумаги формата А4, на котором был от руки нарисован примерный план расположения дисков, блока питания и материнской платы. План воплотился в чертеж благодаря проектировщику-фрилансеру, который честно отрисовал в AutoCAD наши «хотелки». Так был спроектирован первый образец пластины.

^{Тот самый чертеж в AutoCAD}

Затем мы начали искать завод, который возьмется за изготовление прототипа. Нашли такой в городе Арзамас Нижегородской области — ОАО «Рикор Электроникс». Радости не было предела: завод готов взяться за работу, если мы закажем не меньше сотни пластин. Спустя месяц я уже держал прототип в руках.

Радость была недолгой: пластина с комплектующими была неустойчива и падала при малейшем дисбалансе. Чтобы решить проблему, мы увеличили основание, на которое опиралась пластина, на 2 см и перенесли блок питания вниз. Это сместило центр тяжести — пластина стала устойчивее.

В процессе мы решили найти другого производителя корпусов — им стала компания «Мир металла» из города Подольск. Отправили ей все имеющиеся чертежи и даже образец готового изделия.

Но появился нюанс: текущие чертежи в формате AutoCAD не подходят, нужен формат для станков с ЧПУ. Причем станки на новом заводе отличаются от предыдущих, поэтому нужно адаптировать чертеж. Когда мы с этим справились, новый партнер изготовил тестовый экземпляр пластины. Казалось, что вот он — Chipcore моей мечты.

Через месяц к нам пришла сотня пластин. На них удалось обкатать несколько видов материнских плат и блоков питания. В результате мы выяснили, что некоторые провода блоков питания не дотягиваются до разъемов материнских плат! Это было первое (и не последнее) разочарование. Также мы поняли, что на текущих пластинах нам не хватает нескольких элементов для работы с сервером: нужно разместить кнопку питания, индикатор работы сервера и диска (два светодиода) и порт для удаленного управления.

В дальнейшем идея управления питанием через RS-485 с использованием Moxa умерла так и не родившись. От порта мы отказались.

^{Прототип уголка для пластины}

^{Первый вариант самостоятельной распайки элементов}

^{Прототип с коннектором}

Управление питанием серверов организовали через PDU. В поисках лучших кнопки, разъемов, светодиодов, сечения проводов были перекопаны километры интернета. И вот, появился нехитрый апгрейд пластины — уголок с индикацией и управлением. Именно этим «уголком» я вручную оснастил первые 100 пластин. Кстати, они верой и правдой работают до сих пор.

Паять проводочки к светодиодикам оказалось неблагодарным и трудозатратным делом. Решили найти готовые провода с нужным разъемом на материнскую плату. Опять же, Google мне в помощь. Дни и ночи в поисках и … ничего. Ничего, что удовлетворяло бы нашим требованиям.

Пришлось пойти проверенным способом — через производителя. Им стал небольшой подмосковный производитель кабельных жгутов и сборок. До сих пор им благодарен, так как они быстро схватили суть и выполнили требования на 100%. Уже через неделю у меня на столе лежала нужная кабельная сборка. От индикатора работы диска и разъема управления решили отказаться за ненадобностью.

После нескольких месяцев эксплуатации стало понятно, что серверы пользуются спросом, количество не занятых клиентами машин стремительно сокращалось. Мы заказали новую партию пластин (вновь 100 штук) с учетом доработок. Так появилась вторая версия корпуса для Chipcore.

В таком виде пластина всем понравилась — и отделу сборки, и инженерному отделу, производящему монтаж и обслуживание серверов.

Ничего не предвещало беды, но через полгода пришла большая партия материнских плат с другим расположением разъемов Ethernet. Монтаж стал похож на акробатические трюки. Пришлось переосмыслить пространство (и время), поработать с размерами, перебрать десятки вариантов, чтобы найти «тот самый».

Также в процессе эксплуатации стало понятно, что летом температура в серверной повышается, фрикулинг не справляется, а перегрев процессора вызывает троттлинг. С этим надо было что-то делать.

Первое, что пришло на ум, — поставить дополнительный кулер, который продувал бы воздух между плотно стоящими на стеллаже пластинами. И мы его поставили… на стяжки. Да-да, пришлось поставить кулеры на стяжки, чтобы хоть как-то решить вопрос перегрева. Это помогло, но только на маломощных процессорах. Температура же на производительных, «горячих» CPU упала незначительно. Нужно было придумать другое решение.

Новые требования мы учли в третьей версии Chipcore. На этот раз принципиально искали локального производителя, в идеале — из Петербурга. Не хотели терять время на транспортировке и считали ценной возможность в любой момент приехать на производство и показать пальцем, что куда надо перенести. Также близкое расположение производителя позволяло тестировать готовое изделие «с пылу с жару». Пришлось заново снимать мерки с произведенных образцов, чтобы перевести в программу для станков ЧПУ.

Крепление материнской платы на пластину решили заменить на пластмассовые RCD-12. Это немного удешевляло производство — из производственной цепочки исключался станок для впрессовывания винтового соединения. Ребра жесткости превратились из крестообразных в вертикальные — это улучшило охлаждение.

Появилось стационарное крепление для дополнительного кулера. Также мы переработали узел крепления SSD-дисков — теперь они крепились один над другим. Это позволило улучшить их охлаждение и увеличить площадь полезного места на пластине. Толщина металла выросла с 1 мм до 1,2 мм, что придало жесткость всей конструкции.

В таком виде наши серверы линейки Chipcore существуют по сей день. Но время не стоит на месте, а мы стараемся идти с ним в ногу, поэтому разработали стоечный Chipcore v2.0. Если эта статья вам понравится, то расскажем и о нем.

До новых встреч!