Проводим измерения для прохождения сертификации по Tier 3 в дата-центре в Стамбуле. И нет, на фото не я.
Я руковожу проектами создания ЦОДов в России и за рубежом. И хочу рассказать о том, как в последние годы российские ЦОДы приобретают свой особый стиль проектирования.
И я не про истории вроде того, что если в проекте есть контейнерный дизель-генератор, то надо обязательно сразу спроектировать площадку для курения близко к выходу из здания. Потому что, если так не сделать, народ будет курить за ДГУ и бросать бычки на землю или прямо в дырку вентиляции. А когда его нужно будет завести, он заберёт потоком воздуха их все в радиусе пары метров и сразу забьёт фильтр.
Скорее речь идёт о более глобальных вещах, касающихся общих идеи и стиля проектирования. Основывается этот стиль на том, что российский заказчик обычно знает, что ему нужен ЦОД, но не знает, какое ИТ-оборудование он поставит в него через год или два, не говоря уже про перспективу десяти лет. Поэтому дата-центр проектируется максимально универсальным. Если описать это как «следующие десять лет размещать любое оборудование, которое выходит на рынок», то не особо промахнётесь. В итоге получается, что проект ЦОДа нацелен на то, чтобы объект легко модернизировался в будущем без переделки здания, капитальных реноваций и так далее.
Пример: никто не знает «на берегу» какую необходимо делать ширину «холодного» коридора. Да, есть минимальные нормативы, но мы в последние годы стараемся сделать его шириной не менее 2,4 метра, потому что есть негабаритное оборудование в своём конструктиве, которое от 1 500 мм в глубину и необходимо учитывать его радиус поворота, закладывая ширину коридора.
Потом проектируется универсальная система кондиционирования для машзалов. Если несколько лет назад было вполне достаточно классической схемы с горячим и холодным коридором, то сейчас нагрузка на стойку растёт и требуется применять различные способы «доохлаждения» оборудования в высоконагруженных стойках. Раньше средним значением было 4–5 кВт на стойку, сейчас заказчики требуют не менее 7–10 кВт, причём в середине машзала могут стоять отдельные стойки с максимальной нагрузкой до 20 кВт. Нужны новые подходы к размещению как ИТ-оборудования, так и кондиционирующего оборудования в машинном зале. Сейчас появились кондиционеры на шкафы для экономии площади, но они требуют особенного помещения (с потолками выше). Появились активные плитки фальшпола — раньше их тоже не было.
Часто бывает, что идёт модернизация, кондиционеры уже не тянут — они когда-то были рассчитаны на стойку 3 кВт, а сейчас нужно с тех же стоек снять 7 кВт. Заказчик говорит: меняем всё. Где-то это получается, где-то нет. В отдельных случаях меняем всё, но иногда меняем только внутренние блоки, а чиллеры оставляем старые, если они позволяют снимать новые нагрузки и только проверяем их ресурс. Часто проще дооснастить новыми кондиционерами и распределить потоки плитками.
Отдельно хочется отметить проекты, в которых подобная модернизация выполняется «на горячую», то есть, когда бизнес-процессы нельзя прерывать ни на секунду, а значит нельзя останавливать и ИТ-оборудование. Настоящий вызов для всей проектной команды: сжатые сроки, высочайшая ответственность, работа без выходных (а иногда и 24/7). А если ещё и помещение небольшое, где два такелажника плечами друг в друга упираются…
Модернизация систем бесперебойного электроснабжения тоже заслуживает отдельного упоминания. Попадаются проекты, в которых инженеры будто намеренно делали всё, чтобы их детище сохранилось в первоначальном виде до самой старости. Смотрим с заказчиком однолинейку и вместе натыкаемся на различные «препятствия». Такие бывают «узкие места», схема настолько сложна, что трудно поверить, что она вообще работает.
Принцип KISS (Keep it simple, stupid!) явно не использовался.
Или вот шинопроводы внутри машзала: высокая скорость монтажа, освобождается место под фальшполом, гибкость и удобство при эксплуатации — ввод электропитания «сверху» позволяет легче добавлять или перемещать стойки.
Поскольку заказчик не может спрогнозировать равномерность распределения «тяжёлых» стоек, мы сперва прикидываем общую компоновочную схему помещений, затем строим модель, по которой считаются разные конфигурации зала, и по которой считаем потоки воздуха.
Потом исследуем сами потоки. Вот так это выглядит:
Это важно, потому что могут стоять два соседних ряда, в одном стойки будут 14 кВт, в другом — 2 кВт. Среднее по ним будет восемь, но в одном горячем коридоре будет очень тепло и кондиционеры будут работать на износ, а во втором — будут падать по ошибкам, потому что охлаждать нечего. То есть план размещения ИТ-оборудования хотя бы примерно надо продумывать ещё уже на этапе проектирования инженерных систем и коммуникаций.
И таких нюансов по проекту — десятки.
Вот ещё пример фактора нестабильности — процесс согласования. Любое новое строительство согласовывается много раз в разных инстанциях. Это довольно итеративный процесс. Сроки согласования непредсказуемые. Исходя из этого в каждом случае необходимо находить решения, чтобы получался компромисс с различными инстанциями по поводу того, что можно, что нельзя делать в том или ином здании и площадке. Образуется целая база инженерных лайфхаков: как удовлетворить требования нескольких стандартов сразу и при этом сохранить эффективность.
В отдельных регионах не всегда можно быстро изменить назначение здания. Часто строят ЦОДы в офисных или бывших «приофисных помещениях» (гаражи, склады). Надо менять назначение на промышленное. Часто оказывается, что изначально заказчик мог не поменять «гараж» на «офис», и приходится проходить всю цепочку целиком. И иногда это означает, что проще выбрать новую площадку, чем получить разрешение на эту.
У госкомпаний в этот процесс добавляется ещё одна особенность. У них очень жёсткие договора и, в частности, сроки по ним. А согласования внутри заказчика, между его департаментами — нерегламентированный по времени процесс.
Потом отпечаток накладывает страх новых технологий. В разных странах мы видим разное отношение к этому вопросу: где-то доверяют подрядчику, но очень жёстко проверяют по техтребованиям все предлагаемые решения, а где-то всё делают «по старинке» и заказчик, и подрядчик. У нас обычно есть разрыв между тем, что знаем мы как проектировщики, строители и практики, и тем, что помнит заказчик из опыта своего предыдущего ЦОДа. Вот строил он десять лет назад, и всё получилось хорошо. Значит, надо построить точно такой же ЦОД, но побольше. А это не всегда хорошо сейчас. Новые законодательные аспекты, экологические нормы, технологии — рынок меняется довольно быстро. Я вот часто встречаюсь с тем, что заказчик просто не знает о существовании альтернативы классической связке — статические ИБП + ДГУ. Для них дизель-динамический источник бесперебойного питания (ДДИБП) — чёрный ящик, и они сразу отметают вариант с ним. Вторая фаза отрицания наступает в момент, когда сравниваются согласования с МЧС, дополнительные помещения, согласование по канализации и так далее. Но если посчитать все плюсы и минусы — уже задаётся база для выбора. Как правило, там деньги из расчёта на пять, десять и 20 лет, и этот язык все понимают отлично.
А ещё из этой проблемы с непониманием технологий растёт следующая. Заказчик не всегда реально оценивает сроки. Это касается не только строительства ЦОДа и инженерки, но и всего ИТ-рынка. Первая причина в том, что рынок развивается. Время на монтажные и пусконаладочные работы, как и сложность этих работ, а соответственно и квалификация привлекаемого персонала, сейчас растёт, но потом эксплуатировать такие системы значительно проще, чем созданные на базе прошлых технологий, — такой вот тренд технологий.
Вторая причина — часто внутри заказчика есть долгосрочная программа развития. И не всегда внутри себя заказчик начинает проект, когда он должен был начаться по программе. Но закончиться-то он должен ровно по ней! Если был год на серверные, а начали со смещением шесть месяцев, то построить их надо за шесть оставшихся месяцев. Внутри компании сроки не двигаются. И надо что-то выдумывать. А ещё иногда заказчик сокращает их целенаправленно, потому что его опыт показывает, что можно делать быстрее, чем заявлено. Действительно можно. Но в сроках реализации, обычно лежат таможенные формальности, сезонные пики доставки, проблемы с поставками комплектующих на заводах и август. Август для инженерной инфраструктуры вообще мёртвый. Основные производители кондиционеров всеми заводами уходят в дружный отпуск — в прошлом году это сдвинуло сроки одного из проектов. Ещё часто проекты надо заканчивать до 1 января, и тут уже католическое Рождество накладывает отпечаток. Рождество начинается 21-22 декабря, когда самая горячая пора в РФ по закрытию проектов. Потом уже наши праздники. Если «повезло» и машина с грузом зашла на таможню 20 декабря, то выйдет 11 января. И эти три недели могут создать проблемы. Сроки доставки оборудования госзаказчикам не меняются: можно легко влететь не по своей вине и создать себе негативную репутацию или вообще улететь в чёрный список. Поэтому в сроках закладывается не минимум, а объективный период.
Или вот процесс производства: восемь недель для кондиционирования и ИБП, 12 недель для ДГУ — это если сборка из частей со склада. А заводы работают не совсем так. Поэтому на старте проектов стараемся проговаривать вехи, к которым будет привезено оборудование. Чтобы у заказчика был пайплайн, чтобы проверять, что и как. Это важно, чтобы руководитель со стороны заказчика знал, что если сегодня не оплатили — он своими руками сдвинул срок проекта на этот день.
Как-то надо было построить небольшой ЦОД за четыре месяца. Фундамент был, капремонта не было. Два машзала по 100 стоек, 1,2 МВт в каждом. Начало работ — в начале декабря. 13 марта закончили. Выйти на работы в начале зимы в конце года не всем подрядчикам удобно и комфортно: в России все готовятся к длительным праздникам и отпускам. У строителей и то и другое — святое. Мы работаем с теми, кто знает специфику проектов, поэтому гибко относятся к тому, что надо работать в три смены без перерывов в праздники и выходные. Находят людей и начинают работы. Не всегда сразу начинаем, тут вот спустя неделю начали. Лично у меня 31 декабря того года рабочий день закончился в 18:00. А 2 января я стоял с руководителем проекта заказчика на площадке и смотрел на то, как идут работы.
Нет типовых проектов. Обычно в Европе ЦОДы строятся примерно по одному проекту. Сделал один — и можно по всей стране шлёпать. У нас не так. Мы не можем применять типовые проекты на юге и севере. Разная стоимость топлива. Разные цены на электричество. Разные экологические требования. Разная среднегодовая температура. На севере хорошо работает фрикулинг. Но зато на югах можно поставить солнечные батареи для ЦОДа для снятия пиков нагрузки, на севере же они помогут максимум освещать придомовую территорию. Ветряк — очень долгое и дорогое согласование, далеко не везде можно поставить и эксплуатировать. Тот, кто инициирует проект по созданию ЦОДа, не всегда тот же, кто эксплуатирует, поэтому для него построить дешевле сейчас бывает важнее снижения стоимости эксплуатации, но потом.
Из недавнего — вендор поставил дизельное оборудование, машины приехали со спецификацией для стран с жарким климатом, то есть для Саудовской Аравии. Машины нужно охлаждать. И вот отличаются они от «нормальных» — радиусом вентилятора. С точки зрения техники — это не минус, но для нас — это плохо, потому что мы должны контейнеры поставлять со стандартным габаритом. Машины мощные и ровно вписываются в 12-метровый стандартный контейнер. И вот этот вентилятор торчит из габарита. Пришлось просить подрядчиков делать нестандартный контейнер в стандартном габарите: делать выступы, козырьки от осадков, ветра, доступа.
Особо хочу отметить ЦОДы за Уралом. До них огромные расстояния, которые нужно пересекать по отвратительным дорогам, чтобы привезти оборудование. И не всегда оно приезжает целым. Далеко не все вендоры готовы давать поддержку на дальние регионы. У нас есть экспертиза и хорошая инженерная служба, поэтому часто нам аутсорсят такие заказы. А так для критичных ЦОДов важно знать, что далеко не все готовы подписаться на SLA четыре часа на какой-нибудь объект с полезными ископаемыми. За пределами Москвы, Петербурга, Екатеринбурга и Казани такие SLA вообще звучат как фантастика. А на Крайнем Севере вообще слово SLA приобретает саркастический оттенок.
Следствие — выбор вендоров с широкой сетью сервиса. Часто более дешёвый вендор хуже именно с точки зрения эксплуатации.
Ссылки
- ДДИБП: как мы меняли машину.
- Охлаждение ЦОДа (старый пост).
- Дата-центр Компрессор (старый пост с экскурсией) и ещё пост про его строительство.
- Что случилось за последние годы в эксплуатации Компрессора (мелкие доделки).
- Моя почта — SMakhlin@croc.ru
Автор: Сергей Махлин
