В средней части первого этажа ЦОД «Компрессор» два машзала, строго над ними — два машзала на втором этаже. В каждом зале по 1 МВт электромощности на стойки. На первом этаже трансформаторная подстанция, распредпункт, электрощитовая. Слева-сверху на схеме бытовой комплекс, помещение охраны. Справа от машзалов – помещение системы охлаждения – насосная станция. Рядом с машзалами (по бокам) коридоры с фанкойлами, по центру — коридор с распредщитами.
Второй этаж в принципе повторяет планировку первого этажа:
На месте трансформаторных подстанций — ИБП и аккумуляторы. Холодильная часть второго этажа — это насосная станция гликолевого контура (второй контур охлаждения). Плюс справа от машзалов установлен бак-аккумулятор на 100 кубометров на 15 минут автономного холодоснабжения ЦОДа (при отключении внешнего электроснабжения на время запуска дизельной электростанции для охлаждения машзалов используется уже заранее захоложенная вода из бака, которая подаётся в контур охлаждения).
Макет ЦОДа
Вот первый топик про строительство этого ЦОД.
Вводная
Прежде чем идти дальше, для начала коротко расскажу о ситуации. Сейчас у КРОК есть 3 ЦОДа, которые располагаются вот так:
Первые два – у нас в офисе и под соседним зданием парковки соответственно. Третий (как раз «Компрессор») находится подальше, но тоже в Москве, из-за развитой инфраструктуры и хороших каналов связи в столице и из любой точки города. Он расположен там, куда системный администратор или инженер спокойно может добраться минут за 40-50 из любой точки города или из центра на метро или машине.
Вообще, на сегодня мы участвовали уже более чем в 60 запусках ЦОДов разных компаний в России – где-то делали очень много, где-то консалтили, где-то выполняли только отдельный участок работ. Опыт накопился большой. Но начиналось всё просто: первый ЦОД был пилотный, со всеми классическими решениями. На базе него мы для себя поняли, насколько перспективно это направление и насколько аутсорсинговые ЦОДы востребованы. Тогда же мы начали проектировать и строить ЦОД «Компрессор». По ходу дела появилась возможность построить ещё один не очень большой ЦОД под парковкой. В нём впервые в РФ мы использовали ДДИБП (это очень интересный ИБП, где огромный ротор накапливает кинетическую энергию), плюс как на нем, так и на Компрессоре обкатали ещё несколько новых штук.
Первый ЦОД на 90 стоек и 1Мвт.
Второй ЦОД на 110 стоек и 2 Мвт.
ЦОД «Компрессор» на 800 стоек и 8 Мвт.
- Отказоустойчивость: Tier III, подтвержденная Uptime Institute,
- Охлаждение: N+1, в среднем 5 кВт/стойку (есть и 30 кВт стойки, они ставятся рядом с менее мощными в машзале),
- Энергоснабжение: 2N, ИБП – 15 минут, ДГУ – 24 часа без дозаправки,
- Вместимость – 800 стоек,
- Помещения склада и персонала заказчика,
- Охраняемая территория,
- Здание в собственности,
- Соединен оптоволоконным кольцом с сетью дата-центров КРОК,
- 6000 кВт общей холодильной мощности, из них 1500 кВт резерв,
- Сквозное резервирование системы холодоснабжения N+1 (3+1),
- Среднегодовой расчётный PUE не хуже 1.45,
- Запас холода 15 минут при отключении электроснабжения,
- Температурный диапазон -36…+37 градусов (это абсолютный минимум и максимум за последние 10 лет в Москве).
Электроснабжение
Извините, меня предупредили, что если на схеме будет что-то читаться, то безопасники меня пристрелят, поэтому вот так.
Энергоснабжение
- 8 МВА максимальное энергопотребление ЦОД,
- 4 МВт (4х200х5 кВт) энергопотребление ИТ,
- Энергия напрямую от генератора (ТЭЦ-11) по двум независимым кабельным линиям,
- PUE по результатам замеров из полного потребления ЦОДа (включающего всех потребителей) к IT-стойкам 1,35-1,45 (зима), в отдельные дни было 1,25. 1,45-1,85 (лето). Запланированное среднегодовое – 1,45, идём чуть лучше плана,
- Крупнейшая в России сборка ДГУ F.G.Wilson в контейнерном исполнении,
- 7 ДГУ по 2000 МВА каждый,
- Параллельная работа ДГУ на 2 шины,
- Резервирование коммуникаций 2N,
- Резервирование ДГУ N+1,
- Запас топлива на 24 часа.
Бесперебойное энергоснабжение
- Крупнейшая в России сборка ИБП GE Digital Energy,
- 38 шт. GE DE SG series по 300 кВА каждый,
- Автономия 15 мин,
- Резервирование сборок ИБП 2N и N+1.
Оборудование
- Электромонтажное и электрощитовое оборудование Schneider Electric,
- Релейная микропроцессорная защита Sepam,
- Распределительные щиты Prisma Plus серий P и G,
- Шинопроводы Canalis KTA,
- Кабельная продукция: более 100 км кабеля сечением от 1,5 до 400 квадратных миллиметров (некоторые нельзя согнуть руками, только специальным прибором) от отечественных заводов.
Полные 8 МВт достигаются при температуре +37 снаружи и полной загрузке машинных залов. Вход — 2 линии от ТЭЦ, причём нам пришлось дорабатывать их питающие ячейки и самим прокладывать инфраструктуру до ЦОДа. Затем 8 трансформаторов, 4 группы по 2 штуки. Мы старались минимизировать количество коммутирующих аппаратов. В России один автоматический выключатель на 2,5 килоампера стоит дороже, чем трансформатор. Поэтому мы оптимизировали схему исходя из минимизации затрат. На каждый машзал сейчас работает по два независимых трансформатора по 2000 киловольт-ампер каждый. Нечётные трансформаторы питают чиллеры и градирни, чётные — фанкойлы. Мы имеем возможность отключать любой из трансформаторов, и при этом работоспособность ЦОДа не нарушается. Справа на схеме — 7 резервных ДГУ по 2000 киловольт-ампер резервной мощности. Запас топлива хранится в двух ёмкостях по 25 кубометров.
ИБП — классические статические. 38 штук по 300 киловольт-ампер каждый. Для машзалов резервирование 2N, для инженерной нагрузки — N+1. Обеспечивается 15 минут бесперебойного питания.
Силовые трансформаторы отечественные, они вполне высокого качества. Всего — 8 штук. Делал их Подольский трансформаторный завод, они прекрасно работают, никаких нареканий. Кабельная продукция тоже отечественная, но мы тщательно проверяли каждый кабель при отгрузке, потому что не секрет, что при больших партиях наши заводы могут выгнать брак. Воевали за каждый метр.
Охлаждение
Система охлаждения – это баланс между экологичностью, ценой и эффективностью. Да-да, мы любим экологичные решения, и уже тогда думали про это, а не только про деньги.
Система двухконтурная, первый контур с водой — 200 тонн. В случае разлива никаких проблем. Вода ещё и хороша по теплофизическим свойствам. Баки-аккумуляторы у нас из железобетона, давление создаётся естественным столбом воды (система открытая).
Мы закладывали высокие параметры по температуре, чтобы минимизировать потери мощности на конденсации воды на теплообменниках. В нашем случае 13 градусов на подающей 18 градусов на обратной магистрали. В будущем, в следующих ЦОДах (мы их постоянно строим в России) хотим ещё поднимать температуру, можно двигаться дальше.
Внешний контур заполнен этиленгликолем. Чиллеры и драйкулеры включены последовательно — то есть расширяется температурный диапазон работы в режиме свободного охлаждения, можно практически до +15 на улице частично снимать тепло драйкулерами в режиме свободного охлаждения. 100% Фрикулинг с полным съёмом мощности доступен уже при +5 и ниже.
Применяли систему автоматизированного проектирования, что позволило оптимизировать итоговую схему. В процессе испытания получили все заложенные в проект значения по температурам, давлению и так далее совершенно чётко и без сложностей. Вручную было бы сложно из-за высокой разветвлённости трубопроводов.
Основные параметры:
- 64 фанкойла STULZ на 4000 кВт мощности. 48+16 резервных. Для экономии мы используем все, что позволяет работать на более тёплой воде.
- Вода 13/18 градусов Цельсия,
- Увлажнитель на каждой 4-й машине
- Мощность 97 кВт (Qявн = Qполн),
- Расход воздуха 28800 куб.м/ч.
Поставщики:
- Чиллеры и градирни: Nordvent,
- Вентиляционное оборудование: LENNOX,
- Насосное оборудование: GRUNDFOS,
- Теплообменное оборудование: Alfa Laval,
- Запорно-регулирующая арматура: BROEN, GROSS.
Под фальшполом нет ничего, кроме труб системы газового пожаротушения, и там ничего не зонируется, работаем на общий объем. Чиллеры все воздушные + «сухие» градирни, включенные в контур последовательно (сначала по потоку стоят градирни, потом чиллеры). Это позволяет расширить диапазон работы системы в режиме полного и частичного фрикулинга.
В предыдущем топике был вопрос по именно такому решению через фальшпол, расскажу чуть подробнее, почему. Работа через фальшпол достаточно эффективна, удобна и конструктивно проста практически для всех современных применений в ЦОДах. Одна из задач, которую мы решали при проектировании инженерных систем состояла в том, чтобы внутри машинных залов не было никакого «постороннего» (не относящегося к арендаторам) инженерного оборудования. Нужно это потому, что если, например, банк размещает у нас стойки, то чаще всего ставит специальные ограждения прямо в машзале. Любое обслуживание оборудования внутри зоны клиента означает необходимость звать их безопасников. Вопросы безопасности наших клиентов превыше всего.
Вторая задача – отсутствие воды в машинных залах и над ними (никаких «внутрирядников» и «холодильников» на перекрытиях). Работая через фальшпол мы обе эти задачи и решили, ведь фанкойлы у нас вынесены из машзалов в специальные боковые коридоры.
Ещё вопрос был про «мегагорячие» стойки. Они охлаждаются на общих основаниях. Рядом с ними ставим «пустые» стойки с заглушками. Есть условие — через одну перфорированную плитку фальшпола в наших условиях можно продуть количество воздуха, достаточное для снятия примерно 5 кВт тепла (одного «среднестатистического» серверного шкафа). Если сервер выделяет 30 кВт, значит ему нужно отдать 6 плиток.
Защита от пыли
Заготовка воздуха
В посте про строительство этого ЦОДа спрашивали про защиту от пыли. Вообще, вещь достаточно простая, но расскажу детальнее. Нужно несколько операций:
- Во-первых, надо убрать всё после монтажа оборудования после застройки. Для этого мы привлекли специальную клиниговую компанию, которая зачистила всё так, как будто нужно было установить карантин для инопланетян.
- Во-вторых, когда пыли внутри уже нет, важно не пускать её больше в ЦОД. Фильтрацию воздуха внутри машзалов обеспечивают фильтры фанкойлов EU4. То есть снаружи пыль может попасть только с посетителями.
- В-третьих, любая пыль, пришедшая в ЦОД вместе с гостями, фильтруется теми же фильтрами, поскольку воздух внутри машзалов циркулирует фактически в замкнутом объеме с огромной кратностью.
- И, в-четвёртых, в машинных залах обеспечен подпор воздуха специальной вентиляционной машиной (тоже с фильтрами, разумеется), то есть внутри залов обеспечено небольшое избыточное давление, которое не дает подсосать пыль извне.
Сертификация
Если коротко, то есть два подхода к сертификации – «стройте как мы сказали и всё будет ОК» — по TIA и «стройте по требованиям, и мы проверим объект» по UI. Мы сертифицировали по второй методологии, то есть прогоняли по ЦОДу фактические тесты, что довольно-таки редко в России. Список сертифицированных по TIER-III ЦОДов можно посмотреть вот здесь: uptimeinstitute.com/TierCertification/certMaps.php.
Разницу про подходы сертификации – вот здесь habrahabr.ru/company/croc/blog/157099/.
Различия между уровнями TIER I – TIER IV
TIER-III по Uptime предполагает параллельное обслуживание, когда регламентные работы и аварии не вырубают ЦОД и не снижают его выходные параметры.
Делалось это так: сначала Uptime получает проектные документы на английском. Они выдают рекомендации, потом если всё хорошо — они выдают сертификат на проект. Специалисты ATD (специалисты сертифицированные UI) могут очень помочь на этой стадии, плюс они гарантируют соответствие проекта требованиям института. Это сертификация бумаг, то есть проекта.
Затем уже куда сложнее сертифицировать построенный ЦОД, чтобы получить сертификацию объекта. После утверждения проекта и строительства парни из UI приезжают на место. У нас они пробыли 4 дня, провели комплексные испытания с имитацией кучи отказов и имитацией регламентного обслуживания. Залог успеха — полное соответствие ЦОД проекту, плюс опыт работы команды обслуживания. Если вы до этого не проводили «учебных тревог» — высок шанс не пройти проверку. Для подготовки программ обучения и персонала можно опять же привлечь ATD, если нужна помощь.
Вообще, при проектировании и строительстве ЦОДа повышенной ответственности очень важно иметь лучших специалистов в каждой сфере. Как правило, сейчас это инженеры советской школы, крайне глубоко знающие предмет и имеющие огромную практику. Подрастает и новое поколение, благо IT в СНГ развивается довольно бурно. Ещё в проектной команде нужен человек от бизнеса, который обеспечивает соответствие целей проекта целям бизнеса. Он же поможет привлечь лучшие ресурсы в случае необходимости.
Нужны проверенные субподрядчики. Кроме самих работ нужно понимать, что комплексные испытания будут проводиться несколько раз, и хорошо если подрядчики будут помогать, это важно.
Очень важно привлекать службу эксплуатации в сам проект, чтобы к запуску не пришлось начинать учить всех заново. Хорошо когда эксплуатационная команда изнутри понимает что и как работает.
Вот и всё. Больше картинок есть вот здесь в фотоэскурсии. ТТХ объекта есть на www.croc.ru/dc.
Сразу частые вопросы: окупаемость объектов такого класса около 10 лет; пожаротушение – газ, вытесняющий кислород; находится в Москве в районе Авиамоторной на территории завода «Компрессор»; проект и работы отечественные; входных векторов питания 3 – два от ТЭЦ и ДГУ, поэтому можно жестко тестировать с одним отключенным; с яблоком или мороженым в машинный зал нельзя.
Автор: Pvashkevich
