Сегодня отправимся гулять по самому большому коммерческому дата-центру в России — NORD-4. По пути расскажем, как все устроено в дата-центре TIER III.
Немного истории
Строительство дата-центра стартовало летом 2013 года на площадке NORD на Коровинском шоссе в Москве. NORD-4 стал самым большим проектом не только для DataLine, но и для всего российского рынка коммерческих дата-центров. NORD-4 занимает отдельное четырехэтажное здание общей площадью 11 700 кв.м. 8 машинных залов вмещают 2016 стойкомест. Общая мощность дата-центра 18 МВт.
Дата-центр примечателен не только своими масштабами, но вложенным опытом. Мы сами проектируем, строим и эксплуатируем все свои дата-центры с 2007 года, и NORD-4 стал для нас седьмым.
NORD-4 планировалось вводить в эксплуатацию поэтапно, поэтому дата-центр спроектирован так, чтобы монтаж и пусконаладка новых очередей не мешали работе уже запущенных залов.
В марте 2015 в эксплуатацию была сдана первая очередь NORD-4 — 2 зала по 252 стойкомест, в декабре 2015 — еще столько же.
В июне 2015 проект NORD-4 прошел сертификацию Uptime Institute по стандарту TIER III Design, а в феврале 2016 мы сертифицировали уже готовый объект (TIER III Facility).
Следующие две очереди дата-центра на 1008 стойкомест запустятся в 2017 году.
NORD-4 находится на севере Москвы, на Коровинском шоссе 41.
Физическая безопасность
На входе в дата-центр нас встречает круглосуточный пост охраны. Как и все наши ЦОДы, NORD-4 — режимный объект, поэтому попасть внутрь можно только по удостоверению личности и заявке на пропуск от сотрудника дата-центра.
Все помещения и территория дата-центра просматриваются через камеры внутреннего и наружного наблюдения. Картинка о происходящем в NORD-4 круглосуточно транслируется на мониторы охраны. Все видео записываются и хранятся 3 месяца на случай, если потребуется воспроизвести события дней минувших.
Итак, с пропуском на шее, бахилами на ногах и в сопровождении дежурного инженера отправляемся исследовать NORD-4. В сам дата-центр можно попасть только через специальный отсек — шлюз. Эта своего рода двойное заграждение для того, чтобы в ЦОД не попал человек без пропуска. Работает шлюз так: посетитель прикладывает пропуск к считывателю СКУД (система контроля и управления доступом), заходит в шлюз и закрывает за собой дверь. После этого повторяет все те же действия со второй дверью, ведущей в дата-центр. Если в шлюзе каким-то образом оказывается человек без пропуска, то охрана блокирует его, и вторая дверь не открывается.
Машинные залы
Каждый машинный зал находится в отдельном контейнере, со своей крышей и стенами. Эти внутренние здания называются гермозонами. Они защищают от протечек, попадания пыли в машинные залы, обеспечивают нужную степень огнестойкости.
При сдаче дата-центра служба эксплуатации щедро проливает крышу гермозоны водой и проверяет на предмет протечек. Для этого испытания и реальных потопов, у гермозоны даже предусмотрены водосточные трубы.
Каждый машинный зал занимает площадь 500 кв. м и вмещает 252 стоек. В 4 запущенных залах уже работают 389 стоек.
Все стойки с серверным и телеком оборудованием устанавливаются на фальшпол высотой 800 мм. Основная функция фальшпола — подвод холодного воздуха к стойкам. Под фальшполом расположены шинопроводы, по которым подводится электричество к стойкам, датчики протечки и задымления, распылители огнетушащего вещества.
Второй комплект датчиков задымления и распылителей огнетушащего вещества находится под потолком зала. Красные трубы — это система раннего пожарообнаружения (VESDA). Она постоянно “нюхает” воздух и фиксирует малейшее задымление.
Там же находятся динамики для оповещения об эвакуации на случай пожара.
В случае пожара через желтые трубы на потолке в машинные залы подается огнетушащее вещество Novec.
В начале и в конце каждого ряда стоек на лотках СКС установлены камеры видеонаблюдения. Отдельные 2 камеры фиксируют, кто заходит и выходит из зала.
Если заказчикам нужен дополнительный периметр физической защиты, то мы помещаем их стойки в специальные клетки — кейджи. В кейдж устанавливается свой СКУД. Системы идентификации могут быть разными: считыватель магнитных карт, отпечатков пальцев, сетчатки глаза. Внутри можно повесить дополнительные камеры видеонаблюдения, датчики объема и движения.
Энергоснабжение
В дата-центре 4 независимых энергоцентра. В каждом энергоцентре по 2 ввода от городской электросети, 2 понижающих трансформатора, 4 дизель-генератора (ДГУ) и 11 источников бесперебойного питания (ИБП). Каждый энергоцентр питает по 2 машинных зала и установленное в них инженерное оборудование.
Распределение электричества в дата-центре происходит примерно так: питание от городской сети по двум лучам поступает на понижающие трансформаторы, а затем на главный распределительный щит.
Ко всему критическому инженерному оборудования подведены два луча электропитания. Все вычислительное оборудование подключается к двум независимым лучам через источники бесперебойного питания (ИБП).
Если пропадет городское питание, то ИБП автоматически переводит свою нагрузку на аккумуляторные батареи. В это же время система автоматики дает команду на запуск ДГУ. Им нужно около минуты для выхода на рабочую мощность, после чего дата-центр начинает питаться от ДГУ, а не от аккумуляторных батарей. Время автономной работы на батареях при полной нагрузке — 15 минут.
В NORD-4 работают 44 ИБП MGE Galaxy 7000. ИБП зарезервированы по схеме 2N.
Так выглядят аккумуляторные батареи, за счет которых ИБП питают весь ЦОД, пока заводятся ДГУ.
В NORD-4 мы используем FG Wilson мощностью 1750 кВт. Резервирование N+1: для работы одного энергоцентра достаточно трех ДГУ, один резервный.
На территории NORD-4 организовано подземное топливохранилище на 100 куб. м. Из него топливо автоматически доливается в расходные баки ДГУ. На собственных запасах без питания от города дата-центр может проработать более суток.
Трассы топливохранилища, по которым топливо поступает в ДГУ, зарезервированы по схеме 2N.
Каждый две недели мы тестируем систему энергоснабжения: на 1 час отключаем один луч питания и проверяем работу ДГУ, автоматики, ИБП, системы мониторинга и подготовку дежурных инженеров.
Холодоснабжение
В NORD-4 мы остановились на чиллерной схеме на этиленгликоле и воде. В машинных залах и энергоцентрах располагаются внутренние блоки кондиционеров, на крыше работают чиллеры, на техническом этаже находятся система автоматики и управления, теплообменники, насосы водяного контура, баки-аккумуляторы.
В контуре, который находится на крыше с чиллерами, циркулирует этиленгликоль. Он не замерзает при минусовых температурах. Внутри дата-центра по трубам системы охлаждения течет вода.
Технический этаж с трубопроводами системы охлаждения.
Если этиленгликоль теплее, чем наружный воздух, то система охлаждения отводит ненужное тепло без включения компрессоров. Такой режим естественного охлаждения за счет “улицы” называется фрикулингом (free cooling). NORD-4 переходит на полный фрикулинг, когда на улице +13°С и ниже, а в режим частичного фрикулинга при температуре от +14 до +20°С.
С фрикулингом электропитание системы холодоснабжения обходится гораздо дешевле: когда компрессоры кондиционеров выключены, электричество расходуют только вентиляторы и насосы. Экономится до 85% электричества.
По проекту, на крыше NORD-4 будет установлено 14 чиллеров марки Stulz CyberCool-2. Сейчас работает 7, так как запущена только половина дата-центра. Уровень резервирования N+2.
Каждый машинный зал NORD-4 охлаждают 14 кондиционеров марки Stulz. Если есть желание заглянуть внутрь кондиционера, кликайте сюда.
Из кондиционера охлажденный воздух поступает под фальшпол и через перфорированные плитки фальшпола попадает в холодный коридор. Оттуда холодный воздух забирается оборудованием. Теплый воздух выдувается из оборудования в горячий коридор и снова возвращается в кондиционер. Такая схема называется “холодные и горячие коридоры”.
В холодном коридоре поддерживается температура 25°С (± 2), в горячем — на 10-15 градусов выше. Влажность — 30-70%.
Вот так движется холодный и горячий воздух в машинном зале, устроенному по принципу “холодного и горячего коридоров”.
Один из холодных коридоров зала Whiskey.
Все компоненты холодоснабжения зарезервированы по схеме N+1 или N+2: любой чиллер, кондиционер, насос, теплообменник, трубопровод можно отключить для ремонта или сервисного обслуживания без перерыва в работе всей системы.
Пожарная безопасность
На 1 этаже NORD-4 располагается станция пожаротушения с баллонами с Novec. Эта вещество при распылении оставляет сухими оборудование и даже бумагу. Из-за этого свойства Novec называют еще “сухой водой”. Некоторые умельцы приспособили это вещество для жидкостного охлаждения серверов.
Система автоматическая, но мы ее эксплуатируем в полуручном режиме: автоматика срабатывает только, когда из помещений, затронутых огнем, эвакуированы люди. При возникновении задымления срабатывает датчик, который посылает сигнал на пост охраны с указанием места возгорания. Чтобы исключить подачу Novec по ложному срабатыванию, охранник проверяет проблемное помещение. В это же время во всех помещениях ЦОДа начинает завывать сирена, призывающая всех эвакуироваться из дата-центра. На время эвакуации СКУД на всех дверях отключается, чтобы люди могли быстро покинуть здание.
Если возгорание все-таки есть, охранник проверяет, не осталось ли внутри людей, закрывает дверь в помещение и включает автоматику. Через 45 секунд в помещение начинает поступать Novec. Через 2-3 минуты уже два охранника в противогазах (один заходит в зал, другой страхует на входе) проверяют, удалось ли ликвидировать пожар.
По этим трубам Novec устремляется в машинные залы и инженерные помещения. Система пожаротушения зарезервирована по схеме 2N.
Центр мониторинга
Вся информация о состоянии инженерной инфраструктуры дата-центров собирается в единую систему мониторинга. В каждом ЦОДе есть оперативный центр управления с видеостеной, куда выводится подробная информация по данному дата-центру в виде наглядных схем, таблиц и графиков. Систему делали собственными силами на базе ПО Nagios и Cacti. Обязательно расскажем о ней подробнее в будущих постах.
В оперативном центре управления дата-центра круглосуточно работает дежурная смена инженеров. В любой момент времени за видеостеной находится как минимум один инженер. Дежурные отслеживают основные показатели жизнедеятельности ЦОД, работают с клиентскими и инфраструктурными инцидентами.
В NORD-4 мы мониторим 1785 объектов и 15 200 параметров инженерной инфраструктуры. Вот основные:
Состояние оборудования (включено/выключено, наличие ошибок, загрузка, рабочие параметры): кондиционеры, чиллеры, щиты управления, насосы, ДГУ, ИБП, аккумуляторные батареи, датчики протечек и т.д.
Климатические условия: температура и влажность в машинных залах и инфраструктурных объектах, датчики протечек, температура гликоля.
На территории площадки NORD работает даже своя метеостанция. Собираемая статистика по метеоусловиям помогает нам прогнозировать нагрузку на систему холодоснабжения.
Энергоснабжение (напряжение, токи, частота, мощность на анализаторах тока): вводы, главные и промежуточные распределительные щиты, АВР и PDU в стойках.
Физическая безопасность: СКУД, наружные и внутренние камеры видеонаблюдения.
На видеостену в центре мониторинга выводятся ключевые параметры, определяющие работоспособность дата-центра. Все остальные данные остаются в единой системе мониторинга и попадают на специальный монитор видеостены только в случае неполадок.
При отключении одного луча питания на этой принципиальной схеме мы увидим, перешло ли питание на ИБП, уровень заряда аккумулятора и завелись ли ДГУ, не повысилась ли температура в зале.
Сейчас работает только часть дата-центра, поэтому видеостена в ЦУПе пока выглядит скромнее, чем в других наших дата-центрах.
Для сравнения: так выглядит ЦУП дата-центра NORD 2.
Помимо автоматизированного мониторинга, два раза в день дежурные инженеры обходят все машинные залы и инфраструктурные объекты с электронными чек-листами. Если какое-либо клиентское оборудование подключено некорректно, в коридоре перегорела лампочка или где-то неправильно проложена кроссировка, во время обхода все это будет отмечено и заведено в виде инцидентов в тикетной системе. Для следующей смены и директора по производству результаты проверки придут в виде автоматически сгенерированного отчета.
Какие-то из параметров инженерных систем мы выводим на сайт в разделе ЦОД-онлайн и в мобильном приложении DataLine4All для Android и iOS-устройств. Более подробная информация доступна клиентам дата-центра в Личном кабинете.
Удобства для эксплуатации
Напоследок важные мелочи, которые добавляют комфорта при работе в NORD-4.
Зона разгрузки. Все оборудование попадает в дата-центр через специальный отсек. Подъемный стол помогает разгружать коробки с оборудованием с грузового транспорта любой высоты.
Для транспортировки оборудования в машинные залы на 2 и 3 этажи предусмотрены 2 грузовых лифта на 5 тонн.
На этажах с машинными залами установлены шкафчики, закрывающиеся на ключ, для хранения клиентских инструментов, запчастей и других мелочей. Это дает возможность клиентам удобно хранить свои сокровища, не используя для этого стойки.
Мы посмотрели все основные инфраструктурные объекты дата-центра NORD-4. Задавайте вопросы в комментариях, если хочется больше подробностей. Увидеть работающий дата-центр и получить полезные знания об эксплуатации дата-центра можно на одном из семинаров нашего бесплатного курса “Управление инженерной инфраструктурой ЦОД”. Подавайте заявку на сайте, ждите нашего подтверждения и приходите.
В ближайших постах подробно расскажем о том, как устроено электроснабжение в дата-центре.
Автор: DataLine
