Часто приходится слышать, что хранить данные и выводить свои системы на ИТ-аутсорсинг – это опасно и ненадёжно. Якобы данные могут быть недоступны из-за технических проблем у провайдера, дата-центр может стать объектом хакерской атаки, да и просто спокойнее, когда всё ИТ-оборудование и все данные компании рядом, «под боком», а не хранятся и обслуживаются «на стороне».
Предлагаю посмотреть, как устроен дата-центр IXcellerate, в котором мы храним свои данные и данные клиентов. Мы – это сервис-провайдер «Онланта». Наше облако OnCloud.ru создано на базе нескольких, географически распределённых дата-центров. ЦОД IXcellerate как раз и является одним из них.
Центр обработки данных IXcellerate располагается на территории бывшей промзоны и завода ЖБИ в районе Алтуфьево на участке более 15 тыс. кв. м – это один из самых крупных дата-центров в Москве.
Выбор территории завода железобетонных изделий для создания дата-центра был неслучаен – подобные предприятия обычно имеют мощные линии ввода электроэнергии, что как раз и нужно для дата-центра. На территории ЦОДа таких линий две – от двух разных распределительных подстанций. Расстояние между их вводами в здание не менее 150 м. Это серьезно повышает надёжность и доступность сервисов дата-центра, поскольку вероятность сбоев по причине аварий на электросети сильно снижается.
Дата-центр IXcellerate начали строить в 2012 году и через год ввели в эксплуатацию первый машинный зал. Основателем компании IXcellerate является известный международный инвестор и британский предприниматель Гай Вилнер.
Гай Виллнер (справа)
Соучредителем Гая Вилнера был другой международный бизнесмен – Клифф Гаунтлетт, который начал работать в Cоветском Союзе в конце 1980-х. Он оказался одним из тех иностранцев, которые приехали сюда во времена перестройки, влюбились в страну, и, несмотря на все её проблемы, остались здесь навсегда (Клифф скончался в 2013 г). Наверное, многие помнят телефонные карточки ROL. Их выпускал российский провайдер Golden Telecom, где Клифф работал старшим вице-президентом. Кроме этого, Клифф был ещё и заядлым «рокером» – возглавлял знаменитый ROL Band, а его песни есть даже в репертуаре группы Scorpions. Отсюда и девиз дата-центра IXcellerate – Rockin’Russia.
Корпортивный фестиваль Rockin’Russia: Клифф Гаунтлетт с гитарой, за барабанами – Александр Вершбоу, посол США в России. (фото www.passportmagazine.ru)
В честь Клиффа Гаунтлетта Самый был назван первый машинный зал дата-центра IXcellerate.
В дата-центре до сих пор висит гитара Клиффа, с оригинальным автографом самого Пола Маккартни
Проектная мощность дата-центра – 13.7 Мегаватт, а емкость – 1835 стойко-мест, и это число растёт. Площадь здания — 6000 кв. м. Кроме того, в ЦОДе есть более 600 кв. м складских помещений для клиентов, где они могут хранить необходимое для работы оборудование.
К зданию дата-центра ведут две подъездные дороги. Территория удалена от аэропортов, железнодорожных путей, автотрасс, различного рода торгово-развлекательных центров, а также жилых зданий.
Здание дата-центра с установленными устройствами охлаждения (чиллерами)
Помимо основного электроснабжения от двух электроподстанций в Подмосковье в дата-центре имеются и резервные дизель-генераторы, вырабатывающие электроэнергию в аварийных ситуациях, например, если во время стихийного бедствия откажут обе подстанции.
Для дизель-генераторов поставляется специальное топливо – летнее и зимнее. Около дизель-генераторов поставлены специальные защитные бетонные блоки, чтобы их случайно не повредили движущейся техникой.
Уличный контейнер с дизель-генератором за защитными бетонными блоками
Работоспособность дизелей контролируется круглосуточно в режиме онлайн, да ещё и дежурный осуществляет обход каждые четыре часа. Во время нашего визита как раз проводилось техобслуживание дизель-генераторов, и на территории находились автомобили с контрольно-измерительным оборудованием.
При отказе сетевого электропитания аккумуляторы создают необходимый временной интервал, пока резервные дизель-генераторы после запуска выходят на необходимую мощность.
Техобслуживание дизель-генераторов
В дата-центре строго соблюдаются требования как физической, так и информационной безопасности, а также безопасности электросетей. Здание дата-центра облицовано т.н. сэндвич-панелями как снаружи, так и изнутри. Они обеспечивают теплоизоляцию и физическую защиту. Дата-центр строился по принципу «коробка в коробке», то есть от улицы внутренние помещения отделяют деревья, бетонный забор, газон и многослойные сэндвич-панели.
Крыша здания расположена на высоте 14 м, а крыша машинного зала – 9 м. Между ними есть защитная прослойка от протечек.
Многослойность позволяет поддерживать определенные параметры температуры и влажности, оптимальные для работы серверного оборудования. Микроклимат также создают охладители воздуха (чиллеры) и прецизионные кондиционеры.
Уровень обслуживания SLA, предоставляемый для клиентов составляет, как говорят ИТ-специалисты, «пять девяток». Это означает, что инфраструктура дата-центра доступна 99,999% времени рабочего времени. То есть время возможного простоя в год не превышает пяти минут и шестнадцати секунд.
Дата-центр третий год подряд является победителем и обладателем награды Russian DC Awards за самое эффективное решение по охлаждению и электроснабжению, за инновационное решение в области снижения совокупной стоимости владения ТСО (Total Cost of Ownership), а также локализацию персональных данных.
Вложения в дата-центр составляют порядка 50 миллионов долларов, при этом уровень операционной безубыточности был достигнут после 4 лет эксплуатации, а не за обычные для дата-центров такого класса 8-10 лет.
«Тумба гордости» с наградами и сертификатами дата-центра
Создание дата-центра
Дата-центр IXcellerate строился модульно, в три фазы. Машинный зал первой фазы во время строительства в 2012 году был самым большим в Москве. Залы второй и третьей фазы огибают зал первой фазы по периметру буквой Г.
Каждый машинный зал имеет собственные погрузочно-разгрузочные зоны. Отдельная разгрузочная зона предусмотрена и для пожарной станции.
Схема ЦОД IXcellerate
IXcellerate создавался как «нейтральный» дата-центр, независимый от поставщиков телекоммуникационных и облачных услуг, и ориентированный исключительно на услуги «колокейшн» (co-location), т.е. размещение оборудования клиентов, его защиту и обеспечение требуемой инженерной инфраструктуры с установленным уровнем обслуживания по стандартному договору.
Бывает, что клиенты спрашивают про облачные услуги. Для таких случаев в дата-центре имеется экосистема партнёров, на оборудовании которых предоставляются облачные решения. Мы как раз этим и занимаемся.
Посмотрим, что внутри
Дата-центр обязывает сотрудников и авторизованных клиентов проходить двойную идентификацию, включающую стандартную ID-карту и биометрический контроль (сканер ладони руки).
Контроль доступа для сотрудников
Доступ в ячейки («клетки»), где установлено клиентское оборудование, находится под круглосуточным контролем, то есть туда могут попасть только авторизованные клиентом сотрудники дата-центра. Эти ячейки отгорожены друг от друга металлической сеткой.
Ячейки также имеют собственные средства физической защиты, например, кодовые замки и видеокамеры. Всего предусмотрено пять рубежей физической безопасности с постоянно работающей системой мониторинга и управления зданием (BMS) Computrols.
В дата-центре стало хорошей традицией называть каждый машинный зал в честь компании или человека, который внёс наибольший вклад в его создание.
Зал первой фазы, названный в честь Клиффа Гаунтлетта, спроектирован на 220 стойко-мест с оборудованием клиентов.
При строительстве зала второй фазы были использованы инвестиции японской компании Sumitomo Corp., поэтому он называется The Summit Hall. Зал третьей фазы назван «Высота» в честь технического директора дата-центра Сергея Владимировича Вышемирского, который раньше работал на аэродроме «Чкаловский».
Табличка с названием третьего машинного зала
Электропитание и охлаждение
Для питания оборудования клиентов используется электричество повышенного качества. Что означает слово «качество» применительно к электричеству? Не секрет, что промышленный электрический ток иногда имеет пиковые всплески, которые могут вывести из строя клиентское оборудование. Поэтому в дата-центре имеется специальная «электрическая комната», где эти выбросы устраняются. В результате получается электрический ток частотой 50 Герц, имеющий форму «чистой» синусоиды, без выбросов и пиков. Электрораспределительное оборудование постоянно контролирует девять параметров качества тока.
Резервирование электроснабжения ЦОД организовано на уровне 2N: как уже говорилось, к дата-центру подходят два независимых луча электропитания. Повреждение одного маршрута прокладки не повлечет за собой остановки дата-центра или его части, так как всегда имеется резервный маршрут.
Так выглядят входящие линии с подстанций электропитания на одном из маршрутов прокладки.
Ввод электропитания от трансформаторной подстанции
Вот ещё небольшой штрих к теме электрической и пожарной безопасности. Электропроводка от выключателей проложена в металлических трубах, чтобы при возможном коротком замыкании не летели искры наружу.
Выключатели для ламп освещения с проводкой в металлических трубах
Все кабели электропитания проходят под фальшполом высотой 1 м. Под фальшполом в стойки с оборудованием подаётся холодный воздух с заданной влажностью в полном соответствии с международным стандартом ASHRAE.
На ячейках с клиентским оборудованием установлены датчики температуры и влажности, которые не только визуально отображают эти параметры, но и регулярно передают их в централизованную систему управления инженерной инфраструктурой дата-центра.
Датчик температуры и влажности
Для питания каждой стойки под фальшполом есть две розетки – каждая от отдельной линии ввода с разных электроподстанций. Для ещё большей надёжности они проложены в отдельных желобах.
Две розетки питания стойки (сквозь решётку фальшпола)
Некоторые клиенты для повышения безопасности также устанавливают собственные видеокамеры в свои ячейки с оборудованием.
В дата-центре имеются «телеком-зоны», где установлено оборудование 44 операторов связи, включая Orange, Sprint, Beeline, MegaFon, MTS, Telia, других операторов и Интернет-провайдеров, а также узел MSK-IX и платформа обмена трафиком Eurasia Peering IX, объединяющий 38 операторов-резидентов.
В дата-центр для установки принимается клиентское оборудование любого размера и функционала, даже ленточные накопители.
Один из наших клиентов – телеканал с многомиллионной аудиторией – осуществляет здесь резервирование для вещания в HD.
Пожарная безопасность
Способность быстро и эффективно потушить возгорание, а лучше вообще его не допускать – одна из важнейших характеристик любого дата-центра.
В IXcellerate применена трёхуровневая система обнаружения и тушения пожара. Первый уровень – система сверхраннего обнаружения задымления Vesda, реагирующая на изменение плотности воздуха и количества примесей и пыли всего на 0,01%. Самообучающаяся система с элементами искусственного интеллекта держит в памяти определённую матрицу параметров воздуха. Такая система может распознать задымление на самой ранней стадии, а также определить сектор, где произошло изменение параметров.
Apollo – интегрированная система пожарной сигнализации и системы оповещения – следующая ступень в пожарной безопасности ЦОД.
Но гордость IXcellerate – автоматическая система пожаротушения HI-FOG, которая способна локализовать возгорания на площади 4 х 4 кв. м (с возможностью нахождения персонала непосредственно в машзале и без воздействия и последствий для других участков). Для этого в системе HI-FOG применены водные распылители (спринклеры), находящиеся под постоянным давлением и размещаемые над каждым локальным периметром 4 х 4 м.
Важно отметить, что в HI-FOG используется система сухотрубов, т. е. используемое в штатном режиме вещество для тушения огня – дистиллированная вода – хранится в цистерне, которая размещается в пожарно-насосной станции.
Один из спринклеров
В спринклере находится шарик с эфирным веществом, который лопается при температуре 57о С, после чего автоматически запускается система пожаротушения.
Система HI-FOG создаёт мелкодисперсный туман, который закрывает зону возгорания, вытесняет из неё кислород и снижает температуру. То есть система позволяет устранить две причины пожара их трёх возможных. Третья теоретически возможная причина пожара – наличие горючего материала. Однако уже упомянутые сэндвич-панели, которыми облицованы как внешние, так внутренние стены, а также плиты фальшпола в зале выполнены из негорючего материала. Эти панели могут обеспечить до 90 минут огнеупорной защиты. Кроме того, в дата-центре используются только малодымные кабели.
Система HI-FOG, пожалуй, оптимальна для применения в дата-центре, поскольку обеспечивает локальное тушение, а не заливает газовой пеной весь зал, нанося ущерб оборудованию, не охваченному пожаром. Кроме того, ее использование не требует обязательной эвакуации людей.
Сертификат FM Approved, выданный международным лидером в сфере независимых испытаний, позволяет использовать технологию HI-FOG также в энергетической отрасли, на перерабатывающих и обрабатывающих промышленных предприятиях, а также подводных лодках и на круизных лайнерах.
Пожарная станция
Цистерна с дистиллированной водой (синего цвета, видна сзади на фото) рассчитана на тушение всей площади дата-центра. Такая же система работает в московском метрополитене и Большом театре.
Пульт управления и мониторинга
На пульте управления и мониторинга в режиме 24 х 7 находятся дежурные, наблюдающие за работой инженерных систем и ведущие приём заявок от клиентов. Система видеонаблюдения позволяет быстро переходить от отображения общей схемы дата-центра к изображениям отдельных залов, ячеек, коридоров и стоек оборудования, компонентов системы пожаротушения (включая спринклеры), электропитания, климатики.
Стандартный договор SLA предусматривает, что первый ответ на заявку о техподдержке должен быть дан в течение 30 минут. Однако в дата-центре фактическое время обратной связи клиенту не превышает шести минут, согласно статистике портала Zendesk, который используется для регистрации обращений.
Поддержка осуществляется на русском, английском и на китайском языках.
Пульт системы управления и мониторинга
За всё время работы дата-центра с момента его запуска в 2013 году не было ни одного простоя (даунтайма), ни одного нарушения SLA.
Дата-центр и его слаженная команда оставляет впечатление живого организма.
Внутри ЦОДа даже есть место музыке: когда переходишь по коридору из одного зала в другой, нельзя не заметить аппаратуру для рок-бэнда, в котором когда-то играл Клифф Гаунтлетт и который выступает на корпоративных мероприятиях и обязательном ежегодном open air фестивале IXcellerate – Rockin’Russia.
Коридор между залами дата-центра
IXсellerate планирует строительство новых площадок, в дополнение к Moscow One появятся ЦОДы Moscow Two, Moscow Three и т.д.
Наша компания "Онланта" начинала сотрудничество с IXcellerate с двух стоек для реализации амбициозного на тот момент проекта по созданию геораспределенного кластера. Тогда ни у кого на российском рынке подобного решения не было. Каналы темной оптики нам стоили космических денег по сравнению с прибылью от услуг, которые мы предоставляли. Отдельную услугу по катастрофоустойчивому облаку у нас так никто и не купил, поэтому мы просто стали развивать своё облако сразу на двух площадках. Потом появилась третья, так как стало очевидно, что нельзя обеспечить полноценную отказоустойчивость и балансировку нагрузки без отдельного «свидетеля», который бы не был привязан к одной из двух площадок. Но объективно можно сказать, что из всех трёх площадок IXcellerate является лучшей – как по организации сервиса, так и в целом по адекватности менеджмента.
Делитесь и вы, что вы больше всего цените в своем дата-центре и, наоборот, что вас больше всего раздражает?
Автор: Onlanta
