Обычная защита в сейсмоопасном регионе — такая конструкция, чтобы здание качалось, но не поубивало тех, кто встал в капитальные проёмы. Заказчик (в стране с частыми землетрясениями) рассматривал дата-центр как средство резерва на случай больших проблем при стихийных бедствиях, поэтому хотел не только спасти персонал, но и сервера и всё остальное. Потому что приостанавливать некоторые сервисы типа международного банкинга или контроля железных дорог — беда национального масштаба.
Поэтому мы решили поставить дата-центр на «пружины», изолировав его от земли.
Точнее, модель выглядит так: есть большой бассейн, в него налита вода, а там, как уточка, плавает дата-центр. Только вместо воды будут специальные сейсмоизолирующие опоры, которые и поведут себя подобно маловязкой жидкости. Вот один из таких элементов:
Если собрать из них кластер, то получится как раз почти жидкость.
Такой тип сейсмозащиты с подвижными опорами давно известен, но массово его не используют — дорого. В стране, где мы работали, ЦОДов-то строят не много, а в применении такой технологии, тем более для дата-центра, опыта практически нет. Поэтому нам надо было как-то протестировать всё это до начала работ. Настоящего землетрясения надо ждать довольно долго, и потому — дело за проверкой отдельных частей сооружения.
Итак, предполагается, что подвижная опора сильно уменьшает нагрузки, что предупреждает деформацию конструкций здания:
Важный вопрос был — насколько всё это нежно сработает. Потому что внутри — ИТ-оборудование, и оно стоит в несколько раз больше, чем само здание с территорией, а информация на нём вертится ещё на порядки дороже оборудования. Такую информацию сохранять очень критично.
Доставка и монтаж ДДИБП Hitec
В итоге пришли к тому, что, благодаря использованию сейсмоизоляторов, мы выполняем требования заказчика и уменьшаем нагрузки на здание при землетрясении в 10 раз. Это нежнее, чем вы кладёте ребёнка в люльку. И даже нежнее, чем вы вынимаете процессор за тысячу долларов из материнской платы.
Сейсмоизоляторы тестировались на вибростендах. По результатам этих испытаний и на основании архитектурного и строительного дизайна известная инженерная компания ARUP сделала независимую оценку наших документов. Они подтвердили, что заявленные требования к сейсмоустойчивости и продолжению функционирования объекта выполняются.
Сам тест: изолятор устанавливают на вибростол, нагружают, как на реальном здании, и смотрят, выдержит ли он амплитуду и усилия сдвига, которые предполагаются по MCE (Maximum Considered Earthquake).
MCE и проект
При расчёте реакции этого здания на сейсмические воздействия использовался специфический показатель MCE, потому что он лучше характеризует реальные нагрузки. Согласно этому параметру, ЦОД должен выдержать самое крупное землетрясение, которое в принципе может произойти в данной точке за ближайшие 2500 лет. Именно с такими расчётами мы и строили здание — и да, если город (в 30 километрах от ЦОДа) разрушится полностью, наш ЦОД продолжит работать (хотя, скорее всего, придётся подвозить топливо — электрический кабель может перебить). Говоря языком стандартов, это “Operational” Level при Maximum considered Earthquake по FEMA 356.
Связь сделана сейчас по нескольким независимым лучам — в стране есть практика быстрого (час-два) перекидывания трассы после землетрясений, плюс для критичных вещей есть возможность поставить on-Air-решения, включая спутниковые.
Ещё одна особенность проекта — мы не старались облегчить дата-центр. С одной стороны, мы были зажаты противопожарными нормами данной локали, а с другой, конечно же, старались использовать минимум материалов для оптимизации расходов. И именно поэтому никаких космических сплавов в дата-центре нет, просто снизу стоят те самые виброопоры.
Вот, смотрите: бетонная плита — это та самая штука, которая «плавает» в «бассейне» на виброопорах:
А вот единичная опора:
Строили по проекту, естественно, не мы лично. На нас был HLD-проект, контроль над LLD-проектом (это реализация конкретных узлов, например), авторский надзор, приёмка и испытания. Строили местные строители. Мы, кстати, помогли заказчику значительно оптимизировать расходы: углубили BIM-модель до состояния между LoD-300 и LoD-400 и просто показывали её строителям каждый раз на переговорах. Они очень быстро поняли, что перезакладывают бюджет и объёмы. Недовольства было много, но мы отстояли ключевые моменты.
Практика в России
Мы можем построить такой дата-центр и в России. Вот регионы, где это наиболее целесообразно:
Итог
- 16 мегаватт потребления.
- Чуть больше 15 тысяч квадратных метров помещений.
- 8 машзалов, итого 2112 стоек, до 30 кВт на стойку.
- Tier III certified by Uptime Institute (пока проект, идёт сертификация как объекта).
- Два независимых луча питания городской сети, 2N-питание.
- N+1 охлаждение (гликоль 20%).
- 24-часовой запас топлива, можно грузить больше, обычная загрузка чуть меньше 72 часов, запас дизельного топлива и 4 внешних бака по 60 кубов.
- Сейсмическая изоляция для ЦОДа и инфраструктуры, одноэтажный ЦОД с двухэтажным АБК.
- Чистая крыша — никаких жидкостей над ИТ-оборудованием, над машзалом кровля, под ней ещё слой гидроизоляции.
- Защита от затопления.
- Выделенная зона для подземных топливных баков на безопасном удалении.
- Усиленная физическая безопасность — досмотровые зоны для автомобилей и людей, высокий забор, видеонаблюдение и круглосуточная охрана.
Отдельно отмечу систему охлаждения с очень высокой эффективностью. Это наша собственная разработка, созданная четыре года назад. Среднегодовое значение PUE составляет 1,25–1,3 на высокоэффективных чиллерах, пиковое — менее 1,5. Подобных результатов удалось добиться путём глубокой оптимизации классической системы охлаждения схемы «чиллер-фанкойл». Бесперебойное питание ЦОДа было построено на оборудовании Hitec, их мощные машины хорошо зарекомендовали себя на многих наших проектах. В результате в этом сейсмоустойчивом ЦОДе будут инсталлированы 24 машины — по 1670 кВА каждая.
Моя почта PVashkevitch@croc.ru
Автор: Pvashkevich
