Сегодня мы хотели бы рассказать про один из последних проектов по созданию корпоративного центра обработки данных. Это Череповецкий ЦОД компании «ФосАгро», основное направление деятельности которой – производство фосфорсодержащих удобрений, фосфатного сырья, а также кормовых фосфатов, азотных удобрений и аммиака. В Группу «ФосАгро» входят АО «Апатит» и его Балаковский филиал, АО «ФосАгро-Череповец», АО «Метахим», ООО «ФосАгро-Транс», ООО «ФосАгро-Регион» и АО «НИУИФ». Группа является крупнейшим европейским производителем фосфорных удобрений, а также крупнейшим мировым производителем высокосортного фосфорного сырья.
Основными целями создания нового ЦОДа стали централизация серверного комплекса «ФосАгро» в одном месте, а также реорганизация ядра сети. Проект был реализован всего за четыре месяца, причем, по классической технологии – с капитальным ремонтом помещений. Как этого удалось добиться спросите вы? В первую очередь, благодаря эффективно работающей команде, своевременной поставке оборудование, согласованному выполнению монтажа различных подсистем. Ну и, конечно, помог грамотный выбор технических решений. Подробности – ниже.
Анализ вариантов
Прежде чем остановиться на строительстве своего собственного ЦОДа по классической технологии специалисты «ФосАгро» рассмотрели и другие варианты решения существующих ИТ-задач. Один из них – использование услуг коммерческих ЦОДов. Но проанализировав предложения нескольких провайдеров, поняли, что высокие операционные затраты (OPEX) приводят к тому, что этот вариант невыгоден (выше TCO) при большом горизонте планирования. Кроме того, сосредоточение КЦОД в Москве и Санкт-Петербурге означало необходимость непростого и дорогостоящего перевода серверного комплекса в одну из столиц – еще один минус такого варианта.
Далее рассматривалась возможность установки контейнерного ЦОДа. Однако выгода оказалась не очевидна в виду технических обстоятельств и того, что в существующем здании достаточно ресурсов, и его модернизация оказалась не столь затратной. Такое решение востребовано в тех случаях, когда ощущается дефицит физического места для размещения оборудования или предполагается возможность его перебазирования в другое место – ни то, ни другое для «ФосАгро» актуальным не является.
В итоге было решено оперативно создавать ЦОД в трехэтажном здании ИТ-службы на территории «ФосАгро».
Выбор вендора
Основным критерием при создании ЦОДа являлась отказоустойчивость, поэтому было принято решение закупать все основное инженерное оборудование у одного вендора. Моновендорное решение также обеспечивает 100%-ную совместимость всех компонентов инженерной инфраструктуры, позволяет снизить стоимость эксплуатации и обслуживания. Оно исключает споры между подрядчиками о причинах неполадок и способствует их оперативному устранению. Еще одно преимущество моновендорного ЦОДа – единый сервисный контракт. Проще реагировать на изменения и отклонения от нормы – причины выявляет вендор, он же принимает решение, например, по замене отказавшего компонента. Не нужно искать, на чьей стороне проблема.
Таким образом, «ФосАгро» рассматривал только моновендорные решения и практически сразу было выбрано предложение Schneider Electric. Качество и накопленный положительный опыт эксплуатации решений Schneider Electric способствовали принятию данного решения. Оборудование Schneider Electric успешно эксплуатируется на площадке «ФосАгро» в Кировске, а в штате есть обученные данной компанией специалисты.
На следующем этапе был проведен тендер, в котором участвовали семь крупных интеграторов с высоким партнерским статусом Schneider Electric и опытом реализации подобных проектов. Выиграла компания IBS Platformix, предложившая оптимальную цену и сроки реализации проекта.
В сжатые сроки
Проект требовалось реализовать в сжатые сроки, поскольку состояние инженерных систем в существующих серверных комнатах уже не позволяло обеспечить требуемые показатели надежности. Благодаря слаженной работе команды специалистов заказчика, производителя и интегратора, оперативной поставке и установке оборудования, ЦОД был построен и запущен в эксплуатацию за рекордно короткое время. Итоги тендера были подведены в августе 2016 года, а основные работы по проекту закончены до конца зимы.
Интересно, что работы специалистов разного профиля при строительстве ЦОДа велись одновременно. Например, сроки поставки чиллеров согласовывались со сроками строительно-монтажных работ – оборудование устанавливалось на свое место буквально «с колес», без дополнительных перемещений по объекту. А четкая синхронизация работ совместно с представителями вендора позволила сократить время их выполнения.
«Анатомия» ЦОДа
Несмотря на оперативное создание новой площадки, ЦОД «ФосАгро» нельзя назвать типовым. Он состоит из двух залов, один из которых предназначен для стандартного ИТ-оборудования, второй — для стоек, где размещаются системы хранения данных и серверы нестандартного форм-фактора. В первом зале установлено 28 стоек (6 стоек по 7 кВт, остальные – по 3,5 кВт) и реализована изоляция горячего коридора.
Система изоляции воздуха горячего коридора EcoAisle
Во втором зале, где находится ИТ-оборудование нестандартных габаритов, реализована несколько иная схема: выделен холодный коридор так же между двумя рядами стоек, но он не изолирован. Площади дата-центра позволяют разместить все имеющееся в Группе оборудование и оставляют резерв для роста.
Изоляция горячего коридора в ЦОД «ФосАгро»
Расчетная нагрузка дата-центра по ИТ-оборудованию – 250 кВт, столько же потребляют инженерные системы. Электропитание в ЦОД подается от подстанции среднего напряжения общей мощностью 1 МВт (два трансформатора по 500 кВт). На площадке два ИБП мощностью по 500 кВт развернуты по схеме взаимного резервирования и могут питать не только ИТ, но и критически важные элементы инженерной инфраструктуры, а модульная архитектура исключает наличие единой точки отказа. Установленные устройства Symmetra PX представляет собой модульные системы бесперебойного питания с высоким КПД — 95,6%, что позволяет сократить расходы на электропитание как самого ИБП, так и обслуживающей его системы кондиционирования (для этой цели применена стандартная фреоновая сплит-система).
Модульная масштабируемая трехфазная система бесперебойного питания Symmetra PX Schneider Electric
Зал с ИТ-оборудованием нестандартных габаритов
Для кратковременного автономного питания ИТ-нагрузки установлен комплект аккумуляторных батарей, рассчитанный на то, чтобы обеспечить автономное электропитание 10-15 минут – этого времени достаточно для гарантированного запуска дизеля. Но пока ЦОД загружен не на полную мощность, аккумуляторы способны гарантировать время автономии более часа. В качестве резервного источника используется ДГУ.
Энергоэффективность
Еще одним важным требованием к новому ЦОДу стала высокая энергоэффективость. Предприятие «ФосАгро» в Череповце хорошо обеспечено энергий, поэтому проблем с получение нужной мощности не было (хотя и требовалась тщательная «очистка» поступающего с завода электричества). Энергоэффективность была важна даже не столько из-за сокращения энергопотребления, сколько ради снижения влияния на окружающую среду. Это тем более символично, поскольку 2017 год – год экологии в России. ИТ-руководители «ФосАгро» хотели доказать, что можно быстро и качественно построить надежный и энергоэффективный объект.
Электропитание в ЦОД подается от подстанции среднего напряжения общей мощностью 1 МВт (два трансформатора по 500 кВт)
На энергоэффективность влияет масса факторов, включая, в частности, КПД установленных систем ИБП. Но главный вклад в снижение энергопотребления вносит активное использование естественного охлаждения (фрикулинга). В новом ЦОДе установлена инновационная чиллерная система Aquaflair, в которой с октября по апрель задействована функция фрикулинга. В данном режиме работает только циркуляционный насос, перекачивающий теплоноситель (этиленгликоль), при этом потребляется минимум электроэнергии.
Чиллеры Schneider Electric Uniflair серии TRAF с функцией фрикулинга
Один из чиллеров системы охлаждения ЦОД «ФосАгро»
Для повышения эффективности охлаждения предусмотрена уже упомянутая система изоляции горячего коридора EcoAisle и внутрирядные кондиционеры InRow в компактном корпусе (шириной всего 300мм). Холодопроизводительность такого кондиционера составляет до 62 кВт при энергопотреблении 1,8 кВт. Таким образом, коэффициент эффективности кондиционера составляет более 34 кВт холода на 1 кВт электричества.
Внутрирядный кондиционер в серверном зале ЦОД «ФосАгро»
Отказо- и катастрофоустойчивость
Новый ЦОД построен в соответствии с требованиями к надежности и отказоустойчивости, предъявляемыми к объектам Tier III, что, в частности, позволяет отключать компоненты инженерной инфраструктуры для их профилактического обслуживания и ремонта без прерывания работы ЦОДа.
Для части ключевых компонентов обеспечивается даже трехкратное резервирование. Например, установлено три чиллера: один из них находится в рабочем режиме, второй – в резерве, а третий – в режиме «standby». Каждые несколько часов они меняются ролями. Тем самым повышается отказоустойчивость и гарантируется равномерная выработка ресурса оборудования. Любой блок можно вывести из работы для обслуживания без нарушения работы сервисов.
Кроме того, концепция построения ИТ-системы «ФосАгро» предусматривала создание двух географически разнесенных ЦОДов для катастрофоустойчивости – в Череповце и Кировске (Мурманская область). Площадка в Кировске, теперь уже резервный ЦОД был построен три года назад. Он аналогичен новому, основному, но на нем применяются системы холодоснабжения на фреоне. В ЦОДе Кировска так же два зала, но рассчитаны они на меньшее число стоек. В настоящее время ИТ-системы «ФосАгро» разнесены по этим двум ЦОДам.
Мониторинг и управление
Для мониторинга инженерных систем в новом ЦОДе применяется система StruxureWare Data Center Expert. Это независимая от аппаратуры конкретного производителя масштабируемая система мониторинга, которая собирает данные с различных датчиков и «интеллектуальных» устройств, обеспечивает генерацию аварийных сообщений и другие функции, формируя единое представление о комплексной физической инфраструктуре объекта.
Карта расположения датчиков и оборудования с привязкой к реальному помещению ЦОДа в StruxureWare
Централизованная система управления всеми объектами инженерной инфраструктуры обеспечивает сквозной мониторинг всех уровней инженерных систем и позволяет повысить эффективность службы эксплуатации. StruxureWare осуществляет не только мониторинг различных параметров окружающей среды, но также сохраняет полученную информацию для последующего анализа.
Отображение трендов по основным параметрам в режиме реального времени
Один контракт, одна зона ответственности
Еще до основного тендера, на этапе проектирования специалисты Schneider Electric осуществляли экспертизу проекта, вносили свои замечания, подготовили спецификацию оборудования. Представители производителя присутствовали на площадке на всех этапах: монтаж горячего коридора, систем электро- и холодоснабжения, включая самый сложный этап запуска в эксплуатацию и наладки оборудования.
Schneider Electric оперативно выполнила шеф-монтаж, провела тестирование оборудования. По контракту она в течение трех лет будет обслуживать обе площадки. Вендор проводит регулярный осмотр оборудования (систем охлаждения и электропитания) для планово-предупредительного ремонта. Инженер Schneider Electric в заранее определенное время проводит комплексное обследование систем холодоснабжения два раза в год и систем электроснабжения – раз в год.
В StruxureWare настроены уведомления для передачи аварийных сообщений в Help Desk, кейсы заводятся автоматически, и инженер оперативно принимает меры. Все компоненты инженерных систем проводят самодиагностику на регулярной основе, и любые ошибки в их работе отображаются в системе мониторинга, что позволяет незамедлительно реагировать на внештатные ситуации.
Что в результате?
Последние годы Группа «ФосАгро» вкладывает серьезные средства в развитие ИТ, автоматизацию производства и бизнеса. Централизация ИТ-ресурсов в Череповце способствовала реализации таких проектов как единый электронный архив с обменом документами между площадками холдинга. Бизнес-критичные приложения теперь работают на разнесенных кластерах. Площадки связывает резервированный канал 400 Мбит/с. Доступ пользователей в новом дата-центре организован на скорости 1 Гбит/с, а для других площадок компании в пяти крупнейших городах России – 200 Мбит/с.
В результате осуществления проекта по оснащению ЦОДа заказчика было получено интегрированное энергоэффективное решение, соответствующее Tier III по классификации Uptime Institute
Понятно, что процессы «цифровой трансформации» невозможны без современных технологий. А с помощью платформы, которую обеспечит инженерная инфраструктура Schneider Electric для ЦОДа «ФосАгро», реализуется надежное и эффективное функционирование и устойчивое развитие ИТ-систем. ЦОД позволил обеспечить ИТ-оборудование качественным бесперебойным электропитанием, создать для его работы необходимые климатические условия. Сейчас нагрузка ЦОДа по электропитанию составляет всего 15-20% – инженерные системы проектировались с расчетом на будущий рост серверного парка в ближайшие 5-7 лет.
Автор: Andrey_SE
