Выбрать дата-центр для своего проекта — та еще боль. Найти лучший дата-центр под свои задачи проще, если знать, на что обратить внимание при поиске. В случае облачной игровой платформы Playkey качество стриминга напрямую зависит от дата-центра: его надежности, близости к пользователю, качества сети и других параметров. Поэтому с дата-центрами мы работаем каждый день и знаем основные их главные проблемы.
В этой публикации технический директор Playkey Алексей Лыков расскажет, как выбрать дата-центр, о чем не забыть при поиске, зачем углубляться в особенности электропитания и чем европейские ЦОДы отличаются от российских. Передаем слово Алексею.
1. Изучите стандарт Tier дата-центра
Первый вопрос при выборе дата-центра — надежность, или аптайм. Самая популярная сертификация этого параметра — методология Uptime Institute, которая делит все дата-центры на четыре ранга (Tier). Существует альтернативная система оценки надежности дата-центров по стандарту TIA 942, но нам он не так интересен в силу своего рекомендательного характера. В случае с сертификатом Uptime Institute, они сами проверяют ДЦ на нескольких этапах (от проектирования документации на постройку до регулярной оценки операционного обслуживания центра) и выдают по итогам проверки оценку. Получить себе такой "липовый" сертификат для ДЦ становится практически нереально.
Вот краткое описание каждого из четырех Tier:
- Tier 1. Инженерная инфраструктура без резервирования и избыточных ресурсов. Время простоя за год — 28,8 часов. Коэффициент отказоустойчивости — 99,671%.
- Tier 2. Система не имеет полного резервирования, но оборудована дополнительными элементами охлаждения и энергоснабжения. Время простоя за год — 22,0 часа. Коэффициент отказоустойчивости — 99,749%.
- Tier 3. ЦОД имеет несколько каналов для распределения электропитания и охлаждения, а также резервированные компоненты. Время простоя за год — 1,6 часа. Коэффициент отказоустойчивости — 99,982%.
- Tier 4. Дата центры с двойным резервированием с учетом, как минимум, дополнительного компонента. Несколько активных путей распределения нагрузки и охлаждения с резервными компонентами 2 (N+1), т.е. 2 ИБП с избыточностью N+1 каждый. Время простоя дата-центра уровня TIER IV за год не превышает 24 минуты, а коэффициент отказоустойчивости составляет 99,995%.
Карта всех сертифицированных Uptime Institute ЦОД есть тут, а вот их расположение по России. Всего 26 штук, и все они находятся исключительно в европейской части страны:
Синим на карте отмечен один-единственный российский ЦОД, сертифицированный по максимальному стандарту TIER IV, причем расположен он не в Москве, а в Саранске. Вот как он выглядит изнутри:
На фото хорошо видно съемный фальшпол, который устроен примерно так:
В соответствии с классификацией уровня доступности ЦОД по Uptime Institute TIER IV предусматривает полное резервирование всех инженерных систем с коэффициентом 2N+1, что позволяет проводить любые ремонтные работы без приостановки услуг ЦОД.
Вот как выглядит система электроснабжения с независимыми вводами электричества для саранского ЦОДа:
По официальным сведениям, ЦОД в Мордовии должен стать центральным блоком для инфраструктуры электронного правительства, но справится и с задачами банков, страховых компаний, и даже военных.
Требования различных Tier иногда кажутся немного замороченными (например, необходимость иметь отдельную парковку для сотрудников и гостей ДЦ), но в большинстве своем адекватны. Так, ДЦ по стандарту Tier 3 обязаны иметь помещение в собственности. Понятно, что если дата-центр построен в арендованной локации, то владельцу здания может в любой момент времени прийти что угодно в голову, и он или повысит цены, или вообще разорвет контракт, какими бы ни были штрафные санкции. Если вы видите площадку с сертификатом Tier 3 и выше, такой риск исключен. Для себя мы выбрали работу с ЦОД не ниже Tier 2, а наш европейский дата-центр в Германии сертифицирован по уровню Tier 3.
Был курьёзный случай, когда ДЦ арендовал помещение на высоком этаже, а лифт принадлежал другим лицам и соответственно на выходные и на ночь его отключали, и завести оборудование было проблематично.
2. Уточните параметры электроснабжения и охлаждения дата-центра
Если вы используете нестандартную конфигурацию серверов, то второй пункт смело можно ставить вровень с первым. Мы всегда особенно внимательны к электропитанию и охлаждению серверов, потому что используем не обычные, а GPU-сервера, на которые не рассчитано большинство дата-центров.
Если мы возьмем стандартную серверную стойку в 42 юнита, то она в норме будет выглядеть так (ноутбук не прилагается):
Обычно к такой стойке владельцы ЦОДа подводят 7-10 киловатт мощности и закладывают соответствующее охлаждение. Этого достаточно для конструкции с типовыми серверами, которые потребляют около 300-500 Ватт в т.ч. различные СХД, коммутационное оборудование, патч панели и так далее. Но в нашем случае одна только видеокарта в GPU-сервере "ест" от 150 до 250 Ватт, а таких видеокарт используется до 8 штук на одном устройстве. В итоге суммарное потребление GPU-сервера — около 2 киловатт.
Из-за этого в одну стойку мы можем поставить лишь 3-4 сервера, т.е. 6-8 юнитов, если мы говорим о 2-х юнитных серверах. В итоге в серверной стойке мы можем занять лишь 8 юнитов, а 34 юнита будут свободны. Это ставит вопрос об эффективности использования места. И поднятии нам цены на аренду.
Вывод? Если у вас необычные запросы к оборудованию, то стоит искать дата-центр, заточенный (хотя бы частично) под таких клиентов, как вы. В нашем случае под клиентов с GPU-серверами, с большим подведенным питанием к стойкам и усиленным охлаждением. Пока таких клиентов (и дата-центров), правда, очень мало.
3. Выбирайте локацию по местоположению ваших пользователей
Звучит банально, но стоит напомнить о том, что расположение вашего R&D или штаб-квартиры не обязательно должно быть местом для вашего дата-центра. Первично — то, где находится основная масса пользователей сервиса. В Playkey офис разработки находится в Перми, и на старте мы работали также с местным пермским дата-центром, что упрощало настройку и позволяло быстрее решать любые вопросы с ЦОДом. Но когда пользовательская база начала активно расти, и основная её часть (из тех, кто играет в России) все равно приходилась на Москву, мы приняли решение сгруппировать все сервера также в центре.
После капитального переезда в московский дата-центр мы сразу увидели улучшение качества связи и позитивный фидбек от игроков.
4. Ищите контакты руководства и «потестируйте» техподдержку заранее
Быстрая техподдержка и адекватное руководство — еще один критически важный момент в работе дата-центра. Попробуйте уточнить у сотрудников дата-центра какую-то типовую задачу, например, настроить по инструкции BIOS, и посмотрите на реакцию. Если вас отправят к другому специалисту или начнут тормозить с ответом — все это не самые хорошие знаки. Помните, что если с сервером случится что-то серьезное, то без физического присутствия вопрос чаще всего не решить. И техподдержка — ваши "руки" на случай любых серьезных проблем.
Что касается руководства дата-центра, помните, что без контакта "лица, принимающего решения", любое согласование будет занимать долгие дни и недели. Если при подписании контракта вы до последнего не встречаете человека, который фактически принимает решения в дата-центре, лучше поискать альтернативную площадку для размещения серверов.
5. Проверьте юридическое лицо владельца дата-центра
Самый короткий, но не менее важный пункт. Не поленитесь "пробить" юридическое лицо на nalog.ru. Посмотрите выписку из ЕГРЮЛ — и поймете, как долго существует компания, как часто менялось руководство и владельцы. А в базе арбитражных дел не забудьте посмотреть её судебные дела.
6. Если работаете с европейским ДЦ — запаситесь терпением
Менталитет европейских дата-центров и их организация работы серьезно отличаются от России. По нашему опыту работы с европейскими дата-центрами можно точно сказать, что они делают всё медленнее. Если в России сотрудники техподдержки могут оперативно решить практически любую проблему с настройками сервера, то в Европе всё не так просто. У них всегда есть внутреннее разделение сотрудников на тех, кто занимается низкоуровневыми и высокоуровневыми задачами. Бюрократическая машина вынуждает клиентов доказывать, что проблема действительно важная и требует немедленного вмешательства "высокоуровневого" специалиста со стороны дата-центра. Готовьтесь детально описывать причину своего обращения, ждите согласования "с топами" и только потом надейтесь на помощь.
Есть и отличия в подходе к работе. Например, в России практически все запросы к дата-центру можно отправить в чате или письмом и оперативно получить ответ. Когда мы работаем с сотрудниками дата-центров в Германии и Великобритании, мы вынуждены общаться только по телефону. Почему? Просто у них так принято.
Такие нюансы делают европейцев еще медлительнее. Стоит сделать скидку и на то, что мы сами из России и нам проще взаимодействовать с русскоязычной поддержкой, но даже безотносительно этого процессы у "наших", на мой взгляд, выстроены лучше, и работа идет быстрее.
Мы сейчас начали подготовку к выходу на рынок США, так что для нас все описанные пункты — далеко не пустой звук. Со штатами мы будем расположены уже не в трёх часах лёту от дата-центра, плюс, будет приличная разница в часовых поясах. Так что к выбору долгосрочного партнера будем подходить со всей ответственностью. Плюсом для быстрого запуска будет облачный провайдер, благо за последний год уже два крупных сервиса запустили возможность арендовать сервера с GPU.
А для тех, кто хочет проверить качество наших дата-центров, мы подготовили очередной промокод PlaykeyGeekSummer на 720 минут игры. Работает четверо суток с момента активации, подходит только для новых пользователей, а активировать его не забудьте до 31 июля 2017 года.
Автор: Playkey
