Два года назад я впервые рассказал в блоге о серверах DELL, которые мы используем в своей работе. Пришла пора рассказать о новом оборудовании, за это время многое изменилось. Пост долго не хотел писаться, фотографии успели запылиться, но лучше поздно, чем никогда.
В этом посте я расскажу о новых серверах DELL PowerEdge серии C (С – от Cloud), а также о том, как благодаря новому оборудованию мы удвоили емкость нашей площадки в ДЦ и при этом сохранили затраты на эксплуатацию на прежнем уровне.
Унылый нерезиновый мир (терпение, фотки дальше)
Примерно год назад перед Русониксом серьезно встала проблема инфраструктурного роста. Мы ставим серверы в классном, но весьма дорогом ДЦ (Комкор/Акадо на Варшавском). Каждая стойка стоит как самолет, зато площадка позволяет выделять много электричества, до 10-15 кВт на стойку. Для сравнения, в типичном московском дата-центре эконом-класса на стойку выделяется от 3 до 5 кВт. Есть и другие плюсы, но сейчас не об этом.
Итак, для нас было весьма накладно расти экстенсивно, вширь. Кроме того, во всем, что мы делаем, мы стараемся использовать имеющиеся ресурсы максимально эффективно. Переезд в недорогой ДЦ – не наш метод, корпоративные клиенты просто не поймут. Кроме того, мы очень хотели запустить проект по аренде брендовых делловских серверов.
Таким образом, перед нами возникли задачи:
- инфраструктурно обеспечить рост клиентской базы;
- запустить проект по аренде серверов DELL;
- постараться избежать увеличения постоянных затрат на эксплуатацию (аренда стоек и обслуживание серверов).
Нулевой вариант мы реализовали сразу — повыкидывали старье в помойку.
Серьезных вариантов решения было несколько:
- переезд в недорогой дата-центр;
- частичный перевод некритичных услуг в средний дата-центр с умеренными ценами;
- уплотнение оборудования на имеющейся площадке.
Первый вариант всерьез не рассматривался – слишком большие затраты, риски и не прогнозируемый результат.
Рассмотрев второй вариант и взвесив все за и против, мы пришли к выводу, что овчинка выделки не стоит. Точек отказа становится больше, риски возрастают, постоянные расходы увеличиваются.
Оставался сценарий с уплотнением оборудования на существующей площадке. К сожалению, в наш дата-центр резиновые стойки еще не завезли. Пришлось работать с тем, что есть. В стойке 42 юнита – ни больше, ни меньше. И мы занялись пятнашками – перетасовкой серверов между стойками, заменой коммутаторов и другими интересными, но не очень эффективными вещами.
На наше счастье DELL в 2011 году анонсировал серверы PowerEdge C5220 и С6100. И тут началось самое интересное.
Слава богу ты пришел (фотки еще дальше)
C5220 – это 8 или 12 серверов/следов (sled в терминологии DELL) уровня R210 в одном 3U корпусе.
Фото с сайта dell.com
C6100 – это 4 сервера уровня R610 в одном 2U корпусе (спойлер: зверь, а не машина. C6100 заслуживает отдельного поста).
Фото с сайта dell.com
Мы случайно узнали о скором выходе новой линейки и сразу запросили в российском представительстве информацию о возможности поставки таких серверов. Серверов не то чтобы не было в наличии – их даже не было на американском сайте DELL. И конечно же платформы не были сертифицированы в РФ. Потянулись долгие месяцы ожидания цен, квот на поставку и сертификации.
Российский DELL сработал очень оперативно и вот в ноябре к нам пришли первые серверы на платформе C5000. Одни из первых в мире и первые в РФ. Стоит ли говорить, что чудо-железки собрали вокруг себя как наших инженеров, так и представителей Вирта — нашего дистрибьютора.
C5000 представляет из себя корпус с центральным питанием и охлаждением. В корпус вставлены «картриджи» — следы. Их может быть 8 или 12. Сейчас мы используем только 12-следовую конфигурацию. В 8-следовые можно установить более мощные процессоры и карты расширения. Первая партия 8-следовых уже прошла таможню и будет у нас со дня на день.
Каждый след – отдельный сервер с собственными дисками, памятью, сетевым интерфейсом и квм.
Слот для процессора только один: поддерживаются Xeon серии E3 с TDP до 65Вт (до 95Вт в 8-следовой конфигурации). Мы ставим E3-1260L, на наш взгляд это самый оптимальный процессор из современной линейке E3, сочетающий в себе низкое потребление электроэнергии, высокую производительность (4 ядра, 8 потоков, TurboBoost с 2.4 до 3.3МГц) и разумную стоимость.
Есть аналогичная платформа и для процессоров AMD, однако мы продукцию этого вендора в работе не используем, поэтому ничего про них сказать не могу.
4 слота для памяти рекомендуется занимать полностью для оптимального охлаждения и быстродействия. Максимально сервер поддерживает до 32Гб DDR3 ECC UDIMM (1333 MHz).
В следе имеется место для двух 3.5-дюймовых дисков или четырех 2.5-дюймовых. Мы ставим по два крупных диска. Установка четырех дисков для подобных применений нам кажется весьма расточительным и не рациональным. Но если будет спрос – подумаем над закупкой и таких конфигураций.
В каждом сервере предусмотрены два сетевых интерфейса. Один мы используем для связи с внешним миром, а второй для бэкнета. Бэкнет нужен для нашей управляющей системы: по нему мы устанавливаем и настраиваем ПО, мигрируем пользователей и при необходимости делаем бэкапы. Кроме того, в шасси есть единый управляющий центр, выполняющий роль KVM для доступа к низкоуровневым настройкам каждого из серверов (IPMI 2.0, Virtual Media и прочие прелести удаленного администрирования). И конечно через центр возможен удаленный мониторинг технического состояния всех железок, установленных в шасси.
Несмотря на широкие возможности удаленного администрирования, возможна ситуация, когда необходимо подключиться к какому-либо из серверов физически. Для этого каждый из них оснащен разъемом D-SUB и двумя портами USB 2.0. Поскольку площадь передней панели крайне мала, было очень важно оставить побольше пространства для воздуховодов. Поэтому все разъемы интегрированы в один универсальный.
Все дело в волшебных проводках.
Следы вставляются в шасси примерно как картриджи в детские приставки начала 90-х.
Через эти разъемы идет подача питания и обмен данными с управляющим центром.
В задней части шасси установлены блоки охлаждения с резервированием N+1. На самом деле для охлаждения достаточно одного ряда кулеров. Второй — для резервирования.
Питание подводится через два блока с горячей заменой, один из них – резервный. Блоки питания подключены к двум разным лучам, благо дата-центр это позволяет. Таким образом, серверы защищены как от внутреннего сбоя – выхода из строя одного из блоков, так и от внешнего фактора – выключения питания на одном из лучей.
Внимательный читатель заметит как здорово продуман фиксатор блока питания. Блок нельзя вытащить, не опустив замки-собачки, а ручка для опускания замков (зеленая на фото) заблокирована пока БП не обесточен.
Для нас серверы C-серии стали большим подарком со стороны инженеров DELL, т.к. они позволили нам решить сложную задачу уплотнения и удешевления инфраструктуры при сохранении качества услуг. С одной стороны, такие серверы сильно дешевле в эксплуатации и обслуживании, а с другой – обеспечивают бОльшую надежность и резервирование, нежели обычные одноюнитовые DELL PowerEdge R210 со схожими характеристиками.
Серверы отлично сработались с нашей системой управления Parallels Automation и виртуализацией Parallels Virtuozzo Containers (PVC). Таким образом, мы смогли интегрировать их с нашей существующей инфраструктурой и использовать для установки готовые наборы настроенного ПО (панель управления, тонкие настройки под различные CMS и прочее). В результате аккаунты на новых 2012-го тарифного года при апгрейде на аренду сервера автоматически мигрируются с VPS-нод на отдельную машину. Прозрачная миграция между серверами – это отдельная интересная тема, о которой я обязательно расскажу в одном из следующих постов.
Что в результате?
Благодаря платформе c5000 плотность размещения серверов под аренду в обычных 42U шкафах составила 132 сервера на шкаф (более чем в 3 раза выше обычного). Помимо этого с помощью серверов на платформе C6100 (сейчас уже C6220) мы увеличили плотность размещения продакшн-серверов, которые используются для виртуализации, в 2 раза.
С учетом нашего стандартного оборудования DELL PowerEdge серии R, еще оставшегося в эксплуатации, за год мы увеличили количество физических и виртуальных серверов более чем в 2 раза и при этом избежали роста постоянных расходов на эксплуатацию дата-центра.
Когда уже была написана статья я с удивлением обнаружил, что у нас нет ни одной хорошей фотографии следа во всю длину. Вот все что нашлось.
Обязательно перефотографируем когда придет следующая партия.
P.S. Если кому понадобится — у нас можно взять сервер в аренду.
Автор: rusonyx_team
Прочитал статью http://habrahabr.ru/company/rusonyx/blog/178149/
Заинтересовался.
Занимаюсь (в большей части на общественных началах) информатизацией образования.
Мог бы забрать для школ с которыми я работаю указанные Вами сервера.
Мое местоположение Волгоград. Но думаю, что при положительном решении вопроса мог бы организовать вывоз оборудования из Москвы.
Думаю, что для школ это был бы значительный подарок.
Прочитал стать о “Оранжевый чувак бесплатно раздает серверы”
Занимаюсь информатизацией образования. В большей части на общественных началах. Мог бы пристроить указанные сервера в школы одного из районов Волгограда. Если бы вопрос решился положительно, то можно организовать вывоз серверов из Москвы.
Для школ это было бы не плохим подарком.