Мы в HOSTKEY держим более 400 собственных серверов в ДЦ Сервериус, который расположен посреди красивых полей в Нидерландах, в городе Дронден — чуть севернее Амстердама. Хочу поделиться своими впечатлениями и кросс-культурными различиями от более чем 2-х летнего опыта размещения наших серверов в Сервериусе, как не наступать на грабли.
Вся история началась около 3 лет назад, когда мы решили открыть площадку и в Нидерландах. Мы объехали с десяток ЦОД, в Амстердаме, Роттердаме и окрестностях. Провели переговоры, собрали предложения и контракты.
Все их можно было разделить на две категории:
- «крутые ЦОД»/телехаусы от 10000м2 с охраной, парковкой и всеми делами с ценой за стойку около 2000 евро и кучей ограничений. Общаешься с менеджером, все красиво, но в договоре полные засады – расскажу об этом позже.
- «обычные ЦОД» для , 100-200 стоек – в регионе, на бывшем складе или бывшей телефонной станции или что-то типа ангара. Цена за стойку около 1000 с электричеством – ну и как договоришься. Договор тоже не простой, но общаешься с хозяином.
- ЦОДы крупных хостеров — как правило они ищут реселлеров, реселлерская участь в Голландии тяжела — маржа 5-20 евро с машины, обязательство заказывать 10-20 серверов в месяц, что бы иметь хорошую скидку. Мы такие не рассматривали.
На этом разница заканчивается – технологические решения почти одинаковы. Эти технологические решения я в Москве видел только в самых крутых местных ЦОД. Все идеально, оптимизировано что бы никогда не трогать, что бы работало без вмешательства человека. Полная автоматика. Тотальный аутсорсинг.
В общем из 5-6 реальных предложений мы тогда выбрали Сервериус и не пожалели. За все время работы у нас не было ни одной аварии по их вине.
Нет ничего дороже персонала
Как правило, весь персонал ЦОД на 100-200 стоек составляет человек 5: хозяин, он же главный инженер и продавец; главный по финансам; начальник техподдержки; пара младших инженеров ему в помощь. Зарплаты высоки, налоги высокие – персонала мало. Все что можно вынести — выносится на аутсорсинг. Все вкалывают на совесть (безработица 20% и ипотека творят чудеса).
Следствие: нет круглосуточной смены, как все тут привыкли. Надо привыкать, что голландцы приходят на работу ровно в 9 по своему времени и уходят ровно в 18. Сверхурочные – 150 евро в час, за эту сумму сам хозяин сядет на велосипед и приедет смотреть что стряслось с вашим сервером. Мы ни разу не пользовались.
Надо отдать должное, если они начали работу – то закончат. В Германии, инженер-болгарин может свалить в 18-00, оставив дело в середине, а сервер разобранным.
Следствие: Никто никуда не поедет менять диски, покупать память и т.п. Все это должен делать ваш поставщик. Все вопросы решаются только через KPN/DHL, причем курьер приезжает в ЦОД.
Мораль: все сервера должны быть укомплектованы модулями удаленного доступа. Все диски должны быть серверного класса. Все должно быть на гарантии.
Отсутствие спешки
Мы тут в Москве привыкли, что планирование практически бессмысленная вещь и торопимся решать вопросы. Не доверяем никому, товар берем день в день со склада.
В Голландии это не так. Если что-то заказываете, поставщик честно говорит — это будет готово через неделю. И ровно через неделю + 1 день это приезжает в ЦОД. Никто ничего не держит на складе. Все сборщики заказывают у дистрибьюторов, это привозят почтой с разных мест и потом собирают и отправляют тоже почтой. Так принято и так все работают.
Тему «мне нужен сервер завтра или сегодня» никто просто не поймет. Вы заказываете, Вам называют срок и в этот срок все приезжает. Не забудьте – если что-то сломается по гарантии, то вызывается курьер и деталь отправляется поставщику. Например, если сервер перестал реагировать на IPMI, его целиком в сборе отправляют поставщику. Диски скапливаются пока их не наберется ящик и отправляются так же поставщику. Через месяц приходит такой же ящик с подменными дисками.
В ЦОД есть SLA – платный. Так как ЦОД не монстр, а вы клиент не самый маленький – ваши просьбы будут обслуживаться быстрее.
Формулировать надо точно.
Отсутствие надуманных формальностей
Камнем преткновения использования региональных ЦОД в РФ была невозможность отправки серверов в ЦОД без своего экспедитора-инженера, что уничтожало весь экономический эффект от цены. В Сервериус наш поставщик просто отправляет сервера по почте с пометкой HOSTKEY, ЦОД их принимает, настраивает IPMI, монтирует в стойки и подключает сервера к сети. Точно так же они переконфигурируют сервера, отправляют запчасти по гарантии и т.п. Все работы, которые можно сделать за 15 минут считаются мелкими и отдельно не оплачиваются. Нет проблем для них перекинуть память, заменить диски, перекинуть машины между стойками.
Очень важно — одолжений не будет, описывайте все в контракте. Контракт — закон.
Ценообразование на стойку
В РФ мы привыкли к формуле 42U и 5 кВт. В Голландии обычно в стоимость 42U стойки включают чуть электричества, около 1,5 кВт. Базовая цена становится около 400-500 евро и превышение стоит по 15 евро центов. На набитую стойку выходит около 1000 евро. Следствие простое – ставь экономичное оборудование и плати меньше. Выключай сервера которые ждут клиента. Само невыгодное, что можно сделать — держать старые сервера, они обойдутся существенно дороже в эксплуатации.
Очень внимательно читайте контракты – в Голландии и Германии если что-то заказали на год, то придется платить за это ровно год, не важно — пользовались или нет. Отказаться от стойки раньше времени не выйдет, а предупреждать надо иногда за 3 месяца. Так вот принято. Бывают и пятилетние контракты — внимательно смотрите срок, на который подписываетесь. Потом не соскочите.
Интернет
Обычно ЦОД дает свой интернет, уже доставленный на площадку. Опасайтесь и бегите, когда этого нет – инсталляционные затраты и долгосрочные контракты сделают затею мутной. Мы имеем цену на гарантированный интернет около 800 евро за гигабит полосы. Опять внимательно читайте контракты – мы привыкли в РФ, что превышение стоит обычно пропорционально обязательному потреблению, т.е. если куплен гигабит за 2000 долларов, то превышение пойдет по 2 доллара или меньше. В Голландии превышение может оказаться по 50-70 Евро/мегабит, вам придется увеличивать гарантированное потребление! И его не получится оперативно уменьшить, контракт-то годовой. В остальном все традиционно, тарификация 95% burstable — 5% верхних значений загрузки за месяц отбрасываются.
Сам ЦОД не управляет интернетом – как правило, это сдано на аутсорсинг профессионалам. ЦОД не может позволить себе держать нескольких супер-сетевиков, этим занимаются конторы, которые их нанимают.
Часто есть «рекомендованный» провайдер. Цена на темную оптику выходит такая, что самому делать трассу до AMS-IX становится выгодно только после 10Г полосы в ту сторону. При этом от дистанции мало что зависит – трасса внутри Амстердама и трасса Амстердам-ЦОД в регионе будет стоить почти одинаково.
Что мы используем в повседневной работе
По опыту с наилучшей стороны показали себя сервера Supermicro. Срок поставки 7-10 дней, 3 года гарантии на все.
Однопроцессорные мы берем в составе Microcloud на 8-12 лезвий. Процессоры E3-1230v2, диски WDC RE4 500Gb 7200 rpm, 2Tb 7200 RPM. Все машины с модулем удаленного управления. 10 систем Microcloud в такой конфигурации потребляют около 4-5 кВт, а это 80 серверов.
  |
 |
Более крупные машины мы заказываем из стандартных 1U корпусов с начинкой из последних моделей E5-2630 и прочего. Так как мы ничего не реселлим, то заказывать мы можем у поставщика все что пожелаем из свежего. Мы стараемся придерживаться следующих популярных артикулов на старшие сервера:
Процессоры E5-2630, 6 ядер 2,3GHz, E5-2670 8 ядер, 2,6GHz
Память — только 16Gb DDRIII ECC REG LV DIMM от Kingston, ни одного гарантийного случая
Матери — Supermicro X9DRD, 2xs2011, 16xDDRIII (256Gb RAM)
Контроллеры: LSI Megaraid 9260-4i, Megaraid 9260-8i, HBA 9211-8i
Диски: SATA WDC RE4 500Gb, 3Tb. SAS – 300Gb 15K, 600Gb 15K, 2Tb 7,2K – Seagate/Hitachi
корпуса Supermicro 4, 12 и 36 слотов под 3,5” диски.
SSD серверного класса: Samsung 940 Pro, Intel 520 размером 128 и 256Gb. Можно заказать и более крутые модели.
Итого, 15 артикулов – все взаимозаменяемо.
Самое крутое, что у нас брали на заказ – систему 2хE5-2630/384Gb/36x300Gb SAS 15K/5xLSI 9211-8i HBA.
В качестве гарнира идет любая Циска – от простых коммутаторов для VLAN до ASA5530 со всеми наворотами. Цена закупки – в три раза ниже чем в РФ.
Сеть
Мы подключены через два 10Г интерфейса с помощью своих современных роутеров Brocade CER-2024. Это позволяет нам не замечать редкие DDOS атаки, которые прошли незамеченными через системы мониторинга апстримов. Внутри вся сеть сделана на Cisco Catalyst 1000/100Mbps. Все управляется и мониторится централизовано.
Почему такая цена
Все очень просто – поставщики дают нам рассрочку на сервера, равными долями на 2 или 3 года без аванса. Для этого мы аккуратно ведем белую голландскую компанию, имеем кредитную историю и ведем игру в белую. Мы добавляем расходы на ЦОД, интернет, маржу и получаем цену сравнимую с Хетзнером или другими игроками. В отличие от известных дискаунтеров, HOSTKEY может собрать любой нужный конфиг из описанных выше деталей и обслуживать его в лучшем виде. Любые кластеры, системы виртуализации, СХД — все что хочешь, в том числе и колокация своих серверов клиента.
Такой подход позволяет нам обходиться одним человеком в Амстердаме, который занят финансами и взаимодействием с поставщиками. Все остальное по технике мы решаем через Московский офис силами дежурной смены и одного старшего инженера, который отвечает за Нидерландскую площадку. Это налаженные, отполированные до блеска бизнес-процессы.
Надеюсь, данный пост покажется кому-то полезным, достойным занесения в избранное и убережет от ошибок.
Автор – директор и совладелец Hostkey.ru
Автор: ULP
