В прошлый раз я рассказал про то, как «учёный изнасиловал журналиста». Кратко: мы выпустили релиз, что встаём в ЦОДы «Транстелекома», «Форбс Казахстан» написал, что мы совместно открываем два ЦОДа, дальше наши «новообретённые» партнёры узнали много нового о себе и своих стратегических партнёрствах и очень удивились. Про эти приключения в прошлом посте.
Это не первый опыт наших эпик фейлов в Казахстане.
Оставалось купить железо, настроить оплаты и заехать в ЦОДы.
Естественно, кое-что пошло не так.
Оплаты
Началось всё куда раньше, когда мы подключали оплату картой в эпоху прилёта санкций. Мы, вообще-то, международный , и будет странно продлять кому-то только при оплате картой «Мир». А ещё у нас надёжно удаляются серверы, потому что мы ценим приватность очень высоко. В итоге было бы странно грохнуть чей-нибудь проект просто потому, что клиент не может заплатить.
А это 15% платежей — они шли из стран СНГ.
Тут надо сказать, что мы долго и хорошо работали с «Пеймастером». Это те самые, которые были раньше «Вебмани». Конечно же, мы использовали и PayPal. Через них на январь-февраль 2022 года нам и платили иностранцы. Но сначала в какой-то солнечный день наш ЦБ отозвал лицензию у якорного банка, которым пользовался «Пеймастер», а потом случился уход PayPal с российского рынка.
Тогда мы очень порадовались тому, что наша паранойя заставила нас дублировать каждый тип сервиса, который в принципе бывает в . В том числе платёжный шлюз. Причём платёжный шлюз мы дублировали чуть ли не последним, за пару недель до этого события.
Когда «Пеймастер» лишился банка, деньги заморозились. Мы думали, это навсегда и ловить там больше нечего, но они вернулись к нам обратно и сказали, что восстановились, можно продолжить сотрудничество. Мы такие: «А как же те деньги?» — а они, утрируя: «Ну, они заморожены, однажды вам их вернут. Или нет. Но вы держитесь!». И видя наши лица, горящие желанием сотрудничать, вдруг предложили: «А давайте мы вам на эту сумму дадим займ. Как вам разморозят деньги — вернёте из них». Это уже было дело, и это уже возвращало доверие. Косяки случаются у всех, но эти люди явно умели их решать.
В общем, сначала был «Пеймастер».
Потом их накрыли санкции.
А я напомню, что в мы пришли из мира финансов. И потому у нас среди клиентов есть одна международная финансовая организация, в структуре которой есть банк в Казахстане. И они предложили свой сервис. Их же мы посоветовали и «Пеймастеру», чтобы ребята и у себя как можно быстрее наладили работу с иностранцами. И порекомендовали такой же путь конкурентам. Мы вообще часто сотрудничаем с конкурентами, когда это выгодно нам и рынку. Мы конкурируем в сфере , но почти все адекватно понимают, что глупо строить подлянки или утаивать что-то важное для рынка. Потому что мы индустрия, а не отдельные шакалы в поле.
Это работало некоторое время, и мы выдохнули. Потом прилетел очередной пакет санкций, и Казахстан забанил всех из нас, до кого дотянулся. Банк прекратил нам все операции оплат из-за вторичных санкций.
Пришлось искать другой путь, более сложный. Здесь, простите, без деталей, только для своих игроков рынка, а то публичность может помешать. В итоге сейчас зарубежные карты снова работают, но через другую историю. Оплатить можно даже из Штатов, хотя раньше подключить оплату для карт из США было практически нереально, так как наша страна относится к зоне риска нарваться на фрод.
При этом нельзя оплатить картами, выпущенными в странах из списка: Афганистан, Албания, Барбадос, Беларусь, Буркина-Фасо, Камбоджа, Острова Кайман, Корея Народно-Демократическая Республика, Конго Демократическая Республика, Гибралтар, Гаити, Иран Исламская Республика, Ямайка, Иордания, Мали, Марокко, Мозамбик, Мьянма, Никарагуа, Пакистан, Панама, Филиппины, Сенегал, Южный Судан, Сирийская Арабская Республика, Тринидад и Тобаго, Объединённая Республика Танзания, Уганда, Украина, Вануату, Объединённые Арабские Эмираты, Йемен, Зимбабве.
В остальном сейчас всё работает. Оплаты можно спокойно принимать. Для этого не пришлось открывать отдельное юрлицо в Казахстане и мутить схемы. А если бы мы не нашли способ, пришлось бы открывать отдельное юридическое лицо, решать вопросы, как перед нашим государством правильно его показать и при этом в новом месте сразу не попасть под санкции…
Оставалось купить железо. Напомню, дистрибьюторы не хотели влетать на вторичные санкции, работая с непонятной компанией, способной увезти серверы в Россию.
Закупка железа
Мы всегда работали на корпоративном железе и немало этим гордимся. Сначала это был «Хуавей». Потом его раздолбали американцы, и мы стали покупать «Леново».
В России «Леново» по факту всех кинули. Ну то есть после очередного пакета санкций отказались от обслуживания. Потому что не могут работать с российской компанией. Следите за руками: мы заплатили за 3 года поддержки, включая поставку ЗИП на следующий рабочий день. Кто-то оплатил за 5 лет поддержки, включая все комплектующие и ремонты. Такие пакеты покупали все крупные игроки рынка, включая некий зелёный банк.
В какой-то день нам понадобилось заменить очередной диск. Пишем в саппорт, а они:
— Советом поможем, а диск не привезём.
Мы очень удивились и уточнили ещё раз, что происходит. Нам прислали инструкцию, как самим заменить диск. Спасибо, мы уже в курсе, нам нужен диск. Сложно менять диск без самого диска.
Но они сказали, что услуга больше не оказывается, потому что западло работать с Россией. Формулировки были другие, но вы поняли. Мы предложили пересчитать контракт, исключив те услуги, которые они уже не могут оказывать. Они отказались делать и это, работать с Россией им нельзя было вот вообще, даже над таким. С их точки зрения — это форс-мажор, у нас — сами понимаете.
К слову, когда уходил «Хуавей», их гарантия выполнялась в полном объёме. У них был такой же форс-мажор, но они всю свою гарантию закрыли и все обязательства выполнили. Не могли продавать новое ни в каком виде, но старые контракты все выполнили до конца.
Проблема в том, что в договоре на поставку у серверов с местным дистрибьютором гарантия и поставка ЗИПа производится не самим дистрибьютором, а по схеме: ты пишешь тикет, грузишь логи, сотрудники «Леново» смотрят, если надо поменять, то сам «Леново» уже отправляет курьера на свой локальный склад и везёт запчасть нам. Мы, конечно, обратились и к дистрибьютору, но они ведь диски не производят. Они сразу ответили, что сами в такой же ситуации и остаётся из вариантов — судиться пару лет, получать глубокое моральное удовлетворение и бумажку на то, что они должны нам денег. Ну и логично ничего не получать. Тем не менее когда-нибудь, возможно, они вернутся на российский рынок, и вот тогда пригодится и зафиксированная претензия, и иск, и всё остальное. Как минимум им нужно будет вернуть долг, чтобы закрыть репутационные потери.
Само железо «Леново» можно было купить через Казахстан, через схемы разной степени мутности: от дорогих серых до безумно дорогих почти белых. Но именно железо, а не поддержку. Мы посчитали, что не хотим держать огромный ЗИП и быть фактически дистрибьютором — и начали искать новых поставщиков.
В этот момент на рынок вернулся «Хуавей». Точнее, не «Хуавей», а его, скажем так, внучатый племянник «Икс-Фьюжн». Чем именно он отличается от «Хуавея», мы так и не поняли, но компания совершенно другая и не имеет к «Хуавею» совершенно никакого отношения. Ещё раз повторю: совершенно никакого. В общем, «Икс-Фьюжн» сказал, что теперь надо торговать с ними и через полгода всё будет. Полгода по китайскому календарю равнялись трём российским годам, потому что пришёл вечнозелёный банк и забрал к чертям вообще всё, что этот самый «Икс-Фьюжн» мог поставить. Очередь до нас дошла только вот сейчас.
Короче, вот у нас в Казахстане первые ЦОДы на «Икс-Фьюжне», который вовсе не старый добрый «Хуавей».
Дата-центры
Теперь сами ЦОДы. Судя по всему, вы про них знаете мало, а спрос на в них есть. Расскажу основные характеристики, чтобы вы понимали, что там.
▍ ЦОД Алматы
- Адрес: улица Карасай Батыра, 55.
- Степень огнестойкости —II (здания и энергоблока). Уровень ответственности здания — II (здания и энергоблока).
- Площадь — 594 квадратных метра. Площадь ЦОДа — 340 квадратов.
- Мощность 960 кВт, два независимых ввода.
- UPS GE LP 100 кВА, 6 шт. + ABB Power Wave 33 мощностью 200 кВА, 2 шт.
- Резерв — ДГУ в контейнере, запас топлива 12 часов + подвоз. Номинал соответствует потреблению ЦОДа.
- Приточно-вытяжная вентиляция с механическим побуждением. Подача охлаждённого воздуха непосредственно в холодный коридор. Высота фальшпола 500 мм. Забор тёплого воздуха кондиционерами с горячего коридора. Избыточность кондиционеров 2N+1, можно выводить любой из них на обслуживание и ремонт без остановки системы и просадок производительности. В помещении ИБП и ВРУ количество кондиционеров N+1.
- Видеонаблюдение во всех зонах ЦОДа. СКУД, сигнализация, датчики дверей, всё как надо.
- Система автоматической пожарной сигнализации построена по аналоговой схеме на ПКП «Гранит-8».
- Система пожаротушения КD-200 KIDDE с пневмопуском и электропуском.
- Машзал на середину марта: 93 стойки есть, свободно — 3 стойки. Стойка 42 U, 600*1200*2000мм, 7 кВт; два ввода питания в каждую, сверху лотки. Общая производительность по холоду — 779 кВт. Фальшпотолок, антистатический фальшпол, мониторинг температуры и влажности. Холодный коридор 19–22 градуса Цельсия при относительной влажности 45–55%.
▍ ЦОД Астана
- Адрес: Кабанбай Батыра, 28.
- Степень огнестойкости — II (здания и энергоблока), уровень ответственности здания — II (здания и энергоблока).
- Потребление 2000 кВт.
- Трансформаторная подстанция 10/0,4 кВ в отдельном здании, там распределительное устройство 10 кВ, два трансформатора по 2500 кВА и распределительное устройство 0,4 кВ. Для электроприёмников I особой группы электроприёмников (кондиционеры ЦОДа, серверные шкафы ЦОДа, кондиционеры ИБП, насосы холодильного центра) стоят UPS VERTIV APM 600 кВт 3 шт.
- Сдвоенные ДГУ, 12 часов запаса топлива при номинальной мощности. Максимальная 2500 кВА.
- Приточно-вытяжная вентиляция с механическим побуждением, с рекуперацией, нагревом приточного воздуха в зимний период и охлаждением в летний период. Канальные вентиляторы. Обработка приточно-вытяжного воздуха в центральных кондиционерах, установленных в помещениях венткамер. Фильтры G4. Холодоснабжение холодильными машинами, отдельно для помещений здания и ЦОД (чиллер — файнкойл).
- Фальшпол 600 мм. Подача холодного воздуха в холодный коридор, забор горячего из горячего коридора.
- Кондиционеров в машзале и помещении MDA — N+1. В помещениях ИБП количество кондиционеров принято без резервирования (с учётом максимального возможного тепловыделения), поскольку сами помещения резервируют друг друга по схеме 2N по питанию.
- Есть видеонаблюдение, СКУД, сигнализация, всё как надо. Пожарная сигнализация и оповещение людей при пожаре. В ЦОДе предусмотрена система автоматического газового пожаротушения МПТГ-65-120 FIREX с пневмопуском и МПТГ-65-50 FIREX с электропуском. Запуск модулей пожаротушения МПТГ-65-120 FIREX при помощи баллона пускового FL-QD4-1 с электропуском. Реализовано отключение всех приточных систем при пожаре.
- Машзал на середину марта — 84 стойки (7 стоек — помещение MDA, 77 стоек в машзале). Свободно — 27 в машзале, 7 в помещении MDA. Стойка 42U, 600*1200*2000 мм. Питание 9–13 кВт на стойку, два ввода, лотки сверху. Общая производительность по холоду — 1000 кВт. Фальшпотолка нет. Фальшпол антистатический. Температура в холодном коридоре поддерживается в диапазоне от 20–25 градусов Цельсия при относительной влажности 45–55%. Мониторинг температуры и влажности.
Поставка железа
В комментариях вы спрашивали, как закупились, как решили с брокером при прямом контракте и т.п.
Надо понимать, что если вы придёте с улицы, то вам никто ничего сейчас не продаст, или будет очень и очень дорого, и то, скорее всего, не продадут. Все боятся санкций. Мы пошли по знакомым, партнёрам. И ничего не нашли. Мы не можем говорить, как именно мы не нашли, но в итоге как-то так получилось, что купили оборудование официально, с гарантией. При условии, что данное оборудование никогда не покинет пределы Казахстана. Мы подписали бумаги, что не собираемся его никуда увозить. И действительно не собираемся его никуда вывозить, так что тут всё честно. Договор, спека, честные счета с оплатой именно за серверы и УПД.
Что касается брокера, который изначально за нас вступился перед ТТС. Как ранее писали в комментариях, всё хорошо. Они не потеряли от этого договора, который сначала был их, а потом стал ТТС. Общаться и работать с ними будет, скорее всего, очень и очень хорошо, люди там одной системы координат с нами. Мы сказали им как есть, что для долгосрочного развития компании прямой договор с ТТС лучше, хотя изначально он и дороже, чем то, что предлагали. Они поздравили нас с решением сложной задачи (а подписаться напрямую было действительно сложно после всех этих перипетий) и договорились быть на связи по другим проектам.
То есть в принципе всё — договор с ЦОДом есть, железо оплатили, ждём.
И тут нас очень забеспокоила физическая доставка, приёмка и монтаж. Почему ещё мы работаем через брокеров или партнёров — потому что они делают все документы, а потом присылают на приёмку своих админов, которые понимают, как обращаться с сервером.
Для примера, как это выглядит в Амстердаме: покупаешь 5 серверов, они приезжают в поставке, человек партнёра их принимает, сам или с помощью уже сотрудников ЦОДа затаскивает, устанавливает. Всё это, конечно, согласуется заранее, и в ЦОДе ждут. А если просто привезти самостоятельно сервер, его никто без заявки не примет.
У нас даже было такое: в Цюрихе отправили назад ремкомплект, потому что у него на коробке большими цифрами не был написан номер тикета на приёмку. Прямо в адресе. Только проблема в том, что он был написан в конце адреса. А надо было в начале адреса, это стандарт или просто лень было читать — мы не знаем. Статус доставки был: посылка вручена. Оператор (выездной админ) выходит на связь, планирует работы, приезжает, а ремкомплекта нет. Посылку отправили назад. Дальше её сначала потеряли, потом отправили нам другую с правильно подписанным тикетом, потом её приняли, потом ещё раз отправили ещё один такой же ремкомплект от дистрибьютора бесплатно зачем-то, и его тоже приняли по тому же номеру тикета. В общем, мы с тех пор нервничаем, когда надо договариваться с ЦОДами про приёмку.
В Казахстане мы встаём напрямую. Кто-то должен принять железо от поставщика. Тут надо сказать, что каждый, с кем мы за всё это время общались в Казахстане, предложил своего проверенного человека, который мог бы по доверенности принять серверы от нашего имени.
Выбрали надёжного человека для каждого ЦОДа, сделали доверенности, дождались дня Х. Тут подвёл DHL. Мы отправили оригиналы доверенностей в Алматы и Астану. Доверенность в Алматы приехала через 3 дня. А в Астану до сих пор лежит где-то на таможне в Москве. Но мы же чёртовы параноики! В обоих конвертах были обе доверенности — я подумал, что что-то точно может пойти не так. Например, их перепутают.
В итоге человек в Алматы через другого проверенного человека отправил поездом доверенность в Астану.
Как я говорил в прошлый раз, «Транстелеком» сделали услугу smart hands. Друзья наших друзей могут принять железо, но не хранить, и не тем более таскать. ТТС в итоге организовал всё так, что к доставке сразу вышли специалисты, забрали и пошли пихать в стойки. Всё быстро, без формальных проволочек, чётко и понятно. Они умеют и другие вещи. Нужно апгрейдить RAID — апгрейдят. Нужен KVM — без вопросов быстро дают. Пока выглядит как магия, потому что такой отзывчивости и скорости в Европе в ЦОДах нет, а часто надо вызывать аутсорсера для работ и как-то стыковать его с ЦОДом.
Конец истории
Так, с какой-то попытки мы открылись в Казахстане. Да, обещали раньше. Простите, у нас по дороге возникли некоторые приключения на 20 минут каждое. Но сейчас всё работает. Хотя обычно после таких деклараций что-то сразу случается, поэтому не буду так однозначно заявлять. Скажу так: вставать можно.
Автор: Никита Цаплин
