Никогда не замечали, что все статьи про дата-центры заканчиваются как под копирку одинаковой фразой — ждём вас в гости и будем очень рады вас видеть, но только если нелёгкая занесёт вас в наш город N, а особенно в его промзону или в тёмный лес в пригороде.
Но есть на этом свете правильные парни, которые не только на словах будут рады, а прямо берут и привозят тебя к себе, чтобы показать всё, как есть, без прикрас фотошопа и статей эффективных продаванов. Взяв направление писать про увиденное без скучных цифр в предыдущей статье, сейчас, надеюсь, получится достойное продолжение.
В этот раз для меня героями выступили представители эстонского провайдера Infonet, которые, в честь ввода в эксплуатацию первой очереди своего дата-центра в Таллине Infonet DC, совместно с партнёрами из Комфортел организовали поездку для коллег из Санкт-Петербурга и Москвы. Причём сделали это необычайно приятно: вместо того, чтобы весь день хвалить себя любимых, они договорились о визитах в ещё два дата центра, оставив гостям возможность делать выводы и писать подобные отчёты. Кстати всего планировалось посетить 4 датика, но о грустных причинах посещения только трёх немного ниже.
Так что сегодня я хочу потратить немного вашего времени на рассказ про особенности рынка телекоммуникаций в Эстонии вообще и что такое дата-центры Таллина в частности.
Диспозиция или Эстонский интернет без шуток и в разрезе
Эстония страна небольшая. По площади она практически равна Московской области, а всё население не дотягивает до полутора миллионов. Доподлинно неизвестно как, но что-то помогает удерживать этой небольшой стране лидерские позиции во всевозможных рейтингах проникновения интернета, уровня развития IT технологий и т.д.
Как наверняка многие знают, в Эстонии уже несколько лет уверенно функционирует так называемое электронное правительство, на которое ориентируются страны остального мира. Если вкратце, то у каждого человека есть своя уникальная ID-карта, полностью заменяющая классическую аналоговую подпись на аналоговой бумаге. С помощью этой карты голосуют, платят налоги и штрафы, хранят медицинскую историю, подписывают договора, покупают недвижимость, доказывают своё образование и опыт работы, т.е. абсолютно вся информация о гражданине и его жизнедеятельности хранится в сети и может быть получена любым имеющим к ней доступ. Полный отказ от бумаг везде, где только можно.
Невероятная удобность всего замысла очевидна. Но как такая крошечная и далеко не самая богатая европейская страна смогла обогнать крупнейшие державы, вкладывающие в развитие подобных сервисов сотни миллионов долларов?
Не самую последнюю роль в этом деле сыграло то, что рынок ISP в Эстонии появился давно, поэтому он насыщен и по сути много лет как разделён между тремя основными операторами. Причём именно поделён, а не распилен по картельному сговору, т.к. за этим строго следит надзорный орган. Называются эти провайдеры Elisa, Telia и пригласивший нас Infonet.
Но просто факт "закрытости" рынка сам по себе ничего не значит. Я думал, что появлению на рынке новых игроков может мешать высокий входной порог, но оказалось, что аренда кабельной канализации стоит смешных денег — что-то около 6 евроцентов за метр одного кабеля. Получить тех.условия — это как за булкой сбегать, а выдача радиочастот вообще происходит как бы между делом. Вероятно, эффективным оружием существующих операторов служит многолетняя оптимизация расходов. Местному рынку уже почти 30 лет, все друг друга знают и могут решать любые задачи невероятно эффективным образом. Так что выход на рынок новых игроков фактически заблокирован, хотя попробовать никто не запрещает. Поэтому основная масса ближайших конкурентов (если их вообще так можно назвать) местной большой тройки, это виртуальные операторы, предоставляющие услуги телефонии и подобной мелочевки. Но по факту эти операторы представляют собой нечто вроде наших домовых сетей времён зарождения рунета, когда связать дома в квартале перекинутой воздушкой считалось признаком серьёзного подхода к связи.
Возникает закономерный вопрос: чем же заниматься оператору, если демпинговать ради заманивания новых клиентов нет никакого смысла, доходы известны и нет беспокойства за завтрашний день? Ответ прост — развивать инфраструктуру, свои сервисы и добавлять новые услуги. Например, можно создать свой телеканал и продавать его кабельным сетям или предоставлять полноценный пакет услуг по . Или можно, как в случае Infonet построить свой дата-центр.
Кстати, про грустные обстоятельства непосещения одного дата центра. Из поездки выпал датик, принадлежащий Telia. Фактически это эстонский аналог нашего Ростелекома, т.е. прямой наследник советского телефонного монополиста со всеми вытекающими инфраструктурными и административными возможностями, что не мешает ей быть финско-шведской компанией более известной в мире как TeliaSonera. И вот они до последнего не давали согласование, всячески оттягивая принятие решения по разнообразным причинами. Но в кулуарах было обозначено, что группа связистов на 90% состоящая из граждан России и государственный цод вещи не совместимые чуть более, чем полностью. Вот такие вот бывают санкции. Относитесь к этому, как хотите.
Поэтому заканчиваем с теоретическими изысканиями и переходим к практической части — к поездке.
В путь
Ехать в Таллин предстояло из Санкт-Петербурга, расстояние между городами довольно пустячковое (около 400 километров) и выбор средства передвижения пал на поезд, как на самый комфортный. Судите сами — вместе с таможней дорога занимает примерно 7 часов, тебя увозят из центра одного города, привозят в центр другого, а пока едешь можно и с коллегами поболтать, и поспать на мягеньком или даже провести совещание в вагоне-ресторане. Также в актив были занесены демократичные цены и полупустые вагоны на постоянной основе.
Но беда пришла откуда не ждали — от школьников. А вернее от школьных каникул. Ведомые гражданской сознательностью перед будущим страны и родительским долгом перед детьми, родители начисто выкупили билеты на столь необходимый нам рейс. И только когда к нам пришло осознание масштаба трагедии, исключительно счастливая случайность и положение звезд на небе позволило приобрести билеты для примерно половины участников поездки. Для остальных в режиме паники был зафрахтован небольшой автобус, т.к. все большие тоже были скуплены, угадайте кем. Ну, а нескольким гражданам предстояло ехать на машинах, в ряды которых я и решил вступить, т.к. ни разу не пересекал эту часть границы таким способом и грех не получить этот опыт.
Раз уж волею судеб наша группа была разделена на три, нужно было выбрать общую точку сбора в Таллине. Не мудрствуя лукаво данной точкой был выбран офис Infonet находящийся в центре города. И тут у нас случился первый культурный шок.
Представьте, что вам назначают встречу в офисе оператора входящего в тройку лидеров по стране. Какие у вас будут ожидание? Наверно вы будете искать современное здание из стекла и бетона, брендированные машины монтажников на парковке, огромные логотипы и прочие атрибуты зажиточных телекомов. Но явно не такую вот одноэтажную избушку за милым заборчиком с еле заметной вывеской. Хотя это даже и не избушка вовсе, а вполне себе памятник архитектуры, на минуточку! Тут даже цвета краски выбраны не абы как, а указаны перстом органа, занимающегося охраной исторических объектов.
Но внешность обманчива, и внутри этой милоты из бабушкиной деревни обнаруживается стильный 3х этажный офис. В среднем этаже расположились сотрудники административной службы, верхний этаж отдан на растерзание техническому департаменту, а нижний этаж (подвалом это язык не поворачивается назвать) отдан под такие стратегически важные вещи как кухня, душ и стена славы, уставленная кубками за спортивные достижения.
Что за стена, спросите вы? Откуда у провайдера такое количество спортсменов? Ответ был крайне неожиданным, во всяком случае для нас. В условиях поделённого рынка, как уже было сказано, когда провайдер может отвлекаться на всякую ерунду, он может позволить себе такую вещь как футбольный клуб. Причём не какое-то номинальное спонсорское участие, а как полноценное направление бизнеса. При том клуб этот — не участник районной дворовой лиги, а один из лучших клубов страны, победитель высшей лиги и, как ни посмотри, местная гордость и предмет обожания.
Когда вся группа собралась вместе, а кофе был выпит, выяснилось, что по городу мы будем передвигаться как раз на автобусе FC Infonet. Автобус — отвал башки. В ряду по три комфортных сидения, вместо стандартных четырёх, туалет, мини кухня, интернет и прочие блага цивилизации. Видимо в Эстонии действительно любят своих футболистов.
Но хватит лирики, давайте уже про дата центры!
Levira
Совершенно осознанно я заранее даже не пытался наводить какие-то справки про ТТХ дата-центров, которые предстояло посетить. Поэтому когда нас выгрузили из автобуса у таллинской телебашни, пришлось сразу обратиться за информационной поддержкой к более сведущим товарищам.
Оказалось, что Levira это ещё одна контора, напоминающая наш Ростелеком, т.е. наполовину государственная организация, которая по историческим причинам (была основана более 20 лет назад) стала первой заниматься тем, что сейчас можно отнести к телекомам: телевидение, радио, медиа провайдинг. Также хочется им в актив занести интернет, но на эту сферу своё внимание они обратили намного позже и стали заниматься постольку-поскольку. Кто сталкивался с технологией WiMAX, может смахнуть скупую слезу.
Соответственно телебашня принадлежит им, отчего она довольно эффективно используется не только по своему прямому назначению. Впрочем это нормальный сценарий, когда инфраструктурный объект отдаётся под частное управление.
На подходах к объекту был обнаружен БТР в цветочек (второпях не запечатлён), на первом этаже раскинулась выставка, посвящённая быту советских времён, разнообразные кино-развлечения для туристов, симпатичный сувенирный магазинчик и также был обнаружен лифт на смотровую площадку. Но из-за нехватки времени нас решительно отогнали от великолепия ушедшей эпохи и направили в подвальные помещения.
Давайте отвлечёмся на секунду и подумаем, зачем и как в телебашне делать ЦОД? Ответ заложен в самом вопросе. Телебашня это объект сразу спроектированный под нужды телекоммуникаций, причём в те времена, когда оборудование было очень большим, тяжелым, сильно грелось и потребляло невообразимое количество энергии. После заката эры аналогового телевидения, из здания было удалено всё это ламповое великолепие, вырезаны все ненужные кабеля толщиной в ногу, но подведённые мощности и кабельные трассы никуда не делись. А значит как-то сами собой получились идеальный условия для прихода цифровых устройств. Вот только по размерам они, как мы все прекрасно знаем, в десятки раз меньше аналоговых дедов. Так что к простаивающим мощностям добавились пустующие площади и на базе всего этого в 2012 году был основан полноценный дата-центр. Сейчас их стало 9.
Если вы бывали в старейшей точке обмена трафиком своего города или в любом старом датике, то замечательно представляете себе, что такое наследие времён дикого телекома. Сейчас фотографиями стоек, где за пауками из проводов не видно оборудования принято пугать молодых инженеров, но ещё недавно никто за этим не следил и делал, как придётся.
То ли чтобы уберечь от возможного шока, то ли чтобы не стыдно было, в старые залы нас не повели, но заботливо показали новый машзал. Буквально с порога он удивили тем, что внутри было теплее, чем снаружи в коридоре. Объяснили эту загадку двумя причинами. Всё же мы находимся на несколько этажей под землёй и то, что в коридоре холодно, — это нормально и неизменно на протяжении всего года. И второе, в новой части цода оборудование настроено согласно обновлённым стандартам, по которым температура может быть 23 градуса, а не 19 как раньше.
Кстати охлаждение здесь водяное, с коридорами вывернутыми наизнанку, что вызвало много вопросов. На фотографии выше видно, что через каждые три стойки находится охлаждающий модуль (светится синим). Вернее, правильней будет сказать “теплоотводящий”. На ряд из шести шкафов приходится три таких модуля: в начале, конце и один в середине. Воздух между стойками перемешивается в закрытом внутреннем коридоре, поэтому установка серверов происходит с внешней стороны, а не изнутри холодного коридора, как мы все привыкли. Да и холодный коридор здесь выполняет роль горячего. Расчётная мощность охлаждения такой схемы: 7кВт на шкаф. Во время пуско-наладочного теста получилось даже больше, но решили оставить небольшой резерв. Хотя цифра в 7 кВт звучит довольно солидно. Кстати, впервые увидел интересное решение с размещением блоков розеток с лицевой стороны серверов. Несмотря на кажущуюся нелогичность, 21е шкафы позволяют удобно всё подключить, оставляя задние панели свободными для межсерверных кабелей.
Одним словом схема крайне непривычная и вызывающая много вопросов. Но по словам местных инженеров, выход из строя одного модуля не сказывается на температуре никак. Выход из строя второго заставит последнего живого трудиться на пределе возможностей, но какое-то время он сможет поддерживать приемлемую температуру.
Ещё одна инфраструктурная особенность обнаружилась в дизелях. Во-первых, их тут достаточно много. Два стоит где-то в подвалах, несколько — на улице, и резерв из подкатных находится в обозримом пространстве. Во вторых, из-за стратегической ценности объекта — раз в квартал проводятся учения, и вся телебашня 4 часа работает на дизелях. Совсем вся, включая дата-центр. Так что классическая проблема “А вдруг не заведётся?” тут исключена.
В целом, место получается довольно интересное. Стены, пол, потолок — куда ни ткни, это от трёх до пяти метров бетона. Нагрузку по массе тут выдержат любую. Конечно такая проблема возникает не каждый день, но когда возникает, куда бежать решительно непонятно. А тут хоть балет со слонами устраивай.
Но не выдержав долгого гнёта наследия проклятых коммунистов, мы раскланялись и выдвинулись к следующей точке нашего маршрута.
Linx
Строго говоря, это уже и не Linx т.к. цод недавно был выкуплен, но по привычке все его называют прежним названием.
Привыкший к размаху строительства среднестатистический россиянин испытает видимые трудности при нахождении этого датика. Представьте, что привозят вас на обычного вида улицу, где с одной стороны милые жилые дома, автомойка, какая-то бигмачная, магазин и прочие атрибуты спального района. Вот только при ближайшем рассмотрении выясняется, что то, что ты принял за задник какого-то магазина, на самом деле является входом в дата-центр, просто так сложилось, что блоки кондиционеров висят у главного входа и вся конструкция напоминает задний вход в магазин. Но если без шуток, это скромное место является одним из самых важных в Эстонии, с точки зрения связи. Среди инженеров связистов этот объект известен как TLL-IX.
На самом деле история этого места начинается довольно забавно. Изначально тут была полянка, на которой стояла будка метр на два. Ничем не примечательная будка, вот только внутри неё выходил на свет божий из под земли подводный кабель связывающий Эстонию, Финляндию и Швецию. Но каким-то непостижимым образом эти товарищи умудрились разориться, а вот будка осталась и владельцы Linx, не будь дураками, купили всю полянку, обнесли её заборчиком и построили датик, ставший одним из узлов местного IX, в народе именуемого золотым треугольником. 200 метров в одну сторону и вы приходите к главному государственному дата-центру, 200 метров в другую и вы уже в дата-центра Telia.
Закономерный итог — под ногами настолько много трасс кабельной канализации, что любой человек с чем-то большим чем лопата воспринимается здесь как личный враг и потенциальный источник ужасных бед. Здесь есть каналы до всех соседей: Хельсинки, Рига, Стокгольм, Санкт-Петербург.
Внутри ЦОД удивляет не меньше чем снаружи — открываешь дверь, и сразу начинаются сервера. На вопрос: “Где прячутся охранники с пулемётами и как выключить минные поля?” был получен лаконичный ответ: “Здесь так не принято”. Хотя на самом деле всё вокруг обвешено камерами и датчиками сигнализаций, а в случае чего специально обученные ребята приезжают класть лицом в пол через несколько минут. Как выяснилось позднее, здесь даже дежурной смены инженеров нет. Тут вообще на постоянной основе нет никого. Есть работа — приезжает ответственный человек, нет работы — ни единой живой души.
А ещё это первый для меня датик, где честно говорят, что они сертифицированы как TIER II, потому что у них только один дизельгенератор. Во всём остальном они соответствуют тройке, и, возможно, в будущем займутся получением нового статуса. Зато они сертифицированы по ISO 27100, что является критически важным параметром для всех, кто работает с европейскими клиентами и должен проходить международный аудит. Заявлено, что они были первыми в Эстонии, кто получил этот сертификат.
Интересная ситуация у них с электропитанием. Сам я от электрики далёк, но как объяснили более грамотные люди, сюда подводится “советское” напряжение 6kV. А по европейским стандартам должно быть 10kV и, само собой, постепенно на этот стандарт переводится вся инфраструктура. Вот только под “постепенно” здесь надо понимать десятки лет. Поэтому тут стоит только один трансформатор на 6kV, в то время как у InfonetDC сразу был установлено два 2-х системных трансформатора, рассчитанных сразу на 6 и 10 kV. А резерв так вообще приходит от обычных городских сетей без всяких специальных трансформаторов.
А вот внутри находится действительно мощный IX, где всё, что надо, обнесено дополнительным забором, и стоит оборудование стоимостью с десяток московских квартир. Хотя сейчас идёт замена на более новое, и по славной традиции оно уменьшается в разы. Эх, теряем мы красоту телекомовского оборудования.
Из-за прямого доступа к магистралям, костяк клиентов — это контент провайдеры. Например здесь расположился крупнейший в Эстонии провайдер и под этой крышей находится примерно 80% сайтов зоны *.ee
А вишенкой на торте выступает POP глобального провайдера Level3, т.е. это целый ряд стоек (то ли 5, то ли 6).Если кто не знает, это один из Tier-1 операторов, а их AS3356 имеет самое большое количество соединений в мире. Про наличие всех местных и крупных европейских операторов даже говорить не приходится.
Охлаждение организовано по классической схеме, но реализовано как-то странно. Из потолка торчат здоровенные воздуховоды, из которых воздушный поток бьёт с такой силой, что стоять непосредственно под ним нет никакого желания. Натурально прибивает к полу. Зная любовь европейцев к экономии ресурсов из-за высоких цен на электричество, смею предположить, что система эта — ровесник датика, и ждёт её замена. Хотя возможно при таком объёме её энергоэффективнсоть всех и так устраивает.
Повеселила история про местный АСУ ТП, а фактически главный щит управления инженерными системами здания. Поскольку дата центр здесь далеко не первый год, щит собирался умельцами из местных инженеров, которыми руководил некий русский товарищ. Сам по себе щит доставляет непомерное эстетическое удовольствие и даже работал практически без нареканий. Вот только дальнейшая история как в анекдотах: товарищ уволился, как это работает никто толком не знает, поэтому пришлось заказывать вендорское решение. Но щит демонтировать не решились. Больно уж красивый.
Infonet DC
И вот, когда на улице стало окончательно темно, мы добрались до последней точки нашего путешествия. Как и предыдущие два, этот дата-центр обладает своей ярко выраженной главной особенностью. Но она тут не инженерная, а полностью бизнесовая. Судите сами: как я говорил в начале, история площадок для размещения тут многолетняя, поэтому несмотря на хорошую технологическую базу, у многих наличествует проблема морального устаревания. Чем-то это напоминает шутку про мышей и кактус: хочешь не хочешь, а размещать оборудование где-то надо. С другой стороны, Infonet не скрывает, что будут очень рады видеть заказчиков из России, которым по тем или иным причинам необходимо разместить оборудование за пределами страны. Например, они готовы вести всю договорную работу на русском языке, а для удобства открыли филиал в России, что избавляет от невероятного количества проблем, которые появляются при необходимости работы с зарубежной фирмой.
Ну да ладно, отбросим лирику и перейдём к чисто практическим вещам. История самого здания, где располагается цод, довольно дикая по нашим меркам. Изначально это цех бывшего завода по производству керамической плитки. Вернее даже не цех, а только его часть. Оказывается в Эстонии можно вот так запросто купить кусок здания. Но оказалось, не всё так просто, ведь пожарники, они везде пожарники. Вернее тут очень удачно совпало желание отделиться от соседей и требования по пожарной безопасности. Выяснилось, что по местным нормам, к такому объекту должен обеспечиваться подъезд для пожарных машин с любой стороны и никого не интересует, что твой объект — это лишь кусок здания. Как реализовать это требование? Правильный ответ: снести стены с крышей в середине цеха, чтобы из одного огромного помещения получилось два, и обнести свою часть забором. И кажется вот же беда, но стоп! Мы же сами хотели физически отделиться от соседей и снести часть старых конструкций.
После таких нехитрых манипуляций получаем своё отдельное здание, с окружной дорогой, да ещё и с большим газоном по периметру, т.к. здесь с этим строго. Хочешь купить кусочек промзоны — разбей вокруг газон.
От самого здания оставили только колонны и поддерживающие фермы. Всё остальное было сломано под ноль и построено заново, включая огромные балки двутавры. Кстати, в середине строительства было решено не красить колонны, а сохранить всю наскальную роспись доставшуюся от аборигенов. Вроде пустячок, а вносит милое разнообразие в серость коридоров.
Заходим внутрь и сразу обнаруживаем такую милую сердцу каждому россиянину вещь, как проходную с вертушками и охранником за стеклом. Скажу честно, это совсем не те проходные, к которым привыкли мы, но после датиков, где вся физическая безопасность это дверь с магнитным замком, тут просто невероятный прорыв в сфере физической безопасности оборудования.
На данный момент внутри введена в строй первая очередь, т.е. один зал. Всего их запланировано четыре. Почему именно четыре, а не три или пять? Ответ прост — здание практически квадратное, так зачем мудрить, давайте его просто разделим на 4 равные части и начнём застраивать. Европейская практичность во всей красе.
Вообще, Infonet DC выглядит гигантом на фоне местного рынка. Площадь и выделенная мощность у них самая большая в стране. Главное не сравнивать с российскими масштабами и реалиями. Посудите сами — 4 МВт входной мощности у нас никого не удивят, а тут это первый подобный объект. Хотя с сертификацией пошли вполне отечественным путём: технически всё сделано по Tier-III, но из-за высокой стоимости получения сертификата, процедура отложена на попозже. Но это не помешало быть первым в стране TIER III ready датиком.
Владельцы поделились весёлой историей про особенности местных поставщиков оборудования и интеграторов в целом. Как известно всё инженерное наполнение для цодов производится силами буквально нескольких вендоров. Причём окончательный результат у них всегда одинаковый, и выбор может свестись до вкусовщины и наиболее выгодных условий, т.к., например, холод на выходе кондиционера у всех одинаково холодный. Так что, когда дошло до выбора с кем заключать контракты на поставку, вдруг выяснилось, что у одних сейчас каникулы, другие заняты, у третьих ещё что-то там, поэтому давайте мы заключим договор с четвертыми, т.к. хотя бы они хотят взять у нас деньги. Вот так вот, оказывается, живут европейские интеграторы — в них деньгами кидаться готовы, а им брать лень. Но нет худа без добра — система охлаждения, кстати, вполне инновационная и современная — Stulz CyberCool 2. Впрочем, как и всё остальное.
Итак, один из четырёх отсеков готов и чем он нас порадует?
Несмотря на внутреннюю пустоту помещений (а в новых цодах всегда хоть в футбол играй), все инженерные системы выполнены с какой-то такой очевидной любовью к своему делу, что диву даёшься. Хотя возможно это всего лишь моя необъективная любовь к красиво уложенным проводам, но личный опыт с годами вывел прямую связь между красиво проложенными трассами и уровнем грамотности тех, кто это делает.
Я никогда не думал, что комната с системой пожаротушения может быть сделана красиво. Или что силовые кабели можно так расположить на стенах, что с них хочется написать методичку по прокладке кабельных трасс внутри производственных помещений.
Кстати газ здесь использован FM200 инерген, и, как заявлено производителем, он не опасен для человека. Какое-то время. Кто не в курсе, в большинстве датиков используют более распространённые газы типа хладона 125, которые требуют удаления персонала из помещения, что может негативно сказаться на времени начала пожаротушения. Я, было, подумал, что возможно дело в их стоимости, но оказалось, что газы разные, а стоимость не особо разнится.
Другие кабели, оптические, также проложены по уму — к зданию они подходят с разных сторон и заводятся в две разнесённые телекоммуникационные комнаты, так чтобы шальной экскаватор не оставил в одночасье цод совсем без связи.
Возможно кто-то заметил, что между готовым помещением и крышей много места. Там будет размещён полноценный техэтаж для прокладки кабельных трасс и прочих техносистем.
И всё это великолепие уже осваивает смена дежурных инженеров, у которой есть интересная особенность — они все владеют тремя языками. Эстонский, русский и английский.
Итого
Отчего-то главное впечатление от посещения Таллинских дата-центров — это гордость за отечественные. Как-то у них всё по-европейски расслабленно, и от того кажется, что не серьёзно, а у нас всегда масштаб и подход. Если у нас пулемётные вышки и охрана за слоями бронестекла — это норма, то тут хилый заборчик и дверь на электронном ключе. У нас мегаватты и сотни стоек, а тут достаточно поставить три десятка шкафов и ты уже крупный игрок. Но при всём при этом, у нас главный носитель информации всё ещё бумага. Твою бумажную медкатру не нашли в регистратуре, к врачу не попадешь. В этот момент гордость начинает давать сбой...
Так вот, что я вынес для себя главного: ЦОДы в Прибалтике есть, и это не пыльные стелажи в забытых богом подвалах, а современные инфраструктурные объекты, куда не страшно привозить своё оборудование.
P.S. Olde Hansa на главной площади. Очень атмосферно, но очень дорого, но очень вкусно. Если сможете уговорить свою жабу отдать под сотню евро за ужин на двоих, то не пожалеете. Так что мой вам совет — переговоров с жабой не вести, а поставить перед фактом, что надо!
Автор: Loxmatiymamont
