Представьте себе человека, ночью выбегающего с криками из офисного центра и начинающего ломать бордюр. Женя раскачал камень ногами, оторвал его и занёс на руках назад в здание.
Этим наш дорогой коллега решал одну ИТ-проблему. Дело в том, что мы оснащали серверный узел в здании (маленький ЦОД на 20 стоек) серверами. Во время работ фальшпол начал гнуться — медленно так, с треском и вообще как в фильмах ужасов. Это оттого, что рядом поставили блоки ИБП, по 20 килограмм на юнит. Не проверив допуски.
Чтобы не было эффекта домино, Женя принял решение повытаскивать батарейные блоки. Это не особо помогло. Но с помощью бордюрного камня удалось чуть замедлить процесс. Ещё через час приехала команда подрядчиков, строивших этот ЦОД, с примерно 30 домкратами из автомагазина для ремонта. Три недели переделывали, только потом мы смогли продолжить.
В общении с иностранными коллегами мы описываем это как surprisingly amazing. Со своими есть более точный термин — «клоунада».
Кондиционеры
До того, как начать работать как ключевой ПМ в крупных интеграционных проектах, я работал в аутсорсинге. Наши команды пополам с инженерами стояли на страже реальности и здравого смысла. В смысле мы были чаще всего второй или третьей линией ИТ-поддержки там, где нет своих ИТ-специалистов.
До третьей линии может доехать только реально интересная заявка.
Пример. Ломается кондиционер на серверном узле одной крупной компании. Начинает расти температура в помещении. Бегают потные люди в пиджаках и очень нервничают. До термал шатдауна остаётся около трёх часов. Оборудование выключать нельзя — инструкция сверху. Кажется, на нём считается что-то важное для государства.
Несёмся в магазин, возвращаемся с кучей «пингвинов» (напольных кондиционеров), в это время ещё двое берут болгарку и делают из стены новую дверь сразу наружу. Мы прибегаем с кондеями, бросаем рукава — начинаем гнать холод. В тот раз пронесло.
Более частый случай, наверняка знакомый каждому в аутсорсинге, выглядит так: условно 6 лет назад поставили кондёр. Он сломался. Приходишь к вендору, вендор говорит: уважаемые коллеги, нам вас искренне очень жаль, но такого кондиционера не существует в природе. У нас нет сервиса, запчастей, и вообще мы хотим это развидеть. Находим телефон мастера по ним не от вендора. Он говорит: ок, давайте запчасть, надо менять узел. Запчасти нет — смотри рисунок 1. Да, мы очень далеко от Москвы. В итоге три человека в пиджаках реально разбирали кондиционер руками. На следующий день мы нашли контору, которая ремонтирует моторы, два дня меняли обмотку, дальше совместно монтировали. При первом запуске снова сожгли, потому что не наша тема вообще — не записали всю цветовую кодировку, а только одну сторону. А на ответной части она другого цвета. Мне до сих пор стыдно. Коротнуло. Повторили ту же операцию. Шесть дней была открыта серверная, стоял охранник на входе и дежурил, чтобы никто не пролез. Зато починили, иначе бы там всё встало. После таких случаев чувствуешь себя странно — вроде и спас заказчика, и он счастлив, но как-то всё не так.
Через год история повторилась почти один в один: приехали на объект смотреть софт, а там навернулся кондиционер. Но мы уже всё сделали без КЗ.
Грузчики
Поставка оборудования в одно крупное учреждение утром в субботу — отправили грузчиков. Звонок:
— Здравствуй! Ты кого мне прислал?
— В смысле? Железо верное же?
— Железо верное.
— А в чём дело?
— А заносить кто будет?
— Так там же грузчики?..
— Мы у них документы проверили. Всё, нет больше у тебя этих грузчиков. Нашёл куда нелегальных мигрантов слать.
Руководитель логистической компании очень обижался потом и говорил, что идиоты тут мы, потому что неверно сформулировали техническое задание.
Коммуникации
После одной истории у меня до сих пор сохранилась привычка читать маркировки труб. Дело в том, что у них прямо через машзал шла неприметная такая тёмная труба. Ну идёт и идёт, чёрт бы с ней. А потом её прорвало. Оказалось, это не просто коммуникация, а очень важная коммуникация — фановая труба. Что ещё хуже, её фановое содержимое вытекло на машины IBM Z-серии (IBM eServer zSeries). Очень хочу отметить, что они для таких условий эксплуатации не предназначены. Но инженеров IBM всё же вызвали. Как всё это чистилось и как эти машины до сих пор работают — это целая группа баек, которые до сих пор ходят по рынку. Жаль, коллеги это в рекламу включить не могут.
Второй известный случай был уже в другой компании. Там китайцы строили что-то этажом выше в большом здании. На первых этажах офисы, выше живут люди. И вот китайский подрядчик случайно расколол ванную. И залил в хлам весь офис внизу. Естественно, ванная комната была ровно над серверным узлом.
Фауна
Одни коллеги рассказывали, что у них довольно много оборудования и везде лежит очень вкусный кабель… Для крыс. Надо постоянно смотреть, что именно было прогрызено. Один раз мы разбирали коммуникации перед приёмом площадки. В современных ЦОДах крысам жить особо негде, а вот в старых зданиях нет-нет да найдутся. И довольно здоровые.
Очень много проблем у них было с птицами на дальних объектах — всё то, что блестит, притягивает их внимание. Они часто склёвывают разные детали радиооборудования. Слышал, в Москве монорельсовая дорога испытывала подобные сложности: высоко, блестящая, они её покрывают ровным слоем удобрений.
Поставка СХД
Поставляли 2 системы хранения данных. В ценах это было 190 миллионов рублей за две стойки. Их заносили через улицу. Разгрузили на паллетах. Чтобы занести в серверное помещение, надо было открыть с улицы дверь. Безопасники, естественно, всё заперли и не пускали. Отдавали ключ долго. А снаружи зима. В окно наблюдаем прекрасную картину: подходят парни в оранжевых спецовках на крышу и начинают с неё сбрасывать наст. Прямо на паллеты. Безопасников это как-то сразу убедило.
Выезды
Был у меня один коллега, который пришёл с утра в офис в шортах. В это время на севере у нас кое-что потребовало замены. Его каким-то чудом уговорили слетать на денёк до вечера: утром туда, починить, потом сразу обратно — и к позднему ужину уже дома в Москве. Туда он долетел нормально, а там ударила снежная буря. Две недели сидел без белья, без зубной щётки, без нормальной суммы наличных. Ему продлевали гостиницу, закидывали денег на карту на еду. Думаю, каждый из нас так застревал, но ему по неопытности повезло меньше всех. У нас заранее собранные чемоданчики для выездов есть.
В одном южном городе нас не пустили на объект в субботу. Мы согласовали даунтайм, дождались конца недели, должны были прийти и кое-что перепрошить. А нас просто не пустили в здание. Оказалось, что там были ремонтники, которые ремонтировали это здание. На выходных они оставались внутри. За неделю до даунтайма один из них напился и зарубил двух своих собутыльников топором. Руководство приняло управленческое решение: чтобы не допустить повторения трагедии, запрещено находиться в здании в выходной день.
Скворечник
Возвращаясь к истории про фальшпол и бордюрный камень: через несколько лет встретили немецкое решение для изолированных ЦОДов в старых зданиях. Они делают фундамент, потом металлическую опору до нужного этажа (у нас был третий) и на ней монтируют платформу с ЦОДом в контейнере. Получается основание до земли со своим фундаментом. Даже если здание разрушится, «скворечник» останется. Почему вспомнил: знаю я одно здание, которое сначала кое-кто купил, а потом понял, что надо все колонны арматурой обвязывать и новые опоры добавлять, чтобы можно было ЦОД поставить.
Мониторинг температуры
Вот история, где прекрасно всё. Итак, здание. В нём не было централизованного мониторинга по температуре. После проблем с кондиционерами начали смотреть. Но как! Была дежурная смена. Такие женщины — задача была увидеть проблему и сообщить. Они ходили с чеклистом и проверяли всё оборудование. Смотрели за утечками жидкостей, записывали показания термометров. Раз в час обходили серверные помещения. Руководство ждало внедрения мониторинга. А у нас один инженер часто ночью оставался. Очень спортивный мужик. Так вот, он ходил в кроссовую делать зарядку, там было просторно, но жарковато. И вот 4 утра. Полуспящая пожилая женщина с блокнотом в руках открывает дверь кроссовой, а ей навстречу прыгает полуголый мужик с криком: «Кия!»
Возвращаясь к особой атмосфере русских ИТ
Дискеты изобрели в 1967 году. В 71-м вышла первая коммерческая партия. 8-дюймовых. В 76-м появились 5,25 дюйма. В 81-м — привычные нам 3,5 в жёстком конверте. В 2011-м Sony (крупнейший производитель) полностью прекратила выпуск дискет. В 2014-м Toshiba перепроектировала завод по выпуску дискет в овощную ферму. В 2016 году Пентагон заявил о прекращении использования восьмидюймовых дискет. Сейчас на дворе 2018 год, и у нас на пороге зимой появился заказчик, который спрашивал, будет ли при переезде в облако в этом самом облаке дисковод 5,25. Мы могли бы посмеяться, но он до этого подробно расспросил нас про совместимость нашего объектного хранилища с Amazon S3 API и задал правильные вопросы про инфраструктуру. Поэтому мы очень аккуратно поинтересовались, чем вызван такой вопрос.
Они использовали очень старый софт. Ему нужен был ключ на дискете. Ещё до появления Facebook они сделали несколько ключей на этих дискетах, купили дисководы и постарались как можно реже перезагружать сервер. На случай выхода из строя этой системы у них был ISO дискеты, но на попытки его подмонтировать система плевалась. Мы было решили, что дело в записанной ценной информации в резервную область (так иногда делали защиту в те годы), но нашли правильные драйвера и презентовали ISO виртуальной машине. Запустилось. Теперь дискета никогда не сломается, а софт продолжит работать, завёрнутый в два гипервизора.
Автор: Raspertov
