Мы с коллегами подумали: почему бы перед любимым хоррор-праздником вместо успехов и интересных проектов не вспомнить всякие ужастики, с которыми сталкиваются люди в цодостроительстве. Итак, выключите свет, включите тревожную музыку, сейчас будут истории, от которых мы до сих пор иногда просыпаемся в холодном поту.
Призрак офиса
В одном офисном-офисном здании делали мы серверную, да всякую автоматику для климатических систем, в том числе — шторки с приводами. На крыше стоит метеостанция, определяет, с какой стороны солнце светит, и прикрывает шторки, если слишком ярко. Объект сдали и забыли, через некоторое время звонят, спрашивают:
— А вы не могли бы шторы обратно разавтоматизировать? Мы хотим все сами закрывать.
— Почему?!
— У нас уборщицы пугаются. Да и мы тоже — такое ощущение, что там призрак.
Именно так выглядит страшный сон спеца по автоматике: сначала заказчик хочет автоматику и энергоэффективность, ты ему это все радостно делаешь, а потом выясняется, что руководитель любит руководить сам. И в комнате, где полностью автоматизировано управление климатом, в итоге все работает в ручном режиме.
Мы в кабинетах всяких топов часто делаем тач-панель с которой можно управлять сценариями освещения, кондиционером, вентиляцией, шторками. Один особо консервативный топ сказал: не хочу алгоритмы, хочу две кнопки: «включить все» и «выключить все». Приезжал программист, плакал, убирая стандартный интерфейс управления, рисовал вместо него две кнопки и уезжал плакать домой.
А где у нас дизеля?
Темной-темной ночью, в темной-темной комнате техмена Олега зазвонил мобильник.
— У нас тут в дизельной установке температура охлаждающей жидкости слишком большая. Сейчас принтскрин пришлю.
То был диспетчер ЦОДа, который мы месяц назад с чистой душой сдали. Его не смутило ни то, что на дворе три часа ночи, ни то, что система показывала одну и ту же «температуру» в дизеле и в помещении. Потому что это была вообще не температура, а код ошибки «нет связи с датчиком». Олег честно сказал диспетчеру, куда ему стоит отправиться в ночи с такими запросами. Буквально:
— Сходи к дизелям, посмотри, скорее всего, в датчике просто батарейка села. Батарейный модуль в дизелях питает эту панель управления, там есть рубильник — если кто-то из ваших его трогал, его нужно повернуть обратно.
Вообще диспетчер — это как раз тот человек, который должен знать объект как опытный фрезеровщик свои три пальца, но тут прозвучал удивительный вопрос:
— А дизеля — они где?
— Поднимись на второй этаж, спроси у электриков, они тебя отведут.
Следующие 20 минут Олег удаленно работал навигатором, пытаясь свести диспетчера и электриков, которые не очень-то хотели устраивать кому-то экскурсии посреди ночи.
Круговорот звездюлей в ЦОДе
В тридевятом царстве, тридесятом государстве накрылся у нас как-то частотник на чиллере. Аккурат за три часа до прохождения сертификации в Uptime Institute. Долго сказку сказывать, что такое чиллера да частотники, если не знаете. Так что просто поверьте: они должны работать, как куранты, иначе сертификация превратится в тыкву, а заказчик — в злую мачеху. И, самое обидное, будет прав, ведь за визит комиссии бешеные деньги берут, и если что-то пойдет не так, никто их обратно не вернет.
Примчался сервисник вендора, развел руками и сказал, что пациент скорее мертв, а ждать новую плату не меньше месяца. Комиссия уже на пороге, выходов немного. Первый — открутить частотник со «здорового» чиллера и поставить на «больной», а потом менять местами пока испытания не закончатся. Это не читерство, если что: по регламенту тестирования все равно один из трех чиллеров резервирующий, поэтому сценарий вполне рабочий. Второй выход — попробовать найти новый частотник за оставшиеся полтора часа. Позвонили нашему холодильщику в Москве. Холодильщик набрал знакомому внутри российского представителя вендора. Тот, в свою очередь, надавил на представительство производителя в Голландии и… через полчаса нам уже прикручивали новую плату. Сертификация прошла на ура.
Недоделки
Долго ли, коротко ли, но на стройке всегда наступает момент, когда уходят все субчики и остаются они: недоделки. Это про незавершенные работы, а не про тех, кто их оставил, если что. Кто последний — тот и разгребает.
Делали мы как-то ЦОД в подвале: стойки в два ряда, выровненные по одному из краев, чтобы дверь открывалась. Из-за этого между одним рядом и стеной образовался зазор, и заказчик из-за этого зазора отказывался акт приемки подписывать. Техмен с менеджером проекта с утра пораньше гоняли в «Леруа» за пенопластом, краской, крепежами и добросовестно заделывали зазор, чтобы был в тон со стойками. Сдали.
А однажды после ухода смежников по отоплению, обнаружилась в проекте нестыковка: радиаторов должно быть 7, а их 6. Сходили, посчитали — все верно, они действительно не дотянули в коридор один радиатор. Пить «Боржоми» поздно, все уже смонтировано и опрессовано. Заказчик посыпает голову пеплом, потому что акты-то уже подписаны. Снова спас «Леруа» — купили там электрообогреватель, дотянули в коридор группу кабелей и в воскресенье утречком смонтировали сами, заказчик счастлив.
Еще нам однажды оставили волшебное ничто вместо противопожарной перегородки. В ЦОДе воздуховод приточной вентиляции со второго этажа идет в подвал, через комнату, которая по противопожарной классификации относится к другой категории, чем те, что над и под ней. На практике это значит, что в воздуховоде должен быть огнезадерживающий клапан, а вокруг него — противопожарная перегородка. Вокруг нашего сияющего воздуховода с огнезадерживающим клапаном была дыра, угадайте, кто и как ее заделывал? «Леруа Мерлен» не спонсировал этот пост, а жаль.
Дейл Карнеги нервно курит
Давным-давно, когда трава была зеленее, а доллар был по 30 с чем-то, делали мы ЦОД для одного банка в историческом центре Москвы. Уложиться нужно было в крайне сжатые сроки. Но улочки там узкие, проемы у здания тоже, поднять несколько тонн оборудования на нужный этаж по лестницам — практически невозможно. Сказали заказчику, что надо грузить краном прямиком на крышу, заказчик ответил в духе «ты ковбой — ты и прыгай». Ну то есть хорошая идея, а теперь согласуйте приезд 120-тонного крана с инстанциями типа ГИБДД. И желательно еще вчера. Удачи в начинаниях, не успеете — штраф.
Ситуация патовая, время поджимает, и мы решили рискнуть, в конце концов, штрафы ГИБДД по сравнению со штрафами за несоблюдение сроков — просто цветочки. Субботним утром пригнали 16-метровый кран, надеясь, что успеем сделать все быстро. Спустя пару часов приехал участковый и робко спросил разрешение. У нас его, конечно же, нет. И неизвестно, как бы все закончилось, если бы при нас не оказался продажник с незаурядными дипломатическими способностями.
Он отвел участкового в сторонку, 5 минут ему что-то объяснял, полисмен за это время несколько раз изменился в лице, но в итоге сел в свой уазик и крикнул, что, если что-то случится, он сам приедет и нам поможет. Что там были за аргументы, продажник до сих пор не колется.
Поднимите мне, человеки!
За горами, за полями, но в пределах Третьего транспортного, стояла …нет, не избушка, а вполне себе серьезная правительственная стройка. Сложная ночная смена, отгружаем оборудование. Последний грузовик с 15-тонной железкой в кузове выезжает на единственный на территории перекресток, что-то с громким звуком лопается, и махина садится дном в грязищу. 5 утра, стройка понемногу оживает, водитель бетономешалки позади нашего грузовика, поминая падших женщин, недвусмысленно интересуется: не изволим ли мы убраться с дороги? У него, дескать, бетон стынет. А мы бы и рады, потому что в 7 утра приедет один из многочисленных замов одного из министров и, если увидит это безобразие, прилетит всем: от инженеров до топов.
Техмен бежит к местному крановщику, слезно просит приподнять из кузова железку, чтобы мы смогли под нее другой грузовик подсунуть. А тот ни в какую, даже за деньги. Ситуацию исправил наш инженер — договорился через руководителя того крановщика. Железяку мы все-таки довезли куда надо, но уже немножко седые.
А потом стали множко седые, на том же объекте. Случился эпикфейл в самом буквальном смысле.
Есть такая штука: телескопический вилочный погрузчик. Его используют, когда на стройке развернуться негде, а груз нужно поднять наверх и аккуратно поставить. Нам с его помощью нужно было через яму разгрузить 1,5-тонный модуль в окно. Ничего не предвещало: по спецификации машина должна была выдерживать 2 тонны с гаком. Но когда до окна оставалось ровно полметра, «вилочки» у погрузчика обломились, и железка навернулась с высоты. Делать нечего — звоним производителю, чтобы приехал, провел восстановительные работы. Их сервисники приехали и… отказались заходить на стройку. Потому что идти туда надо было по тропинке, а на тропинке стоит экскаватор и копает. Мы-то привычные: выждал 10 секунд, пока стрела повернута в противоположную от тропинки сторону, и побежал. А ребят это шокировало. Пришлось преподнести эту особенность как увлекательный аттракцион, эдакий «Форт Боярд», и модуль они нам таки починили.
Немгновенная карма
Скоро сказка сказывается, да нескоро дело делается, особенно когда речь заходит о подписании актов приемки-передачи выполненных работ. Построили мы как-то отличный ЦОД для одной компании. Но решил царь-батюшка-заказчик устроить нам последнее испытание:
— У вас в спецификации написано 100 гаек на лоток, а я насчитал 97. Исправляйте спецификации и сметы или я ничего подписывать не буду.
И отправлялись мы каждый раз за тридевять земель, и считали с царем-батюшкой хором то крепежи для воздуховодов, то гайки, то болты. Каждый раз оказывалось, что не 97, а 99 и т. д. И не было нам покоя. В итоге накатали столько внутренних затрат, что наше начальство не выдержало. Сказали: пусть делают, что хотят — больше туда никому не ездить. Так и остались без подписей.
…А через год заказчик приходит сам и вежливо-вежливо спрашивает, где б ему расписаться? Оказалось, пришла счетная палата, а у него неучтенного оборудования на сумму с семью нулями.
Вингардиум левиоса!
Жил да был один хороший заказчик, и решил он себе купить старое здание под ЦОД. Только недолго его радость длилась: неладное начало происходить в аккумуляторной. Позвал он тогда нас на помощь, на диво-дивное посмотреть да проконсультировать. Приезжаем в гости, заходим в аккумуляторную, а там… стены над полом левитируют с трех сторон. Еще бы: 4 тонны АКБ просто поставили на пол — он и начал под землю уходить. Это с аккумуляторами частая проблема: важно правильно рассчитать нагрузку на конструкции и предусмотреть разгрузочные рамы, чтобы перекрытия как карточный домик не сложились.
Но вишенкой на торте архитектурного кошмара в этом здании было полное отсутствие фундамента. Стены тупо стояли на песчаной стяжке, под которой — не самый дружелюбный грунт. Стали думать, как спасать пациента, в итоге предложили сложную систему силикатизации: это когда грунт бурится в нескольких местах и туда нагнетается укрепляющий раствор. На прежние высоты пол это не вернуло, но хоть проваливаться перестал.
Битва двух йокодзун
В некотором царстве, в некотором офисном государстве, делали мы диспетчеризацию: для дата-центра на одном из этажей, для управления климатом — для всего. Десятки шкафов автоматики, километры слаботочного кабеля!
Особенностью того офиса был собственный SPA-комплекс с сауной. Когда мы разрабатывали проект, предполагалось, что пользоваться парилкой будут нечасто. Но инженер предполагает, а заказчик располагает: руководящий состав так втянулся в ЗОЖ, что сауну на всякий случай перестали выключать вообще — слишком долго прогревается.
Итог: автоматика детектит повышение температуры от сауны — включает кондиционер посильнее, чтобы скомпенсировать. Помогает так себе. Кондиционер продолжает надрываться — атмосфера накаляется, потому что автоматика не подозревает, что кто-то может столько париться. Кондей впадает в паранойю, решает: «Дело не в них, дело во мне. Все усилия напрасны. Кажется, я сломан», — о чем и сообщает на пульт диспетчера. Диспетчер вздыхает и жмет кнопку «задача снята». И так каждый божий день.
Легким движением руки
Много еще в закромах у нас историй, да не все они тут поместятся. Вот три последних сказа: про кривые руки.
Сказ первый про то, как мы в одном здании помимо серверной делали подпор воздуха в лифтовые холлы и шахты. Сделали, ушли с объекта, подождали, пока другой подрядчик закончит отделочные работы, вернулись на испытания системы. Запускаем подпор — фальшпотолок резко надувается, плиты с грохотом вылетают на пол и всё за секунду дизайнится в стиль «лофт». Оказалось, ребята, которые потолок монтировали, забыли положить плиты с перфорацией для воздуха. Они вообще не догадались об их существовании, просто брали из открытой пачки — и всё, на упаковку с перфорированными внимания не обратили, в проект не смотрели.
Эпос второй тоже о потолке. В одном ЦОДе был довольно узкий коридор, а воздухообмен в помещении со стеллажами АКБ должен был быть неслабым, поэтому вдоль всего потолка шли коммуникации. Добры молодцы, делавшие фальшпотолок, не стали заморачиваться и…вкрутили крепежи подвесов прямо в наши несчастные воздуховоды. Любой воздуховод и так немножко вибрирует при работе вентустановок, а когда в нем куча дырок и неровностей, звуки Апокалипсиса вам обеспечены. Отвесили мы славным витязям-монтажникам тогда таких живительных люлей, что раны на воздуховодах чудесным образом затянулись. За их счет, разумеется.
Третий сказ случился, когда мы делали автоматику для системы технологического кондиционирования. Вручили мы подрядчику заказчика температурный датчик и без задней мысли попросили поставить его на калорифер в приточку. В приточных установках всегда есть нагреватель для уличного воздуха: либо водяной, либо электрический. Этот чудесный человек выполнил все беспрекословно. То есть взял и вкрутил саморез прямо в трубку водяного калорифера, со всеми отсюда (в прямом смысле) вытекающими. Хорошо, что на объекте были кондиционерщики с МАПП газом — течь быстро спаяли.
Ссылки:
- Байки «инженерного спецназа»
- Романтика дальних инженерных выездов
- Ветер, саранча и дедлайн: как мы строили электроподстанцию
- Писать если что сюда: build@croc.ru
Автор: SMakhlin
