О наводнении мы узнали глубокой ночью от инженера, следящего за мониторингом. Базовые станции одна за другой показывали сразу каскад аварий (срабатывали чуть ли не все датчики), а потом полностью уходили из сети. Чуть позже в техслужбу начали поступать новости о самом наводнении, на место выехали два инженера из Новороссийска, так как они находились ближе всех, и у одного из них там жили родители.
Город в это время был закрыт на въезд: пускать обещали только к вечеру. Один из наших инженеров пробился в город к обеду (он поспешил к родителям), и после того как убедился, что с семьёй всё в порядке — у них, фактически, было затоплена квартира под потолок, но обошлось без жертв — начал объезжать базовые станции и сообщать что с ними произошло. Подойти удалось только к нескольким, вокруг остальных ещё находилась вода и можно было понять только то, что они были затоплены полностью.
Вот так выглядел город, когда мы приехали — и чем дальше шли, тем больше разрушений видели.
В разные моменты времени не работало сразу несколько базовых станций: несколько сайтов просто затопило по крышу, у части отрубилось питание, и они перешли на аккумуляторы, а потом отключились. Полностью вышли из строя три сайта и, что самое неприятное, из них два — транзитных, то есть те, от которых зависела работа других базовых станций. Оставшийся участок сети находился под огромной перегрузкой из-за исчерпания канальной ёмкости — был огромный пик попыток дозвониться в город и из города.
К моменту, когда нас пустили в город, вода уже сошла. Судя по следам на зданиях, поднималась она местами до 3 метров. Половина города была затоплена так, что проехать было просто нельзя. Хаоса как такового уже не было, много кто сидел по домам, охранял их. Тела уже вывезли. Света в городе не было, из-за аварий станций подача электропитания была прекращена. На выезде было много машин.
У нас на момент начала работ было 4 машины повышенной проходимости, в каждой — по готовому и заправленному под завязку генератору, плюс 12-часовой запас топлива, инструменты и оборудование для работ В каждой машине — по два человека. Оборудвание заранее комплектовалось по информации от мониторинга и находящегося на месте инженера, полная сборка и погрузка заняла несколько часов.
Нашей основной задачей было восстановление связи. С вечера до шести утра мы «подняли» в сеть все базовые станции кроме одной, её восстановили к обеду. Когда вода позволяла подойти к зданию с оборудованием, мы начинали восстановление. Где проблема была только в питании — подвозили (или тащили на руках) генераторы. Они работали по 4 часа, час остывали, а станция в это время использовала аккумуляторы.
Первой подняли транзитную БС, что вернуло в сеть ещё две незатопленные станции к которым уже подвезли генераторы, потом занялись остальными.
На трёх затопленных станциях нужно было полностью развернуть новое оборудование. Мы отключали старые блоки, ставили заранее привезённые новые (они унифицированные для всей сети) и прокидывали временную проводку до передающего оборудования (антенн). Вся проводка и всё затопленное оборудование сразу шло на списание. Где вода только касалось — позже было вывезено на техплощадку. Починить удалось только считанные единицы железа.
Работали в темноте с фонарями, в помещениях было очень много грязи и ила.
Учитывая, что помещения базовых станций были полностью или частично повреждены, нужно было охранять оборудование (по городу были замечены случаи вандализма). На каждой станции дежурил как минимум один человек (напомню, излучение от оборудования под самой антенной и через материал позволяет находиться в помещении БС хоть целый год — вот тут есть детали).
Когда рассвело, нужно было добраться до второго транзитного узла, но воды там вечером было по фары Форд-Ренджеру (самой высокой машине из наших). Утром уровень спал, и кружным путём удалось добраться до контейнера БС. Воды у самой станции было по пояс, пришлось поплавать. На входе — завал, разгребли его, зашли, оценили ущерб, перетащили на руках железо (к счастью, контейнеры монтируются на высоком фундаменте, поэтому половина оборудования осталась целая). Пока кидали новую проводку и заводили генератор, заодно повыкидывали ил и кое-как помыли полы.
Тащим оборудование утром.
Все восстанавливаемые станции сразу расширялись до максимальной конфигурации, чтобы дать возможность связи максимальному количеству людей. Ещё около суток канальная ёмкость была забита, после этого связь восстановилась в относительно нормальном режиме.
На территории Кубани действовал технический роуминг — наша сеть подхватывала все звонки тех людей, которые не могли получить доступ к сети своего оператора (такая схема используется при звонке в экстренную службу не в своей сети, например). Позже другая команда помогала поднимать 8 офисов и подзаряжать мобильные телефоны всех тех, кто приходил. По городу раздавали бесплатные карты пополнения счёта (в наших офисах и в отделениях Красного Креста), также в офисах были телефоны, по которым можно было бесплатно звонить в любую точку России и СНГ.
Вот так выглядели временные точки для бесплатных звонков — прямо на улице, взяли имеющиеся промо-стенды вместо столов и бросили кабель от генератора для зарядки телефонов.
В штатном режиме всё заработало только через неделю: восстанавливались помещения, ставились новые системы охлаждения.
В целом — это не первая авария, на которую мы выезжаем. У нас были и случаи затопления базовых станций, и много чего ещё — сама работа по восстановлению делалась чётко и очень профессионально, несмотря на масштаб. Не могу не упомянуть тех людей, с которым мы работали. Это Юрий Плакса, Юрий Руденко, Александр Костин, Николай Крот, Вячеслав Куралесов, Сергей Смирнов, Александр Бахолдин, Артем Блинник, Евгений Вожаков, Кирилл Абызов, Антон Чертогов, Евгений Юрьев, Андрей Нестеров, Игорь Туча, Дмитрий Карпенко, Семен Зуев, Геннадий Черных, Вячеслав Тихонов, Игорь Горбенко, Алексей Борисов, Владислав Кожин, Владимир Колтовской, Инесса Скобелева, Наталья Стишенко, Дмитрий Михалин, Сергей Суслов — наша команда, те, кто выезжал в город и те, кто работал на восстановлении с нами в группе удалённо. Другая команда занималась акциями в городе, описанными выше, это Александр Бугаевский, Зори Варданян, Вера Воротникова, Виктория Егорова, Валерий Зайцев, Иван Кнышев, Александр Крюков, Сергей Морозов, Дмитрий Мусаев, Александр Овчинников, Ольга Полякова, Дмитрий Рудых, Исмаил Садуки, Андрей Талалай, Дмитрий Чуприна и Олег Хитров.
Автор: YNRudenko
