Всего за пару лет поездка москвича в метро перестала быть ежедневной рутиной. Если раньше единственным развлечением в подземке были чтение книг, прессы и MP3-плеер, то теперь к ним добавились онлайн-шоппинг, просмотр сериалов, деловая переписка, даже знакомства в Tinder и квесты. А все благодаря появлению в метро бесплатной сети Wi-Fi. Порядка 80% москвичей регулярно подключаются к сети MT_FREE в метро, не задумываясь, как это работает и чьими силами это сделано. Бытует мнение, что Wi-Fi в метро “провел” сам метрополитен, но это не совсем верно. Беспроводная сеть — это проект “МаксимаТелеком”. Для компании это был первый опыт строительства высокоскоростной сети Wi-Fi с уникальными в мировой практике инженерными и техническими решениями. В этом посте мы расскажем, как организована сеть Wi-Fi в метро Москвы.
На самом деле у нас две сети...
Радиосеть внутри вагонов
Вы входите в вагон, видите стикер с названием сети или уже по привычке включаете Wi-Fi на своем телефоне. В это же время устройство подключается к сети с SSID MT_FREE. Она организована высокоплотными точками доступа, которые находятся в каждом вагоне, работают в двух диапазонах 2,4 ГГц и 5 ГГц и поддерживают стандарты 802.11a/b/g/n. Управляет ими контроллер в головном вагоне. В составе таких вагонов два, а значит, и контроллера тоже два. Все оборудование в подвижном составе, в том числе и между вагонами, соединяют кабели — витая пара.
Радиосеть поезд-тоннель
После прохождения внутренней поездной сети данные передаются на стационарную сетевую инфраструктуру с использованием радиоканала поезд-тоннель. Он устанавливается между базовой станцией, находящейся в каждом головном вагоне, и базовыми станциями, расположенными вдоль пути следования подвижного состава в тоннеле, а также на открытых участках путей. Расположение базовых станций вдоль путей таково, что поезд движется в сплошном радиополе. Благодаря этому перерывы в связи минимальны. Базовые станции на поезде размещаются так же, как и контроллеры точек доступа на каждом головном вагоне, при этом во время движения состава активна только одна из станций. Радиоканал работает в том же частотном диапазоне, что и Wi-Fi – 5 ГГц, но использует проприетарный протокол передачи данных. В отличие от оборудования внутри поезда, оборудование радиоканала поезд-тоннель можно увидеть снаружи подвижного состава и в тоннелях/на открытых участках путей.
Разрешенный частотный спектр 5150 – 5350 МГц разбит на пять непересекающихся каналов по 40 МГц каждый. На каждой линии используются все пять каналов, обычно в последовательности 1-3-5-2-4, чтобы максимально избежать влияния помех при работе соседних устройств в одном частотном диапазоне.
Сетевая архитектура
Каждая базовая станция на пути следования поезда подключена к расположенным в служебных помещениях метрополитена коммутационным узлам с помощью выделенной волоконно-оптической сети. Бесперебойное электроснабжение базовых станций также организовано с помощью оборудования, установленного в этих коммутационных узлах.
Архитектура стационарной сети передачи данных не отличается от типовой архитектуры операторов связи. Это “двойная звезда” с географическим резервированием каналов связи и ключевого оборудования. В сети есть несколько каналов связи с магистральными операторами связи, общей пропускной способностью более 60 Гбит/с.
Базовые станции подключаются в коммутаторы с использованием WDM-технологии для экономии волокон (то есть по одному волокну на разных длинах волн одновременно происходит прием и передача данных). Коммутаторы доступа имеют по два аплинка с георезервированием (кабели ВОЛС физически расположены в разных тоннелях) в коммутаторы агрегации по 1 Гбит/с каждый. Те, в свою очередь, подключены по георезервированным линиям связи в коммутаторы ядра, но уже интерфейсами 10 Гбит/с.
Хьюстон, у нас проблемы...
Технологические сложности
Для работы в метрополитене нужно оборудование:
- выдерживающее тяжелые условия эксплуатации в тоннеле (взвешенная металлическая пыль и машинное масло) и на подвижном составе (резкие перепады температур и вибрация);
- удовлетворяющее требованиям метрополитена (использовать негорючие материалы, соответствовать требованиям по электромагнитной совместимости, работать от нестандартных источников питания);
- имеющее необходимую для работы сети функциональность.
В метрополитене в подвижном составе используется постоянный ток с номинальным напряжением 80В. Однако в зависимости от состояния аккумуляторных батарей и количества разрывов в контактном рельсе реальное напряжение “скачет” от 30В до 150В.
Найти приемлемый по цене блок питания с такими параметрами нам не удалось, а стоимость подходящих вариантов делала проект нецелесообразным.
Здесь нас очень выручила компания из Новосибирска «Сибконтакт». Под наши требования коллеги изготовили блок питания, который мы успешно протестировали и в дальнейшем использовали во всех составах. Устройства оказались очень надежными, стоили недорого, а производить необходимое количество поставщик успевал за несколько недель, а не месяцев, как это происходит обычно.
Также мы столкнулись с нестандартным электропитанием в тоннеле — двухфазной сетью с напряжением 127В. Запитать оборудование, работающее от однофазной сети 220В от нее невозможно, и мы протягивали новые кабели от собственных источников питания, установленных в технических помещениях станций. Это повысило надежность сети, поскольку мы применили источники бесперебойного питания и автоматы ввода резерва.
Большие трудности вызвало и многообразие типов поездов. Это повлияло на работу по проектированию размещения оборудования локальных сетей составов — она была колоссальной. Во-вторых, при строительстве выяснилось, что почти все составы, даже одной серии и года выпуска – разные. Это связано с тем, что их постоянно модернизировали и устанавливали дополнительное оборудование. Такие работы проводились отдельно по каждому составу, а мы каждый раз оснащали поезд уникальным образом.
Серьезные вопросы возникли при радиопланировании сети. Они были связаны как с разнообразием материалов, из которых выполнены тоннели, так и с нехваткой исходной информации по их конструкции, геометрии, а также ответвлениям и препятствиям.
Мы сами полностью обследовали все тоннели — в московском метро их более 330 км, а в двухпутном исчислении более 660 км. Мы применяли определенные метрики и правила размещения базовых станций, а уже после установки и запуска оборудования в ходе эксплуатации проводили измерения радиопокрытия и уточняли оптимальные точки размещения оборудования. Некоторые базовые станции нам пришлось перенести уже после установки.
Эти трудности заставили нас вместе с коллегами из нижегородской компании «Радио Гигабит» провести научно-исследовательские работы и разработать уникальную методику радиопланирования в тоннелях, которая базируется на симуляции (математическом моделировании) канального и системного уровня транспортной радиосети в тоннелях и на открытых участках. В новых проектах мы уже не гадаем, а точно знаем, как именно расставлять оборудование для получения заданных характеристики канала.
Архитектурные сложности
Основное оборудование, формирующее радиоканал между составом и тоннелем располагается в “голове” (помним, что их две), при этом вагоны при заезде в депо в подвижных составах постоянно меняются. Сеть работает в постоянном движении, в результате которого все время меняются сетевые порты и физические устройства, через которые идет трафик одних и тех же сессий из одного состава. В связи с этим мы решали целый ряд архитектурных проблем:
- полностью автоматическая настройка сети состава при замене или изменении порядка вагонов
- распределение внутривагонных точек доступа между двумя контроллерами W-Fi в поезде
- корректное получение пользователями и оборудованием в составе IP-адресов
- “выход” трафика пользователя через правильную базовую станцию, активную в данный момент времени
- перескакивание MAC-адресов с одного порта стационарного коммутатора на другой при движении поезда (в стационарной сети такое не происходит или случается крайне редко), требующее постоянного “переобучения” сетевых портов на MAC-уровне
Отдельную проблему представлял мониторинг нашей сети. Обычные системы мониторинга сетевого оборудования неспособны отличить ситуацию, при которой состав уходит из зоны радиопокрытия от поломки оборудования состава. Это приводит к большому количеству ложных срабатываний системы предупреждений о неисправностях. Кроме того, единицей мониторинга и технического обслуживания является именно поезд (поскольку всегда надо понимать, где находится в данный момент та или иная единица оборудования и как она соединена с другими элементами сети), а на практике составы в метро — сущность динамическая, состав вагонов в которой может меняться ежедневно, а то и по два раза в день. Мы создали собственные средства мониторинга, которые автоматически детектируют появление поезда в зоне покрытия, “обходят” его, определяя состав и порядок следования вагонов и установленного в них оборудования и представляют операторам центра управления сетью данные уже в разрезе фактически действующих на линии поездов.
Это ключевые технические задачи, которые «МаксимаТелеком» решала при планировании и создании сети. Причем процесс этот продолжается до сих пор, поскольку нагрузки на сеть растут и появляются новые станции метро. Многие уроки, полученные в ходе московского проекта, мы применили при строительстве сети Wi-Fi в метро Петербурга, благодаря этому её удалось сделать гораздо более производительной и быстрой. Но об этом мы расскажем в следующих постах.
Автор: MaximaTelecom
