Выкладывая фото со стадионов в Instagram, большинство болельщиков, присутствовавших на матчах Кубка конфедерации, и не задумывались о том, что за внешне простыми услугами стоят сложнейшие технологические процессы. Тем не менее, чтобы звонок с вопросом «ты где?», фото с футбольными звездами или даже видео опасного голевого момента отправились адресату, необходима слаженная работа аппаратно-программной системы организации мобильной связи, которой совсем не просто справляться со своей задачей в условиях массовых мероприятий.
Предлагаем заглянуть за кулисы этой «магии».
Вместе со строительством стадионов, гостиниц и других объектов, необходимых для проведения чемпионата мира (и задействованных для Кубка конфедераций) по футболу, организаторы озаботились подготовкой телекоммуникационной инфраструктуры для нужд вещателей, самих организаторов и, естественно, гостей события. При этом многие параметры необходимой инфраструктуры определялись требованиями FIFA, актуальными и для чемпионата мира следующего года.
В феврале этого года заказчик проекта — «Национальный Центр Информатизации», дочерняя компания единственного исполнителя по проекту ГК «Ростех», назначенного Минсвязи, — объявил конкурс, по результатам которого подрядчиком для развертывания телеком-инфраструктуры стала наша компания. Стоимость проекта превысила 4 млрд рублей.
О событии
Кубок конфедераций - своеобразная «тренировка» перед чемпионатом мира по футболу 2018 года. Участники — восемь сборных стран из разных уголков Земли. При этом некоторые из них — далеко не фавориты мирового футбола, поэтому (по статистике) стадионы были заполнены совсем не на 100%. Всего 16 матчей на 4 стадионах (максимальное расстояние между которыми — более 2 тыс. км) собрали порядка полумиллиона зрителей.
Очевидно, что чемпионат мира будет гораздо более масштабным событием, однако прошедший Кубок позволил оценить степень готовности основных спортивных и инфраструктурных объектов в четырех ключевых (задействованных в нем) городах: Москве, Казани, Санкт-Петербурге и Сочи.
Почему «МегаФон»?
Надо отметить, что «МегаФон» уже не раз участвовал в подготовке крупных спортивных событий. Наша компания обеспечивала связь во время жеребьевки Кубка конфедераций в 2013 году, на Универсиаде в Казани в 2016 году, Олимпийских играх в Сочи в 2014 году, чемпионате мира по хоккею в 2016 году, а также во время ряда других крупных спортивных и политических событий. Каждый раз мы реконструировали сегмент сети, обслуживающий задействованные объекты, и прилегающую к ним инфраструктуру (магистральные каналы связи, сети в гостиницах, на транспорте и т.п.). Причем крупные спортивные мероприятия не раз становились местом тестирования новых IT-проектов — повышенный интерес зрителей к событию в данном случае играет на руку развитию технологий. Так на Олимпийских играх в Сочи в 2014 году впервые заработала сеть 4G, а в рамках тестового матча с Бельгией, предшествовавшего Кубку, весной этого года была проверена первая в России активная распределенная антенная система для футбольного стадиона вместимостью 45 тыс. зрителей.
В нашу пользу сыграл и комплексный подход к организации всей инфраструктуры и взаимодействию с абонентами. Кроме того, организаторам было выгодно передать проект в одни руки, чтобы исключить проблемы взаимодействия между подразделениями разных компаний.
Информационный экран в центре управления сетью со сводкой по спортивным объектам Кубка конфедераций. Фото: bathet.livejournal.com
Однако даже для нас Кубок конфедераций стал первым проектом с настолько распределенной географией, поэтому на старте предстояло решить множество вопросов — от технических до административных.
Сам проект
По условию контракта организаторам и гостям Кубка конфедераций мы должны были предоставить инфраструктуру для услуг фиксированной и мобильной связи и техническую поддержку непосредственно во время мероприятия. При этом проект предусматривал довольно жесткие требования SLA.
Мы собрали распределенную проектную команду, куда вошли сотрудники различных региональных подразделений «МегаФона», и сформировали отдельное подразделение, которое должно было заниматься только этим проектом. Координационный центр проекта расположился в Санкт-Петербурге, работы же велись в четырех городах, принимавших матчи Кубка конфедераций, — Санкт-Петербурге, Москве, Казани и Сочи.
Многие стадионы и тренировочные базы, которые будут задействованы в чемпионате мира, реконструировались под большие потоки зрителей. Следом пришлось реконструировать опорную сеть для предоставления услуг — существующая просто не справилась бы с прогнозируемыми нагрузками. При этом с учетом взрывного роста трафика за последнее время изменения преобразования потребовались даже в Сочи, где в 2014 году уже была развернута вполне современная инфраструктура.
Проект коснулся многих операторских систем, но особенно серьезно были затронуты магистральные линии и сеть радиодоступа.
Сетевое оборудование на стадионе Санкт-Петербург
Магистральные каналы
В первую очередь мы расширили и зарезервировали существующие магистральные линии (с расчетом на почти 100% заполняемость спортивных объектов и троекратное резервирование). На базе развернутой ранее инфраструктуры в сегментах, обслуживающих объекты Кубка конфедераций, была построена географически распределенная DWDM сеть с независимыми элементами и общей длиной волоконных линий порядка 11 тыс. км. Топология сети позволяет в случае отказа части линий или оборудования оперативно перевести трафик на другие элементы.
Конечно, все эти преобразования понадобились не только для того, чтобы болельщики со всего мира могли размещать фотографии со стадиона в Instagram. Ключевая цель — организация бесперебойного ТВ-вещания в 4K-качестве со стадионов на огромные расстояния — в Международный вещательный центр, расположившийся в Санкт-Петербурге.
Для прямых трансляций из городов-участников мы сделали магистральные волоконно-оптические линии емкостью 100 Гбит/с. Дополнительно мы организовали выделенные L2 каналы и полносвязные VPN-сети.
Беспроводная связь
В рамках реконструкции мобильного сегмента мы установили порядка 1500 новых антенн, в томи числе современные распределенные системы. Одну из них совместно с Huawei мы смонтировали на стадионе Фишт в Сочи. Там мы (впервые в мире) опробовали распределенную антенную систему на основе оборудования Single DAS 2.0 (Huawei), которая отличается низким энергопотреблением и возможностью гибкого удаленного управления и позволла нам предоставлять качественные услуги голосовой связи и передачи данных в стандартах 2G/3G/4G на максимально доступной скорости.
Еще мы установили новое оборудование, которое улучшает покрытие, в том числе внутри помещений. Работы проводились на 82 объектах — не только на стадионах, но и на тренировочных базах, на транспортных узлах, в местах продажи билетов, гостиницах и т.п. (в ¾ этих объектов отдельно пришлось заниматься и улучшением indoor-покрытия). В труднодоступных местах использовались микро- и пикоБС (Small Cells), которые за счет малых габаритов проще в установке.
Преобразования коснулись не только самих задействованных в организации и проведении Кубка конфедераций объектов, но и прилегающей территории (тренировочные поля, входы, технические помещения и павильоны, парковки).
Для поддержания работоспособности сети, т.е. повышения ее пропускной способности и отказоустойчивости, в моменты пиковых нагрузок во время проведения важных матчей мы активно задействовали мобильные базовые станции — там, где было невозможно строительство стационарных БС.
Одновременно мы использовали специальные настройки сети, ориентированные на проведение массовых мероприятий и адаптированные для больших объемов голосового трафика и пакетных данных. Настройки позволяют перераспределять нагрузку между различными элементами сети, тем самым сохраняя высокое качество сервиса даже в моменты пика. Причем, в зависимости от условий, параметры могут быть скорректированы непосредственно во время мероприятия.
На некоторых объектах, например, на стадионах в Санкт-Петербурге, Сочи и Казани, развернутая инфраструктура обеспечила возможность одновременной работы нескольких операторов связи (причем с использованием стандартов всех поколений) — оборудование наших коллег было интегрировано в созданную сеть на этапе подготовки мероприятия.
Кстати, как раз на «Санкт-Петербург Арене» была создана самая сложная и мощная система, рассчитанная на нагрузку в 80 тыс. человек (не только в чаше стадиона, но и на прилегающих территориях). Ее работоспособность обеспечивают 800 различных устройств сложения сигналов и 450 антенн. Для подключения системы было проложено порядка 40 км кабелей и смонтирована отдельная аппаратная на 250 кв.м.
Развернутая система справилась с нагрузками, несмотря на то, что во время матча с участием России (Россия — Новая Зеландия) болельщики поставили рекорд, прокачав по нашей сети 3800 Гбайт (одновременно сеть обработала 11,5 тыс. часов голосовой связи).
Трафик во время матчей бил рекорды и в других городах. Для примера — сравнение голосового и пакетного трафика на стадионе в Казани, где 18, 22 и 24 июня прошли игры Кубка:
С повышенной нагрузкой столкнулись не только сегменты сети, обслуживающие стадионы, но и объекты транспорта и размещения. Предвидя это, в некоторых гостиницах мы развернули пассивные распределенные антенные системы (Passive DAS).
Замеры скорости работы сети во время одного из матчей Кубка конфедераций
Мы были вполне уверены в пропускной способности своей инфраструктуры, поэтому даже предложили гостям Кубка отдельный тариф #Hello с предоплаченным интернетом на максимальной скорости (на всех стадионах, участвовавших в Кубке, болельщики могли пользоваться интернетом 4G).
Мониторинг и поддержка
Весь комплекс оборудования и программного обеспечения инфраструктуры, задействованной на мероприятии «Мегафона» (а заодно и системы жизнеобеспечения каждого из объектов связи) мониторился в реальном времени при помощи собственного решения Life Control. Во время матчей отслеживалась нагрузка и качественные показатели мобильной связи в чашах стадионов. Одновременно обеспечивалась защита от Dos/DDoS-атак.
Отдельно стоит сказать о технической поддержке. За пять дней до начала мероприятия центр технической поддержки начал работать в круглосуточном режиме. Для оперативного приема обращений была развернута специальная автоматизированная система. Также мы организовали горячую линию для консультирования и решения технических проблем, работающую на русском и английском языках, и дополнительные пункты обслуживания абонентов.
Еще во всех городах-участниках появились оперативные мобильные бригады, в состав которых мы постарались включить специалистов, уже успевших «понюхать пороха» во время проведения Олимпиады, саммитов ШОС и БРИКС.
Результаты
Сетевое оборудование на стадионе в Санкт-Петербурге
Можно сказать, что проведенная нами работа позволила сделать Кубок конфедераций одним из самых технологичных спортивных мероприятий в нашей стране. И болельщики смогли почувствовать это на «себе».
Масштабные спортивные события уже и не представить без обсуждений, трансляций и репостов в социальных сетях. И с каждым годом объем трафика, генерируемый болельщиками (зрителями, посетителями), становится все больше: повышается качество снимков (и, соответственно, их «вес»), растет и количество пользователей, которые все чаще хотят делиться впечатлениями онлайн.
За три матча на стадионе «Открытие Арена» болельщиками (а их по официальным данным было чуть меньше 110 тыс. человек — причем, каждый третий был абонентом «Мегафона») было сгенерировано порядка 7 Тб данных. Если представить эти объемы более наглядно, то 7 Тб эквивалентны 8 миллионам селфи — порядка 72 снимков на каждого зрителя — или более 4 лет непрерывного эфира в социальных сетях.
В общей сложности за время проведения Кубка конфедераций на всех объектах события болельщиками было сгенерировано порядка 20 Тб данных и около 2 млн минут мобильных разговоров. При этом лидером по объему трафика был сервис Instagram. Прямые трансляции болельщики вели через YouTube и Facebook, а общались преимущественно через WatsApp.
Реконструкция сети позволила нам дополнительно провести несколько интересных проектов. Так, совместно с оператором фискальных данных OFD.ru мы создали «умные» кассы с SIM-картами «МегаФона», позволяющие болельщикам сэкономить время при покупке товаров на стадионе за счет быстрых расчетов и возможности продавца с терминалом перемещаться по объекту (то есть по сути товар пришел к болельщику — а не болельщик тратит время в очереди за товаром). Сеть работала бесперебойно, соответственно, и «умные кассы» не создавали дополнительных проблем болельщикам и продавцам.
Еще во время Кубка конфедераций мы провели «боевое» тестирование VoLTE (эту опцию с конца апреля 2017 можно бесплатно подключить на iPhone). С LTE вообще связывают большие надежды в отношении будущего чемпионата мира. Доля смартфонов с поддержкой LTE у болельщиков скорее всего увеличится, соответственно, можно будет серьезно разгрузить сеть 3G. Это позволит сохранить работоспособность сети даже в случае превышения заполнения стадионов.
В целом проект оказался весьма успешным. И лучшее тому доказательство — не только многочисленные благодарности организаторов и приемных комиссий, но и отсутствие жалоб на связь со стороны российских и зарубежных болельщиков как из России и бесперебойные трансляции матчей в высоком качестве.
Впереди — работы в оставшихся семи городах, которые будут принимать гостей чемпионата мира по футболу в следующем году. Уже в ближайшее время мы объявим конкурсы на поставку оборудования и начнем работу по усилению команд на местах специалистами, уже получившими опыт на Кубке конфедераций.
Во время чемпионата мира мы такие планируем дополнительно провести тестирование стандарта 5G.
Автор: «МегаФон»
