Как мы обслуживали ИТ-инфраструктуру “Лужников” во время Чемпионата мира

Мне довелось участвовать в проекте по созданию инженерной и ИТ-инфраструктуры Большой спортивной арены «Лужники». Работы длились несколько лет и завершились сопровождением внедренных нами решений во время проведения Чемпионата мира по футболу FIFA. Под катом — о том, как мы внедряли и обслуживали HD Wi-Fi на крупнейшей спортивной площадке страны, с какими проблемами столкнулись и как нам помогали миникомпьютеры Raspberry Pi.

Источник

13 ноября 2017 года

Главная новость дня: На БСА Лужники будет две сети Wi-Fi для болельщиков, а не одна. Сейчас точки Wi-Fi для болельщиков установлены только в скай-боксах и подтрибунном пространстве. В 2014 году, когда началась реконструкция, на трибунах стадиона заказчик решил Wi-Fi не строить, поскольку данный посыл присутствовал в требованиях FIFA в форме скромного пожелания. Теперь у заказчика есть официальное письмо за подписью ИТ-директора FIFA Дика Вайлза (Dick Wiles). Суть письма заключается в том, что теперь HD Wi-Fi на трибунах стадиона – это не мягкая просьба, а жесткое требование. Не очень понятно, что теперь с этим делать. Закупленные в 2014 году и установленные согласно проекту точки доступа и контроллеры Wi-Fi HPE ушли в такой end-of-sale, что расширить сеть на существующих контроллерах нет никакой возможности. Будем строить на Лужниках еще одну Wi-Fi сеть. В идеале решение должно пройти опытную эксплуатацию 23 марта 2018 года, на тестовом матче Россия-Бразилия. На 100% все должно работать 14 июня, на церемонии открытия Чемпионата мира по футболу FIFA.

15 ноября 2017 года

Поскольку это не первый проект «ЛАНИТ-Интеграции» по строительству HD Wi-Fi на стадионах (о первом проекте можно прочитать тут), уже понятны основные моменты, на которые стоит обратить внимание.

1. Все клиенты должны пройти аутентификацию перед получением доступа в Интернет.

   Если речь идет о гостевом доступе в Интернет в общественном месте, это требование российского законодательства. Наиболее понятный способ решить вопрос – предложить абоненту сообщить свой номер мобильного телефона в обмен на получение одноразового пароля по SMS.
2. Точки доступа будут стоять не там, где это оптимально, а там, где разрешат.

   Точка доступа может висеть на стадионе только при одновременном соблюдении трех условий: а) не заслоняет обзор; б) руками не дотянуться; и в) можно подвести «витую пару». Как только план расстановки точек доступа попадет на согласование людям, ответственным за общественный порядок, в случае несоблюдения хотя бы одного из условий точку демонтируют, а любые доводы типа радиообследования, рекомендаций вендоров и т.д. будут трактоваться как отговорки в пользу бедных.
3. Всегда есть жалобы на работу Wi-Fi, с которыми непонятно что делать.

   «Что-то я слишком долго скачиваю файл через WhatsApp». «Вчера моя девушка была на стадионе и не смогла подключиться». Крайне редко претензия содержит сведения, хоть как-то помогающие в работе. В разгаре матча совершенно без толку уточнять у человека MAC-адрес телефона, просить прислать скриншоты и т.д. Если мы не хотим бегать по стадиону в бесконечных попытках проверять качество работы HD Wi-Fi, надо придумать, что делать с подобными обращениями.
4. Трудно объективно понять, насколько хорошо работает HD Wi-Fi на стадионе.

   Абонент может быть недоволен качеством Wi-Fi из-за кучи «плавающих» вещей, которые даже неподконтрольны тому, кто занимается обслуживанием ИТ-инфраструктуры объекта. Может не прийти SMS-код из-за глюков телефона, загруженности сотовой сети или сбоя на стороне SMS-оператора. Возможны задержки открытия web-страниц из-за проблем на стороне операторов связи, или хостинг-провайдеров. Человек банально не поймет, как подключиться… Качества сигнала и отсутствия помех в беспроводной среде передачи данных по определению никто не гарантирует.

Антенна WiFi на стадионе. Обратите внимание, что она находится за стеклом, что несколько ухудшает качество сигнала, зато физически защищает антенну от болельщиков.

15 декабря 2017 года

Заказчик принял окончательное решение, что вторая сеть Wi-Fi на стадионе будет строиться на оборудовании Cisсо Systems. По самым предварительным расчетам, на трибунах стадиона надо повесить порядка 500 точек доступа. Инженеры Cisco предлагают делать проект на контроллерах AIR-CT8510-500-K9 и на точках AIR-CAP3702E с антеннами AIR-ANT2513P4M-N= и AIR-ANT2566D4M-R=. Если мы сегодня же закажем оборудование, оно придет минимум через полтора месяца, то есть 1 февраля. А 23 марта – тестовый матч. Сроки крайне сжатые, так что контроллеры решили заказывать сразу. Для мониторинга инцидентов ИБ было решено добавить в состав решения и тоже сразу заказать пару NGFW на базе МЭ Fortinet в разрыв между нашей сетью и сетью оператора связи. Заказывать точки доступа и радиоантенны пока стремно, ибо мы смутно представляем, сколько точек нужно и куда их вешать. Надо срочно начинать радиообследование.

Источник

18 декабря 2017 года

Оказывается, во время Чемпионата мира на стадионе будет даже не две сети Wi-Fi, а три. Еще одна независимая беспроводная сеть (на отдельных контроллерах) будет развернута FIFA для собственных нужд и нужд работников средств массовой информации. Поскольку сеть FIFA частично затрагивает подтрибунное пространство стадиона, в некоторых помещениях существующие точки доступа Wi-Fi HPE должны быть временно отключены, а еще лучше – демонтированы. В остальном это не влияет на ход нашего проекта.

20 декабря 2017 года

Определились с тем, куда концептуально будем вешать точки доступа на трибунах стадиона. Рассматривались четыре варианта: ходовые мостки кровли, под сиденья, по периметру секторов (на перила ограждения, порталы для выхода на трибуну) и под трибунами, в надежде, что радиосигнал пробьет плиту перекрытия (экзотический путь, но реализованные таким образом проекты в мире есть).

Первым отпал вариант пробивать плиту перекрытия: померили затухание сигнала в диапазоне 2,4 ГГц при сквозном прохождении плиты. Оно составило -80dBm, и это похоронило решение.

Теперь пришла очередь отказаться от размещения под креслами, т.к. вариант подразумевал значительно больше точек доступа (порядка 800) и требовал практически изрешетить армированные бетонные плиты толщиной 1 м сотнями технологических отверстий для подвода кабеля, которые не понятно, как гидроизолировать.

Наиболее соблазнительно смотрится монтаж на кровле: прокладывать кабель по ходовым мосткам куда проще, тем более что там даже есть оптика и климатические телекоммуникационные шкафы. Но и тут не судьба: среднее расстояние от ходовых мостков кровли по прямой до трибун стадиона «Лужники» составляет порядка 40м при проектной норме максимум в 20м для HD Wi-Fi.

Остается единственный вариант – раскидывать точки по периметру секторов стадиона. Это означает неизбежную неравномерность радиопокрытия плюс проработку решений по защите от посягательств на оборудование со стороны гостей. Других способов выполнить требования FIFA попросту нет.

25 декабря 2017 года

Мы разделили трибуны стадиона на типовые сектора и провели радиообследование одного типового сектора. Для обследования мы попросили у Cisco Systems на тест точки АIR-CAP3702E с антеннами, которые предлагал вендор. По итогам обследования удалось наметить способы крепления оборудования. Чтобы болельщики не могли дотянуться до точек доступа, нужны специальные монтажные кронштейны. Придется делать их на заказ, причем ожидается несколько типов кронштейнов, в зависимости от типовых мест установки точек доступа. Еще нам нужны монтажные боксы, т.к. предоженные вендором точки доступа не являются вандалостойкими, а вандалостойкие точки доступа Cisco для HD Wi-Fi стоят значительно дороже и точно не появятся на объекте к матчу Россия-Бразилия.

28 декабря 2017 года

Проектировщики получили результаты радиообследования одного сектора стадиона и по этим данным нарисовали задание на подвод кабелей СКС по всем секторам. Определились с требуемым количеством точек доступа – 430 штук. Это позволило начать закупку точек, выдать задание производителю кронштейнов и монтажных боксов, а также прикинуть, в каких кроссовых нужно установить дополнительные коммутаторы доступа, чтобы иметь возможность подключить наши точки доступа. Уже понятно, что для проекта нужны 12 разных типов монтажных кронштейнов. Закупку кронштейнов пока придется ограничить пилотной партией, так как сперва заказчик должен увидеть решение в натуре и убедиться, что точки доступа никому не мешают. Спецификацию на коммутаторы доступа, антенны и точки Wi-Fi отдали в заказ в полном объеме. Если заказанное оборудование придет в конце февраля, у нас будет всего месяц до начала тестового матча.

Фрагмент монтажного чертежа одного из используемых на стадионе кронштейнов

15 января 2018 года

На стадионе холодно, но сильных морозов нет, и это позволяет нашим монтажникам в 2 смены тянуть кабели к местам установки точек доступа. Приехали первые пилотные образцы монтажных кронштейнов. Поскольку точки доступа еще не привезли, пилотный монтаж решили делать с использованием оборудования, ранее взятого у Cisco Systems для проведения радиообследования.

Тем временем инженеры вовсю заняты проработкой решения SMS-аутентификации абонентов. За это должна отвечать отдельная подсистема. На рынке есть несколько производителей ПО и операторов связи, у которых можно эту подсистему купить – либо как ПО, либо как сервис. Мы остановились на продукте под названием WNAM от ООО «Нетамс», который работал у нас на стадионе «Открытие Арена».  Вот как все это должно в общих чертах выглядеть.

Общая архитектура системы

WNAM взаимодействует с контроллерами Wi-Fi по протоколу RADIUS. Когда абонент пытается подключиться к SSID, контроллер спрашивает у WNAM, есть ли клиент с MAC-адресом, от которого пришел запрос на подключение, в базе зарегистрированных пользователей. Если есть – клиент получает доступ в Интернет и опционально редиректится на стартовый web-сайт (в нашем случае это портал FIFA welcome2018.com). Если его нет, контроллер редиректит пользователя на портал аутентификации и пока что никуда, кроме этого портала, его не пускает. Портал представляет собой web-страницу, которая крутится на сервере авторизации WNAM. Дизайн портала аутентификации для каждого проекта уникален и разрабатывается отдельно (в нашем конкретном случае его прислал Оргкомитет FIFA). Во время ЧМ стартовая страница аутентификации должна выглядеть следующим образом:

Как только пользователь вводит номер своего телефона, WNAM генерирует код авторизации и отправляет его в виде SMS через утилиту kannel по протоколу SMPP СМС-оператору, а тот через соответствующего сотового оператора – конечному абоненту.

Для обмена данными с оператором в нашем случае нужен IPSEC-туннель и, само собой, договор, по которому этот SMS-оператор будет с нами работать.

За отправку каждого SMS-сообщения оператором взимается плата. Платить должен тот, кто заключает договор, в данном случае – владелец инфраструктуры Wi-Fi. (Вообще-то можно сообщать абоненту одноразовый код на web-портале, а потом просить его отправить этот код на номер SMS-оператора. В этом случае платить за отправку SMS будет абонент, но мы не пошли таким путем).

При успешной доставке SMS-сообщения сотовый оператор генерирует в обратную сторону delivery report с подтверждением факта получения SMS. Данное сообщение транслируется SMS-оператором в WNAM, поэтому мы знаем, получил абонент одноразовый пароль или нет.

Пользователю предлагается ввести пароль на портале. Если пароль правильный, WNAM дает контроллеру команду авторизовать абонента и дать ему доступ в интернет.

1 февраля 2018 года

На объект пришли контроллеры Wi-Fi, коммутаторы доступа и межсетевые экраны. Оборудование смонтировали, приступили к пуско-наладочным работам. Коллеги из «Нетамс» начали настраивать WNAM. Тем временем заказчику позвонили из соответствующих ведомств и напомнили о высокой ответственности, которая возлагается на всех нас в части отработки потенциальных инцидентов информационной безопасности на матчах Чемпионата мира.

Чтобы сэкономить время, активно проводим с заказчиком согласование пилотных монтажных узлов в неофициальном порядке. Объясняем, что антенны и точки доступа уже закуплены и едут на объект, поэтому максимум, что мы можем поменять в условиях крайне сжатых сроков – это чуть подвинуть точки или немножко подправить кронштейны. В противном случае проект можно будет сворачивать. Заказчик идет навстречу и вносит в пилотные решения минимальные корректировки. Таким образом мы потихоньку согласовываем в заказ проектные партии типовых монтажных кронштейнов.

12 февраля 2018 года

Оргкомитет прислал уточненные требования к работе сети Wi-Fi для болельщиков. Основные изменения касаются статистических отчетов, которые Оргкомитет будет требовать с нас на каждом матче Чемпионата Мира. Некоторые требования – весьма специфические. Помимо очевидных вещей типа графиков загрузки каналов связи и количества абонентов требуется вычислять соотношение пользователей в диапазонах 2,4 и 5 ГГц, а также данные о том, как абоненты проходят различные этапы аутентификации, да еще и с разбивкой по странам, из которых эти абоненты приехали. Статистику Оргкомитет FIFA желал видеть не только в форме интерактивных графиков, но и в виде таблиц с возможностью автоматического экспорта данных в excel и pdf, причем перед экспортом должна быть доступна опция задания временного промежутка, за который нужны данные. Такие требования наводили на мысль об отдельной «зонтичной» системе сбора и анализа статистики, которая будет сводить данные из различных компонентов сервиса, поскольку сведения об утилизации каналов операторов связи, например, надо брать из межсетевого экрана, статистику по аутентификации – из логов WNAM, а данные по количеству абонентов в диапазонах 2,4 и 5 ГГц  – только на контроллерах и больше нигде. Так в нашем проекте появилась тяжелая артиллерия в виде системы сбора и анализа статистики Splunk Enterprise.

14 февраля 2018 года

Источник

А что все-таки делать с жалобами на плохую работу Wi-Fi? Как оценивать работу сервиса, если ты контролируешь не все его компоненты, «плавающих» проблем слишком много, а полученные от абонентов описания инцидентов лишь отнимают время? Почему бы не раскидать по стадиону какие-то устройства, которые будут вести себя в сети Wi-Fi так же, как наши пользователи, и при этом отсылать нам детальные логи о том, как обстоят дела в действительности? Это должны быть устройства, которые могли бы сами подключаться к сети Wi-Fi, аутентифицироваться на WNAM, работать в Интернете, отключаться и делать все это по скрипту снова и снова, присылая нам детальные логи на каждом шаге. Безусловно, все это еще должно недорого стоить, так как бюджет проекта практически исчерпан. Надо будет обсудить эту тему с инженерами, может удастся что-то придумать.

15 февраля 2018 года

Обсудили с инженерами идею проактивного мониторинга Wi-Fi путем имитации пользовательской активности. Вспомнили о Raspberry Pi. В теории его можно наделить функционалом мобильного устройства, если оснастить GSM-модемом с SIM-картой, на которую будут приходить SMS с одноразовым кодом аутентификации. Питать изделие можно по PoE, через PoE-экстрактор.

Внешний вид Raspberry Pi 3 model B без корпуса

26 февраля 2018 года

Инженеры выдали проект устройства проактивного мониторинга на базе Raspberry Pi 3 Model B. Предполагается подключить к нему Wi-Fi-адаптер Wi-Fi  D-Link DWA-171/RU/A1A, поскольку внутренний Wi-Fi-адаптер не обладает поддержкой сетей в диапазоне 5GHz (жаль что версия B+, где есть встроенный адаптер на оба диапазона, выйдет спустя месяц), а также 3G/GSM-модем Huawei E3372h-153USB  с SIM-картой. Питание миникомпьютера можно осуществлять через промежуточный PoE-экстрактор Upvel UP-102S. Все это будет упаковано в пластиковый корпус.

На миникомпьютере под управлением ОС Raspbian устанавливается интернет-браузер Firefox и компонент Splunk forwarder, который должен пересылать логи в Splunk Enterprise. Сценарий активности микрокомпьютера задается отдельным python-скриптом. Отправка логов осуществляется по проводному Ethernet, а не по Wi-Fi, что является еще одним достоинством решения.

В основе работы скрипта проверки лежит взаимодействие с браузером и выполнение в нем действий, аналогичных тем, что совершает пользователь в процессе работы с Wi-Fi (загрузка страницы аутентификации, ввод номера, на который зарегистрирована сим-карта, ввод полученного кода по SMS, несколько тестов скорости работы в интернете). Для этого идеально подошла библиотека Selenium, созданная для языка Python.

Вот такое получилось изделие. На фото — корпус со снятой крышкой.

28 февраля 2018 года

Идея с Raspberry заказчику понравилась. Он согласился включить в состав решения 50 миникомпьютеров и закупить для них SIM-карты трех сотовых операторов. Теперь, если во время матча кто-то позвонит и начнет жаловаться на плохую работу Wi-Fi, у нас будет 50 эталонных устройств, по которым можно увидеть общую картину работы сервиса на стадионе.

5 марта 2018 года

Пришла первая партия монтажных кронштейнов. Все точки доступа и антенны уже на объекте, кабели СКС протянуты, а кронштейнов не хватает. Монтируем то, что есть. Договорились с заказчиком, что к тестовому матчу Россия-Бразилия будут смонтированы точки доступа на типовых секторах, чтобы иметь возможность проверить правильность принятых решений по расстановке. Жаль, что до церемонии открытия мы точно не успеем протестировать Raspberry.

15 марта 2018 года

Нас пригласили на очередное совещание по вопросам информационной безопасности. На совещании мы поинтересовались, какие риски ИБ во время Чемпионата были бы наиболее значимыми. Оказалось, самое неприятное, что может произойти – это трансляция на видеотабло стадиона контента экстремистской направленности. Мы спросили, что будет, если кто-то додумается во время матча вывести на табло порнографию. Нам ответили, что это, конечно, тоже неприятно, но есть вещи и похуже.

20 марта 2018 года

Сегодня мы завершили настройку зеркалирования трафика на интерфейсы серверов СОРМ-2, СОРМ-3 и СОПКА, которые установлены прямо в дата-центрах стадиона. Пришлось немного повозиться с перенаправлением логов с WNAM и межсетевого экрана в СОРМ3, чтобы если что было бы откуда брать частный IP адрес, MAC-адрес и номер SIM-карты любого, кто авторизуется в нашей сети.

23 марта 2018 года. Тестовый матч «Россия — Бразилия»

Сегодня на стадионе товарищеский матч между сборными России и Бразилии, так что монтаж точек доступа приостановлен. К тестовому матчу мы успели повесить точки доступа только на нижнем ярусе трибун стадиона (это 50% от общего объема) плюс Wi-Fi в подтрибунном пространстве, который уже и так работал. Главная задача на сегодня – убедиться, что наше типовое решение по расстановке точек доступа будет работать в условиях большого скопления абонентов, ну и общее сопровождение ИТ-инфраструктуры тоже на нас.

Наша команда размещается на первом этаже восточной трибуны стадиона в помещении с белыми стенами и без окон. Здесь только айтишники, и нас человек пятнадцать. Народ сидит и сосредоточенно пялится в ноутбуки. Кому-то поначалу не хватает стульев. Еще в помещении душно и много белого света. Все это наводит на мысли о камерах Министерства любви из антиутопии Оруэлла, но думать об этом некогда.

Каждый из инженеров отвечает за работу какой-то отдельной ИТ-системы: система хранения данных, серверы, виртуализация, AD DS, Wi-Fi…  У нас с руководителем проекта отдельный стол и большой монитор, на который выводятся дашборды системы мониторинга Splunk Enterprise. Splunk Enterprise собирает логи от всех ИТ-систем стадиона, за которые мы отвечаем. Он же показывает статистику работы Wi-Fi высокой плотности.

Статистика очень детальная, есть даже процент распределения пользователей по диапазонам 2,4 и 5 Ггц (долго думали, как реализовать, в итоге решили периодически обращаться Splunk’ом по API к Wi-Fi контроллерам Cisco и HPE через посредников в лице системы мониторинга HP IMC, к которой подключены контроллеры точек HP, и Cisco Prime, к которой подключены контроллеры Cisco).

Поскольку в помещении нет окон, мы понятия не имеем, что происходит на поле. Поэтому в углу комнаты стоит телевизор, который транслирует прямой эфир «Первого канала». По этому телевизору мы с руководителем проекта будем смотреть все матчи ЧМ-2018 на стадионе «Лужники».

Из помещения, где мы сидим, есть короткий проход к одной из входных турникетных групп. То есть можно выйти и посмотреть, как люди проходят на стадион через турникеты. От этого в общем-то будничного процесса невозможно оторваться, потому что турникеты синхронизируются с билетным сервером по сети, за которую ты отвечаешь головой. Страшно представить, что начнется, если турникеты встанут.

Народ подтягивается на стадион. Мы видим, как они проходят через турникеты, и наблюдаем в дашбордах Splunk, как растет количество подключившихся пользователей. Оно равномерно растет до стартового свистка, потом падает, в перерыве между первым и вторым таймом еще один пик, потом снова спад, и, наконец, небольшой финальный всплеск после окончания матча. Никаких инцидентов не зафиксировано. Решение по расстановке точек доступа на трибунах стадиона признано работоспособным.

16 апреля 2018 года

Как известно, чтобы идентифицировать человека по номеру телефона, надо делать запрос оператору связи для получения паспортных данных человека, на который зарегистрирован номер. Если ты зарегистрировал SIM-карту в Иране, Мексике, Марокко, не факт, что получится оперативно идентифицировать тебя через запрос оператору сотовой связи.

Поэтому Оргкомитет прислал уточненные требования по SMS-аутентификации. Если на Чемпионате мира кто-то попытается зарегистрироваться в сети Wi-Fi по зарубежному номеру, ему будет предложено ввести номер FAN-ID или паспорта болельщика. Реализация этого требования требует отдельных плясок с бубном на уровне WNAM в части интеграции системы SMS-аутентификации с базами FAN-ID. Особенно с учетом того, что портал FAN ID, с которым надо интегрироваться, еще пребывает в стадии активной разработки.

15 мая 2018 года

Добавили на WNAM страничку портала аутентификации для обладателей зарубежных SIM-карт. Поскольку база FAN ID еще не введена в эксплуатацию, аутентификация по FAN ID пока не работает.

Наконец-то завершили монтаж и пуско-наладку всех точек доступа. Система готова к эксплуатации. К сожалению, пока не успели смонтировать Raspberry, но в этом ничего особо страшного нет. Будем проводить эти работы до 14 июня.

12 июня 2018 года

Сегодня нам предложили проверить, как будет работать Wi-Fi, если на стадионе запустят средства радиоэлектронной борьбы с беспилотными летательными аппаратами. В ходе проверки Wi-Fi выяснилось, что уровень сигнала стал значительно хуже. Нам покивали, провели работу с оборудованием радиоэлектронной борьбы, и это решило вопрос. Спасибо за конструктивную позицию.

14 июня. Матч «Россия-Саудовская Аравия»

Я стою в углу конференц-зала «Лужников», а в конференц-зале вовсю идет подготовка к совещанию перед церемонией открытия Чемпионата Мира. Рядом со мной — ящик пива, на котором лежит лист бумаги с надписью «Райдер Р. Вильямс. Не брать». Церемония открытия начнется через несколько часов.

Только что мы закончили последнее, что нам оставалось сделать на стадионе перед Чемпионатом мира, – смонтировали и подключили ТВ-панель на президентской VIP-трибуне, на которую будут выводить статистику матча и повторы интересных моментов. Не удержались и посидели в креслах, в которых скоро будут сидеть Владимир Путин, наследный принц Саудовской Аравии Мухаммед бен Салман и президент ФИФА Джанни Инфантино.

Источник

У каждого из нас есть аккредитация на стадион. Чтобы ее получить, каждый заполнял анкеты и сдавал отпечатки пальцев. Наша аккредитация дает право свободно перемещаться по стадиону, но в период за три часа до начала матча, во время самого матча, а также во время репетиций мероприятий и тренировок команд выход на поле и трибуны нам запрещен. Поэтому за три часа до начала матча мы спускаемся в наш штаб и включаем телевизор. Болельщики потихоньку подтягиваются. Количество абонентов, подключившихся к Wi-Fi, постепенно растет.

ИТ-инфраструктура стадиона отработала матч без инцидентов. Однако смущает низкий процент пользователей, которые зашли на портал SMS-аутентификации и успешно ее прошли – 30% при ожидаемых 50%. Мы предположили что всё благодаря пяти голам, забитым сборной России в ворота сборной Саудовской Аравии, однако Оргкомитет с нами не согласен. Посмотрим, что будет на следующих матчах.

Источник. Девушка решила сфотографироваться на фоне антенн HD WI-FI

15 июня 2018 года

Мы проанализировали логи WNAM и выяснили, что во время вчерашнего матча очень много людей при регистрации на портале WiFi HD почему-то неправильно вводили свой FAN ID. Если присмотреться к паспорту болельщика, то там есть три номера, похожие на те, что требует страничка портала аутентификации. Предположили, что болельщики не знали, какой конкретно номер требуется ввести. В итоге мы совместно с Оргкомитетом FIFA придумали пару идей, которые должны улучшить качество работы сервиса Wi-Fi на стадионе:

• добавить на портал изображение паспорта болельщика с указанием, какой конкретно номер требуется вводить,
• добавить инструкцию для тех, у кого не получается подключиться,
• попросить стюардов обращаться к нам за техподдержкой, если кто-то из болельщиков обратится за поддержкой к ним.

17 июня 2018 года. Матч «Германия — Мексика»

В самый разгар матча от стюардов поступает жалоба на проблемы с доступом к Wi-Fi в VIP-зоне. Нас проводят в скай-бокс. В скай-боксе накрыт стол и тусуется толпа мексиканцев. В углу – барная стойка. Она прямо-таки ломится от самого разнообразного алкоголя. Возле барной стойки стоит здоровенный мексиканец. У него в руках пиво и телефон. Ему тяжело стоять. Это он жаловался на проблемы с Wi-Fi.

Общаемся на английском. Мы объясняем, что вот в это поле мексиканец должен ввести свой номер мобильного:

– Назовите нам номер вашего телефона. Вы помните номер вашего телефона?

Мексиканца шатает. Сначала он вообще не помнит номер своего телефона, но с третьей попытки все-таки его вспоминает. Мы продолжаем объяснять:

– Теперь вы должны ввести номер FAN ID. Покажите Ваш паспорт болельщика, пожалуйста.

– Послушайте, – отвечает он, – я просто хочу выложить селфи в Instagram. По-моему, для селфи все это слишком сложно. Поэтому я просто буду смотреть футбол и обойдусь без селфи и без вас. Вы очень гостеприимные, до свидания.

Доступ в Интернет для мексиканца мы все-таки организовали. А еще в конце матча мне прислали видеозапись того, как болельщики облили пивом стюарда. Нелегко вспомнить номер своего телефона, когда вокруг тебя бурлит магия Мундиаля.

Источник

18 июня 2018 года

Каждый раз после матча мы проводим внутреннее совещание, на котором обсуждаем итоги мероприятия, можно ли повысить качество работы инфраструктуры и как это сделать. В этот раз совещание было посвящено решению на Raspberry Pi, которое во время матча Россия-Мексика заработало в полную силу, но удивило нас странной статистикой. Утром, когда на стадионе никого не было, Raspberry информировали нас о том, что Wi-Fi работает нормально. Однако, как только болельщики начали занимать свои места, все миникомпьютеры начали информировать нас о полном отсутствии сервиса. Одновременно Splunk и подсистема отчетности WNAM сообщали, что подключения идут нормально. Получается, что данные противоречат друг другу.

В ходе пошаговой отладки скрипта Raspberry выяснилось, что его надо существенно дорабатывать, так как в текущем виде он выдает огромное количество ложных ошибок. Было решено выпустить новую версию скрипта, которая будет содержать 15 дополнительных проверок. Заменили достаточно тяжелый браузер Firefox на PhantomJS, что в итоге позволило в два раза повысить скорость выполнения проверок. Еще одной возможностью системы стало отображение на страницы статистики в Splunk’е скриншотов страницы аутентификации для визуальной оценки возможных проблем.

Для оперативной заливки новых версий скрипта на 50 устройств решили установить оркестратор Ansible.

Анализ скрипта выявил и совершенно неочевидные вещи: например, был момент, когда все Raspberry начали ругаться на неверные одноразовые пароли. Оказалось, все микрокомпьютеры помимо кодов получали и другие SMS-сообщения, например, спам или сообщения от МЧС об ухудшении погоды. В цикле проверки такие SMS-сообщения попадали в буфер раньше сообщений, сгенерированных WNAM’ом, и, соответственно, воспринимались скриптом как одноразовый пароль.

20 июня 2018 года. Матч «Португалия-Марокко»

«Да что, черт побери, делать с этим Марокко?» – в порыве воскликнул наш инженер, занимающийся мониторингом WNAM, когда увидел растущую очередь отправки исходящих SMS-сообщений без delivery report. У нас в логах была статистика по отправке SMS-сообщений по всем операторам, у которых в открытых базах есть коды, и мы могли видеть, в какие страны SMS приходят нормально, а в какие – с задержкой. Королевство Марокко занимало в нашей статистике прочные аутсайдерские позиции. В начале второго тайма было принято решение переадресовать рассылку на другого SMS-оператора, и это несколько улучшило ситуацию.

26 июня 2018 года. Матч «Дания-Франция»

Источник

По телевизору привычно шла прямая трансляция матча со стадиона. Просмотр трансляции нужен нам, чтобы чувствовать динамику активности клиентов Wi-Fi: во время игры она падает, а в перерывах наоборот растет.

По сравнению с матчем «Португалия-Марокко» сопровождение выдалось более спокойным, так как Дания и Франция – европейские страны и статистика по SMS для них ожидаемо оказалась лучше, чем для Марокко. Поэтому мы посвятили матч отладке скриптов Rasberry и настолько увлеклись этим процессом, что только к концу матча поняли: все это время по телевизору шла трансляция совершенно другого матча, не со стадиона Лужники, а со стадиона Фишт.

В метро после матча ко мне с расспросами пристал какой-то мужик:

– Слушай, а кто только что играл на Лужниках?

Я с трудом вспоминаю названия команд:

– Дания и Франция. Да, Франция.

– А какой счет?

Счет я совершенно не помню, так так матч не смотрел, о чем и сообщил. Когда мужик понял, что я еду со стадиона и не знаю счета, он посмотрел на меня с нескрываемым изумлением.

11 июля 2018 года, матч «Англия – Хорватия»

В середине второго тайма на межсетевом экране обнаружилась подозрительная сетевая активность одного из подключившихся абонентов. Межсетевой экран блокировал с его IP-адреса большое количество соединений по нестандартным портам (которые были закрыты политикой межсетевого экранирования). Запросы шли в Россию, страны СНГ и Европы. Поскольку это был инцидент ИБ, безопасники с энтузиазмом взялись за дело.

По логам WNAM вычислили номер телефона, на который зарегистрирован абонент. Позвонили по указанному номеру. Представились службой эксплуатации Лужников. Сообщили какому-то мужику, что видим с телефона подозрительную сетевую активность и посему хотели бы уточнить не хакер ли он. Мужик на другом конце линии сообщил нам, что совершенно ничего не понимает. Мы сказали, что в таком случае, если он не возражает, заблокируем ему доступ в сеть. Мужик не возражал. Сложилось некоторое впечатление, что он даже поддержал данную инициативу. Мы заблокировали доступ и передали логи инцидента заказчику.

15 июля 2018 года, матч «Франция-Хорватия», финал

В середине первого тайма к нам в штаб зашел представитель службы эксплуатации «Лужников». Он привел с собой зрителя, которому мы звонили во время прошлого матча. Оказалось, мужчина проявил активную позицию, связался со службой эксплуатации «Лужников» и попросил организовать встречу. Он принес с собой телефон и заявил, что не предпринимал никаких попыток взлома, так что он несколько встревожен и хотел бы понять, какие к нему претензии.

У него оказался недорогой Android-смартфон от Samsung, беглый осмотр которого выявил установленный на нем торрент-клиент, а также много другого ПО сомнительного происхождения, которое, вероятно, и генерировало подозрительную активность. Мы порекомендовали человеку просканировать телефон антивирусом, удалить лишнее ПО и воздержаться от использования торрент-клиента.

Заключение

Участие ЛАНИТ в реконструкции ИТ-инфраструктуры Большой спортивной Арены «Лужники» к Чемпионату мира завершилось. За четыре с половиной года работы мы построили с полсотни слаботочных и ИТ-систем и три дата-центра, повесили полторы тысячи камер и 650 ТВ-панелей, настроили ЛВС на 12 тысяч портов и сделали аж две сети Wi-Fi высокой плотности для болельщиков Чемпионата – 430 точек доступа Cisco в чаше стадиона и 650 точек доступа HP в подтрибунном пространстве.

Какие неочевидные особенности были выявлены у решения в ходе пуско-наладки и опытной эксплуатации HD WiFi на БСА Лужники:

• SMS-аутентификация – это не решение 'из коробки'. Развертывание эффективной системы требует высококвалифицированной настройки 'под себя' и активного мониторинга.

  Это – разработка портала аутентификации, настройка взаимодействия с SMS-оператором, и на закуску самое сложное – настройка интеграции с контроллерами Wi-Fi. Хотя RADIUS – это стандартный протокол, у него есть свои особенности взаимодействия с каждой моделью контроллера. Некоторые модели контроллера вообще не получится интегрировать. Нам повезло: с контроллерами Cisco 8510 и HPE870 WNAM заработал, причем дружить с HPE870 он отказывался практически до последнего. За счет интеграции с WNAM обоих контроллеров хоть как-то удалось решить задачу роуминга между сетями Wi-Fi на Cisco и HPE. Если человек переходил от зоны действия одной сети к зоне действия другой, сессии, конечно, обрывались, но за счет наличия общей базы данных абонентов переключение проходило более-менее незаметно.
• Доставка SMS не всегда работает так, как хотелось бы. Особенно когда речь идет об экзотических странах.

  Есть куча причин, по которым SMS может прийти слишком поздно (мы знаем пару венгров, которые ждали SMS с кодом по 5 минут),  либо не прийти вообще. Одна их них — спам-фильтры на стороне SMS операторов. Например, одноразовый код доступа в SMS практически гарантированно не придет абоненту с иностранной SIM-картой, если идентификатор отправителя будет представлять собой не номер телефона, а имя (например, Luzhniki). Последовательность из нескольких одинаковых сообщений одному и тому же номеру тоже может быть воспринята оператором как спам и заблокирована. Проблема усугубляется тем, что иногда сообщение передает не один, а цепочка неизвестных вам SMS-операторов, у каждого из которых – свои настройки спам-фильтров.
• Абонент может отказаться от аутентификации по совершенно неочевидным причинам.

  Не всем нравится идея сообщать номер своего мобильного телефона в обмен на доступ в интернет. Нормальной считается ситуация, когда доступ в интернет получает 50% от тех, кто попадал на портал аутентификации. Тем не менее, для повышения качества сервиса всегда полезно выяснять причины, по которым абоненты пытались зарегистрироваться в сети, но в Интернет не попали. Возможно, с этим удастся что-то сделать.
• HD Wi-Fi нужен болельщикам на стадионе куда меньше, чем нам хотелось бы.

  Когда мы проектировали HD Wi-Fi, мы рассчитывали, что им одновременно воспользуется 20% болельщиков, хотя на всех матчах показатели оказались ниже этого значения. Среди методов, которыми мы пользовались для увеличения числа пользователей, сработали: голосовые и текстовые объявления о том, что на объекте работает бесплатный Wi-Fi, а также добавление на портал аутентификации детальной инструкции по подключению.
• Вы никогда не будете единственным, кто раздает Wi-Fi на объекте.

  Во время последнего матча мы запустили сканирование сети на предмет Rogue AP и только на трибунах стадиона насчитали более 3000 «чужих» устройств, работающих в режиме точки доступа. Причем это были как сотовые телефоны, раздающие Wi-Fi, так и специальные решения зарубежных операторов, например, Skyroam и Roamingman. Возле входных турникетов висело объявление, запрещающее раздавать на стадионе Wi-Fi, но не похоже, что оно хоть как-то работало.
• Проактивный мониторинг Wi-Fi HD, имитирующий активность пользователей, может быть эффективен, но требует больших трудозатрат при внедрении и сопровождении

  Намного веселее получать данные от микрокомпьютеров Raspberry, чем сидеть и ждать очередной жалобы от недовольных пользователей. Разумеется, Raspberry капризничали, а написание и отладка скриптов заняли у нас много времени. Зато это позволило взглянуть на сервис Wi-Fi HD с другого ракурса, направило процесс мониторинга в более конструктивное русло и в итоге действительно помогло нам локализовать несколько «плавающих» ошибок, что позитивно сказалось на качестве сервиса. К тому же, всякий раз, когда кто-то обращался к нам с вопросами о работе Wi-Fi HD у его девушки, нам было что ему ответить.

Автор: Raccooon

Источник