Добрый день! Мои коллеги уже рассказывали про строительство магистральных сетей и про конкретное оборудование на базовых станциях. Я бы хотел восполнить пробел и рассказать немного о городской сети и том, как мы её модернизировали. Рассказывать я буду про своей регион – республику Чувашию, где я сначала давным-давно работал техдиректором, а потом стал руководителем филиала «Вымпелкома». Примерно такие же принципы устройства сети и сложности характерны для многих других регионов, разве что за исключением крайнего Севера.
Для начала, у нас здесь довольно интересная география распределения базовых станций:
- Густое расположение базовых станций на севере Чувашии вокруг столицы – города Чебоксары
- Плотное размещение по республике (кроме лесов, конечно): Чувашия занимает 4-е место по плотности населения в России.
Магистральное кольцо проходит через Чебоксары на севере республики, а от него сначала шло кольцо по населённым пунктам области, а потом мы стали делать из него MESH-структуру. Сейчас один обрыв в произвольной точке незаметен абонентам. К концу 2014 года в большинстве случаев незаметны будут даже два одновременных обрыва.
Зачем понадобилось модернизировать сеть?
За последние примерно три года нам понадобилось резко увеличивать пропускную способность сети. Трафик растёт просто дикими темпами. Для сравнения, в этом году относительно прошлого он вырос примерно в 2,5 раза. В среднем по России показатель роста примерно на 30 % ниже. При этом голосовой трафик не меняется, речь идет о росте интернет-трафика.
Первое что нужно было сделать – заменить SDH-оборудование на Ehternet и DWDM. Переход к современным мультиплексорам позволил использовать те же линии оптоволокна, что и раньше (физические процессы никак не меняются) с гораздо большей плотностью передачи трафика. Благодаря преобразованию сигнала и комбинированной упаковке получилось увеличить пропускную способность до 10 Гб/сек, с дальнейшим расширением до 40 Гб/сек.
Одновременно всю существующую сеть на РРЛ переводим на IP, тем самым повышая пропускную способность и надежность сети в целом.
Архитектура и топология сети
Вот эту схему мы называем «Коллайдер». Это упрощённый вид магистрального кольца, проходящего через Чебоксары. В это кольцо приходит трафик из большого европейского кольца (720 Гб/с на отдельных участках).
Мы забираем данные из Казани и из Нижнего Новгорода по линкам в 20 Гб/с соответственно. В случае обрыва канала от Нижнего Новгорода до Чебоксар (например, благодаря бравым экскаваторщикам) мы просто будем получать те же данные со стороны Казани (это резервное направление для такой ситуации).
Эта публикуемая схема уже устарела. Наши коллеги-магистральщики уже сформировали хорды из Воронежа, через Тамбов, Пензу, Ульяновск в Самару и так далее, превращая кольцо в многократно резервируемую сеть. Мы также планируем хорду из Ульяновска в Чебоксары, и у нас будет уже тройное резервирование. Вообще, как показывает опыт чрезвычайных ситуаций по России, планирование рисков в этом плане всегда окупается.
Теперь присмотритесь к двум кольцам по Чувашии. Вот они крупнее (мы называем эту схему «снеговик»):
Сверху проходит магистральное кольцо через Чебоксары. Северное кольцо (верхнее) объединяет крупные населённые пункты севера республики. Собственно, именно здесь мы ставили DWDM-оборудование, и теперь это кольцо даёт 10Гб/с с дальнейшей возможностью расширения до 40 Гб/с.
Нижнее южное кольцо проходит по менее населённой части области. Оптика доходит до города Алатырь на юго-западе и до Шемурши на юго-востоке. Требования к пропускной способности почти на порядок ниже. Местность сложная, поэтому кольцо не полностью оптическое, нижняя часть (от Алатыря до Шемурши) сделана на радиорелейных линиях с пропускной способностью 183 Мб/c.
Оба кольца рассечены хордами с малой пропускной способностью – это радиорелейные линии (обеспечивающие Ethernet-соединения) с пропускной способностью от до 100 Мб до 1 Гб в секунду. Пропускная способность зависит не от оборудования (оно типовое), а от расстояния между узлами. На пролётах до 10 километров имеем 1 Гб/с. Но у нас есть пролёты и по 15-20 километров между узлами, где приходится снижать пропускную способность для надёжности сигнала.
Учитывая рост объёмов трафика, эти радиорелейные хорды в будущем году будут иметь резервное значение. Но недооценивать их не стоит – они легко способны подхватить голосовой трафик сети, что может оказаться критичным в случае крупных чрезвычайных ситуаций.
Так вот, если на «Коллайдере» обозначены магистральные узлы, то на «Снеговике» – узлы наших колец.
Практически всё, что сейчас обозначено как 1 Гб/с, уже 10 Гб/с (либо станет таковым в начале 2014). Модернизация идёт непрерывно.
Город
Теперь давайте опустимся ещё на уровень ниже и посмотрим на сеть одного населённого пункта. Это вот Чебоксары и Новочебоксарск. Схема тоже не самая новая (линии уже модернизированы, стройки закончены), но представление даёт. В этой подсети – примерно 50% абонентов региона.
Видите, что самое характерное для городской сети тоже? Правильно – кольца. Мы соединяем всё в замкнутые структуры (сейчас, например, сверху справа в пригородах тоже пойдут работы по объединению в циклические структуры). Это даже не архитектура с высоким резервированием. Это просто сеть с очень высокой устойчивостью, заложенной в качестве базового свойства. И несмотря на то, что у нас за последний год не было крупных обрывов даже в одной точке, мы продолжаем строить её именно так – это одна из технических парадигм «Вымпелкома» в целом.
Отдельно надо сказать пару слов про оптику. Когда мы пришли в регион, то почти сразу купили небольшого местного оператора, который подвешивал оптику на троллейбусных столбах. Это не самый надёжный метод: мы оптику кладём строго в телефонной канализации под землёй. В итоге где-то она ещё осталась на подвесах, но постепенно мы уходим со столбов и перекладываем отдельные участки в телефонную канализацию. Сейчас оптики на столбах осталось около 10% (по протяженности) в Чебоксарах.
Ссылки
- Уровнем выше: магистрали
- Уровнем ниже: на базовой станции
- Ещё уровнем ниже: микросоты в здании
- Опыт коллег по модернизации сети в Казани перед пиком Универсиады
- Непривычная топология сети в условиях крайне сложной местности на Севере
- Восстановление после затопления на Дальнем Востоке
Вот и всё. Если интересно, отдельно покажу необычные монтажи – у нас есть базовая станция на бывшей советской вышке-глушилке, на смотровой площадке лесников, БС на высоте 354 метров и так далее. Плюс есть одна тёплая история, как благодаря инженерной смекалке нам удалось сэкономить почти 18 миллионов рублей.
Автор: Engineer21rus
