Вступление
В статье я опишу свой опыт участия в построении провайдерской FTTB сети в маленьком городе, с численностью абонентов предположительно до 10 тыс. точек подключения. Я работаю системным администратором этой сети. В построении сети использовались: маршрутизатор Cisco, серверы Intel, коммутаторы Dlink и биллинг UTM-5. Сеть функционирует уже более года.
До того как я приступил к поднятию с нуля этой сети, у меня был пятимесячный опыт работы в другом небольшом провайдере. Там я вообще начинал с нуля, ибо про сеть знал на уровне обычного пользователя и не более того. Успел набить кучу шишек и получить ценный опыт.
О технологии FTTB
FTTB (Fiber to the Building) — волокно до здания. Оптическая линия используется от головной станции, до здания в котором производится подключение абонентов. В самом здании, для непосредственного подключения конечного оборудования, используется витая пара.
Более подробно о всех типах сетей FTTx (Fiber To The X) можно прочесть в Википедии
Для оптической линии используются SFP модули обеспечивающие скорость до 1 Gbps. Поскольку город небольшой, то закупаются модели с мощностью обеспечивающей устойчивую работу на расстояние 3-5 км.
Оборудование головной станции
Железки закупались из расчета — минимум денег, но чтобы был некоторый запас.
Извечная проблема: слишком много людей и слишком мало ресурсов. Детали катастрофы до боли знакомы, причины — тоже.
1) Cisco 3945 — цена и комплектация этой модели может заметно различаться. Разумеется это не провайдерский класс оборудования, так как провайдерский класс оборудования частная маленькая компания не потянет по бюджету, да и вряд ли окупит в допустимые для бизнеса сроки. Таковы реалии маленького города на просторах РФ.
Некоторые данные по серии маршрутизаторов можно прочесть на родном сайте Cisco
На предыдущем месте работы, где я получал первичный опыт, по гениальной задумке неизвестно кого, была куплена моделька серии 2900. Еще по одной не менее гениальной задумке, кто-то додумался поднять на ней же локальный DNS. Думаю излишне объяснять, что случалось уютными тихими вечерами с телефонной линией того провайдера. Кое как проблема временно решилась переносом DNS на сервер с Linux и Bind. Решилась лишь временно — до начала роста сети. Впрочем это было лирическое отступление от темы, так что продолжим.
2) Два стоечных 1U сервера Intel Xeon, запитанных через UPS. Сервера были куплены с разрывом в сроках в полгода, имеют немного отличающуюся начинку по количеству ядер и памяти (соответственно 8 Гб и 4 Гб) и объему жестких дисков. Более мощный сервер используется для биллинга UTM-5, также на нем поднят BIND для локального DNS и вэб-интерфейс личного кабинета пользователя. Менее мощный был куплен в качестве шейпера.
Мне пришлось достаточно долго убеждать начальство в необходимости именно отдельного сервера для шейпирования траффика. Знакомая картина вообще для многих сисадминов разговаривающих с руководством о необходимости закупки определенного оборудования, правда же?
3) Управляемые коммутаторы головной станции D-Link DGS-3627G. Хороший, мощный и годный коммутатор.
Достаточно подробная спецификация коммутатора размещена на официальном сайте D-Link
На предыдущей своей работе я наблюдал не самое практичное в плане охлаждения и вандалоустойчивости решение. С центрального коммутатора головной станции уходили четыре оптические линии на малые головные станции, установленные в чердачных помещениях многоэтажных домов. Оборудование было установлено в достаточно мощных и вандалоустойчивых ящиках, но летом по этой же причине возникали проблемы с охлаждением, а UPS не спасал от долговременного отключения электроэнергии. Когда он разряжался, то целый микрорайон маленького города оставался без доступа в сеть. Также бывали проблемы в период гроз. Единственное оправдание такому решению — экономия оптического кабеля, так как головная станция находилась немного за пределами города.
В этот же сети все коммутаторы стоят в одной стойке и хоть не запитаны от UPS, но в системе имеется резервная линия питания и простой в работе, при коммутации между линиями питания, ограничен временем запуска коммутаторов.
Вообще фирма D-Link заметно улучшила в последние годы надежность коммутаторов среднего и верхнего класса. Чего нельзя сказать о бытовых маршрутизаторах и коммутаторах, которые китайцы шлепают как горячие пирожки, зачастую заливая сильно кривые прошивки, которые иногда даже обновить себя не позволяют (отдельный привет для DIR-300, имеющего несколько вариантов полностью несовместимых друг с другом железных решений). Однако специалисты фирмы достаточно оперативно решают, созданные ими же самими, проблемы и выпускают новые прошивки, исправляющие недостатки предыдущих.
Рядом со стойкой с оборудованием установлен кондиционер, не самый мощный, но достаточный чтобы держать температуру не более 25C, даже в самые жаркие дни лета.
Когда стойка с оборудованием: CISCO + сервера + коммутаторы включаются из состояния покоя, это очень напоминает взлет реактивного пассажирского самолета. Хотя в работе в целом уровень шума приемлемый.
Фото всей стойки я сейчас разместить не могу, но как только доберусь с фотоаппаратом до головной станции, обязательно размещу в эту или в одну из следующих статей.
Оборудование устанавливаемое в домах
1) «Домовые» управляемые коммутаторы:
Выбор «домовых» коммутаторов также в основном основывался на стоимости, но главным критерием служило наличие функционала IP-MAC Binding
Замечу лишь, что более дорогие D-Link DES-3200-28 присутствуют в списке по причине их более ранней закупки. Планировалось сделать локальную сеть одного предприятия и организация взяла на себя траты по закупке коммутаторов. Что то не срослось и коммутаторы остались невостребованными, потому пошли в дело на много подъездных домах наряду с D-Link DES-3200-26.
Коммутаторы D-Link DGS-1100-06/ME не имеют функции IP-MAC Binding и были заказаны на пробу как оптические удлинители, для домов куда прямая оптическая линия от головной станции не была проброшена из-за оптического кабеля с ограничением в 32 отдельных волокна. Не хватило жил грубо говоря и если коммутатор «источник» (Вы обратили внимание, что у всех предыдущих «домовых» коммутаторов не менее двух SFP разъемов?) установленный на соседнем доме перестает работать, то такой дом остается без сети также. Неприятно, но что поделать — либо так, либо совсем никак. На весь город таких решений пока всего три, но может быть в будущем такое решение будет применяться далее, ибо опять же экономия средств решает.
Также на пробу были взяты коммутаторы SNR-S2940-8G-v2, которые имеют функцию ограничения пользователя по IP+MAC.
Коммутаторы D-Link имеют защиту всех Ethernet-портов — стандарт IEC61000-4-5 10/700us встроенной защиты от перенапряжений 6 кВ. Насчет SNR-S2940-8G-v2 такой уверенности не было, потому они были взяты «на пробу». Если при эксплуатации проблем не обнаружится, то вполне возможно их дальнейшее применение. Пока они себя показали хорошо, но пара месяцев не достаточный срок для вынесения решения.
2) «Подъездные» неуправляемые коммутаторы:
D-Link DES-1005A
Поскольку в процессе моей работы у предыдущего оператора я выяснил, что витая пара ресурс очень ограниченный, ценный и дорогой (Да-да! Не смейтесь, когда начитаешь считать затраты — они ужасают!), то было принято решение устанавливать в подъездах обычные дешевые офисные неуправляемые коммутаторы. Риск их выхода из строя в результате условий эксплуатации (вандализм, воровство, скачки напряжения, грозы) покрывается стоимостью от экономии витой пары. Разумеется, когда абонентов много, то это может создать трудности в использовании высокоскоростных тарифов, но не забываем что речь идет о маленьком провайдере в маленьком городе.
Собственно на этом завершаю первую часть, посвященную в основном выбору оборудования. В последующих частях будет меньше картинок и больше конфигов и описание некоторые трудных моментов в настройке оборудования.
Автор: Mario_Z
