Тесты «в полях»
Есть коммерческая задача: необходимо быстро подключать сайты к обычной WAN-сети, но делать это там, где в наличии только сотовое покрытие и нет возможности провести кабель или организовать радиорелейный переход до волокна или меди.
Решение — модемные кластеры. Очевидная проблема решения в том, что каждый из модемов — это отдельный физический канал. Нужно с помощью зубила и какой-то матери объединить их в одно инкапсулированное устройство, которое просто будет отдавать канал. Кроме того, необходимо, чтобы при появлении кабеля не требовалось менять коробку и что-то перенастраивать.
Из кого выбирать
Технология называется SD-WAN. Лидерами считаются 3 американских стартапа: Versa Networks, Viptela, Velocloud. Классические производители сетевого оборудования стараются догнать. В частности, Cisco заявляет, что у них 2 решения SD-WAN — iWAN и Meraki. Но при этом пару месяцев назад объявили о покупке Viptela. А Riverbed где-то полтора года назад купил компанию Ocedo для выхода на рынок SD-WAN решений.
В целом оценивались:
- Cisco Systems,
- Huawei,
- Nuage Networks,
- Viptela,
- VeloCLoud,
- Silver Peak,
- Versa Networks,
- Citrix,
- InfoVista,
- Riverbed.
Что получили
Мы остановились на решении Versa; сначала из-за преимущества в цене. Обычные SDN-решения используются немного для других задач, в частности, для объединения филиалов компаний в одну логическую сеть, видимую всем терминалам и серверам как единое физическое пространство адресации, чем-то похожий на DMVPN от Cisco, но своим блэкджеком в виде ZTP, channel-bundling и SLA. Выбранное решение оказалось чуть более специфичным, и за счет отсутствия fullstack-протоколов классических маршрутизаторов на самой коробке и использования стандартных комплектующих снижена базовая стоимость. Большинство вендоров предлагают купить железо и софт сразу или по подписке, но Versa железо не делает, поэтому софт — по подписке, а железо — у партнеров, которые делают референсные x86 коробки. Для заказчиков модель расходов по мере эксплуатации с каждым годом становится все более удобной. Например, самая маленькая коробка от Versa (на фото выше) стоит не дороже Cisco 800-й серии, но при этом может прокачать через себя 500 Mbps. И это на IMIX трафике, где 90% TCP и 10% UDP и при этом включены IPv4 Routing/Forwarding, IPSecEncryption, Layer 7 Application based traffic steering, CGNAT, NextgenFirewall (NGFW), QOS (Classification and Marking), SLA monitoring, internal service chaining, URL Filtering).
Концепция SD-WAN
От SDN взят принцип разделения control и data plane, а также overlay. Control plane — это Director (управление), контроллер (BGP route reflector и IPSEC), Analytics — необязательный компонент, но добавляет прозрачности в сервисы, которые используются на WAN.
Сравнение тех самых двух коробок
Логика работы внутри каждой бранчовой коробки.
Логическая архитектура коробки
Как устанавливается
Сравнение такое: у Cisco в конце года в EOS уходит 19хх серия, и её надо будет заменять. То есть обойти (облететь, объездить) физически все точки ногами. Versa позволяет отправить коробку на место любой службой доставки. На месте в железяку надо будет воткнуть модем или кабель с интернетом. Как только железяка почует свежий коннект, она сама построит VXLAN-туннель с контроллером, получит с него IKE и с ним уже построит служебный IPSEC-туннель, через который заберет настройки и получит от контроллеров маршруты всей сети, поскольку, напомню, контроллер — это BGP route-reflector. Все это происходит полностью автоматически.
То есть на месте справится даже бухгалтер — воткнул кабель, немного магии, заработало.
Инициализация коробки на новой площадке
Вот как эта процедура выглядит в англоязычной документации: 1. Branch device comes with stage–Controller’s IP address is the remote IP in IPSec config. 2. Establishes IKE session with controller over VXLAN tunnel. 3. Controller assigns an IP address to the branch device and generates a notification to Versa Director. 4. VD IP address is notified to branch. 5. Branch installs reverse route to VD. 6. VD pushes the post staging configuration to branch device over the IKE session and reboots the branch device.
Сами настройки — это шаблоны, причем шаблоны с переменными — в них можно включить QOS, shaping, SLA, настройки LAN, правила балансировки по внешним каналам и бондинга этих каналов в одну трубу.
Если есть большое желание, то можно залезть на коробку руками, производитель пока этого не закрыл, а там, сюрприз, Juniper-like-консоль.
Тесты
Прототипы с двумя модемами
Для эмуляции реальной сети, где часть коробок на кабеле, а часть для LTE-кластерах. В одну железку втыкались 3G-LTE-данглы (в момент фото это были МТС и Мегафон), а во вторую кабель с Интернетом от «Гарса». Модемы объединяются в трубу, проходит передача информации. Железка смотрит трафик, распознает его по приложениям, накладывает политики и критерии по приоритизации.
После небольшого допила Мегафон и МТС (как на фото) со своими залоченными модемами начали автоматически распознаваться коробками. Синтетический iperf-трафик на 5 сессиях выдавал практически 50/50 балансировку.
Встроенные в Director функции мониторинга
Графики загрузки двух LTE-модемов в интерфейсе Director
Суммарная полоса составляла где-то 50 Мбит, по каждому из модемов в отдельности — 25 Мбит. Встроенные системы аналитики прямо из коробки в риал-тайме выдавали статистику по нагрузке.
Эмпирически очень удачно получилось с телефонией: например, если бывает одновременно 15 телефонных вызовов, то с первого по восьмой мы пихаем в первый канал, а остальные — во второй с высоким приоритетом (во втором по умолчанию также остальные сервисы офиса типа почты).
Вторая особенность: в местах, где много дропов на последней миле из-за особенностей загрузки сетей или покрытия, удалось поставить более-менее стабильное соединение.
Протестировали per-packet-балансировку. Одна TCP-сессия раскидывается на два LTE-интерфейса. Тестировали iperf, одна TCP-сессия, в панели мониторинга видно, что разбивается по двум каналам. То есть на синтетическом трафике работает, далее уже зависит от каждого конкретного приложения, как они себя ведут при такой балансировке. Например, на базе собственного опыта можем подтвердить, что трансляция видео по RTSP через VLC работает отлично. Данную политику можно применять по отдельности для каждого сервиса. То есть сервисы, что хорошо работают при per-packet-балансировке, балансируем попакетно, остальные — per-flow. При этом сами политики раскатываются на коробках по кнопке. Из-за этого best-practice считает делать несколько групп сайтов: тестовые поближе к себе (лучше — в офисе), потом вторая для early-deploy шаблонов и политик и уже основная для продакшна.
Переключение трафика с одного LTE-модема на другой работает. Тестировали iperf с одной сессией и всё тот же видеостриминг VLC. Вынимаешь тот модем, по которому идёт сессия, происходит небольшая просадка по пропускной способности (iperf показывает падение на 40–60%), видео немного рябит в течение пары секунд, потом всё восстанавливается.
Особенности Версы
- Есть аналитика. Нет внешних систем управления, нет необходимости отдельно мониторить каналы с помощью PRTG и т. д., всё сразу как надо.
- Один контроллер может обслуживать любое количество устройств, по сути он web-scale. В частности, для оператора связи или облачного провайдера нет необходимости разворачивать для каждого заказчика отдельное решение SD-WAN в telco-cloud.
- При необходимости для важного трафика есть настройка дублирования пакетов по различным каналам для гарантирования доставки контента.
- Кроме того, на коробках используются TPM-чипы. Это специальные модули для хранения ключей шифрования на устройствах. На инициализации TPM-модуля создаётся пара ключей — закрытый и публичный. Закрытый ключ не может быть прочитан: нет методов для доступа к нему, но зато есть API для вызова метода шифрования-дешифрования.
- Динамические туннели. Когда контроллеры выступают BGP route reflector'ами, то они сбрасывают информацию по маршрутам на конечную железку каждого сайта, а spoke-to-spoke-туннель строится только для появления трафика между сайтами. И это же позволяет обеспечить масштабируемость решения до тысяч сайтов.
Отличия в классическом site-to-site ipsec и в Versa SD-WAN IPSEC:
VPN-облако от Versa
Ещё один важный момент: железки для сотовых операторов стоят в разы дешевле, есть возможность закупаться почти напрямую с крупных заводов. Для этого вендор даёт отмашку заводу на то, чтобы поставлять устройства напрямую крупному клиенту, а потом даёт заводу базовые прошивки. Софт заливается в коробку, коробка приезжает оператору связи или клауд-провайдеру. Провайдер в нее забивает 2 параметра: IP-контроллера и конфиг доступа к Интернету (например, static-IP). Дальше коробка отправляется хоть почтой РФ заказчику. Коробка дальше сама найдет что и как. Совместимость широкая, то есть сразу сервисы IP-телефонии, ВКС — всё может входить.
Ещё есть стандартные Packet steering (SLA) и bonding — это как раз объединение группы внешних каналов в одну трубу и прописывание логики переключения под каждый сервис. Причем в решении Versa или Riverbed идет автоматическое распознавание какому сервису принадлежит проходящий трафик, чтобы общаться не на уровне сессии «порт-тип», а на уровне «корпоративному Skype for buisness дать приоритет, а обычным видеозвонкам по Скайпу такого не давать». Бондинг же помогает решить проблемы с долгим предоставлением последней мили. Воткнули 3 LTE-модема от разных операторов и решили вопрос с доступностью площадки на 99,999.
Динамические туннели между коробками на разных площадках
Резюме
- Сейчас мы развернули сервис по настройке этих железок у себя, а не в американском облаке (как у ряда вендоров), чтобы облегчить жизнь компаний РФ.
- Это решение очень хорошо подходит сотовым операторам и клауд-провайдерам. Для первых это возможность продать ритейлу (например, сети прачечных, продуктовых или автосервисов), не только канал для отправки, скажем, отчетов и почты, но и дополнительную услугу по управлению трафиком приложений в бандле из каналов, а также разноплановый мониторинг качества работы приложений по имеющимся каналам связи (так называемый управляемый сервис). Кстати, как показывает общемировой тренд, то на текущий момент самые крупные проекты по SD-WAN (количество точек подключения) происходят в финансовом секторе и крупном ритейле.
- Очень простой ремонт. Если на другом конце планеты в продуктовом что-то сломалось — продавец перетыкает шнурок из одной «коробки» в другую — и на новую автоматически грузится конфиг старой за 10-15 минут. В общем, при желании справится даже бухгалтер.
- Для работы с SD-WAN не нужен айтишник в филиале, для любого из кейсов.
Всё. Отвечу на вопросы в комментариях. Ну, или пишите на почту: MKazakov@croc.ru
Автор: MKazakov_croc
