Сегодня в ИКТ широко используется технология виртуализации. Она давно вышла за рамки виртуализации серверов, когда на одном физическом сервере работает несколько виртуальных машин. Такой подход, называемый виртуализацией 1:N, применим и к сети: на первом этапе развития сетевых технологий для изолирования логических сегментов использовались технологии VPN или VRF. На следующем уровне развития появилась возможность аппаратной виртуализации, когда на одном физическом коммутаторе запускается несколько образов операционной системы. Такой подход позволяет создать несколько независимых устройств, использующих такие общие ресурсы как управляющие модули (ЦП, память), шасси (фабрики, охлаждение) и система электропитания.
Однако возможен и другой вариант: подобно объединению нескольких физических серверов в один логический несколько физических сетевых устройств объединяются в одно легко управляемое логическое устройство. Такой подход называют виртуализацией N:1. Наряду с более простым администрированием, он помогает повысить надежность сети, увеличить плотность портов и дает ряд других преимуществ, о которых мы и расскажем ниже.
Виртуализация 1:N (на одной платформе работают несколько виртуальных коммутаторов) и N:1 (несколько физических коммутаторов образуют одно логическое устройство).
Что такое виртуализация коммутаторов?
В настоящее время известно несколько технологий виртуализации коммутаторов, которые позволяют объединять несколько физических коммутаторов в один логический, например, технология «виртуального шасси» Juniper Networks, Cisco Virtual Switching System (VSS) и HPE Intelligent Resilient Framework (IRF). Технология IRF, разработанная в свое время компанией H3C, – это классическая виртуализация N:1.
В любом случае при виртуализации коммутаторов N:1 создается некий пул или стек устройств. Для их объединения могут использоваться как специальные выделенные интерфейсы, так и обычные Ethernet-порты 1/10/40/100G. В последнем случае коммутаторы могут быть разнесены на значительное расстояние: логический коммутатор получается географически распределенным. Иногда технологии виртуализации коммутаторов именуют технологиями стекирования, виртуального стекирования (как в случае IRF) или кластеризации (например, как в технологии Huawei CSS/iStack).
Уровень обработки данных (data plane) активен на всех устройствах, образующих логический коммутатор, то есть все они обеспечивают передачу пакетов. Уровень управления (control plane), отвечающий за логику работы коммутатора, может быть задействован на одном устройстве (master). Оно отвечает за обработку сетевых протоколов (L2/L3), ACL, QoS, таблицы маршрутизации и т.д.
Две топологии: шина и кольцо
Возможны две топологии подключения коммутаторов в рамках IRF: шина и кольцо. Последний является рекомендованным, так как он более отказоустойчивый. Объединяемые коммутаторы начинают обмениваться пакетами для построения общей топологии стека. Далее на основании происходит передача пакетов внутри стека IRF.
Для чего это нужно?
Технологии виртуализации коммутаторов позволяют преодолеть ограничения традиционной сетевой архитектуры с протоколом Spanning Tree Protocol (STP) – значительное время восстановления при сбоях, неэффективное использование полосы пропускания, сложности в конфигурировании, поиске неисправностей и пр.
Для решения этих проблем в кольцевых топологиях были разработаны такие технологии как Resilient Packet Ring (RPR), HPE Rapid Ring Protection Protocol (RRPP) и Ethernet Ring Protection Switching (ERPS). Они обеспечивают малое время восстановления (50 мс) при возникновении неисправности в кольце.
Для сетей же построенных по классической топологии «звезда» эти технологии малоприменимы. Одним из вариантов оптимизации таких сетей стало использование технологий виртуализации N:1. Применение технологий класса HPE IRF на уровне ядра/распределения сети позволяет обеспечить высокую отказоустойчивость без сложного протокольного обеспечения.
На уровне доступа такие технологии позволяют не только преодолеть все недостатки традиционного протокола STP, но и значительно уменьшить общее число точек управления. Преимущества их очевидны – нет никаких проблем с STP, петлями, блокированием портов, создание доменов L2, плюс легкость в администрировании.
Кольцевая структура сети
Особенности IRF
Технология HPE IRF позволяет создавать отказоустойчивые сети с быстрой сходимостью, легко управляемые и масштабируемые. Группа коммутаторов IRF, образующих виртуальный, логический коммутатор (а это может быть до девяти устройств – в зависимости от модели), имеет один IP-адрес, что упрощает конфигурирование и управление.
Один коммутатор в группе является основным, обеспечивает уровень управления (control plane), обновление таблиц переадресации и маршрутизации для других устройств. То есть все управление осуществляется основным коммутатором, при этом его состояние синхронизируется с ведомыми устройствами.
Стек коммутаторов
В случает отказа основного коммутатора IRF мгновенно выбирается новый – обслуживание не прерывается. При отказе линка один из коммутаторов сохраняет роль основного, второй коммутатор переходит в состояние восстановления (Recovery State) и отключает все порты, кроме портов IRF и «не отключаемых» (согласно конфигурации) портов. После восстановления линка коммутатор, который был в состояние восстановления, перезагрузится и станет ведомым (Slave). Аналогичный алгоритм используется, если сразу два коммутатора решат, что нужно стать активными.
В домене IRF один из коммутаторов можно отключить для обслуживания или обновления ПО – так называемая процедура In-Service-Software-Upgrade (ISSU). На трафик это не повлияет.
Технология IRF дает возможность объединить в стек коммутаторы, получив в общей сложности до 1024 портов Ethernet. Для взаимодействия устройств в группе IRF используются обычные порты Ethernet, в большинстве случаев – 10 Гбит/с. Между коммутаторами формируется канал IRF, а передаваемые по нему пакеты снабжаются дополнительным заголовком (IRF tag). Компоненты такого логического коммутатора могут размещаться в разных стойках центра обработки данных или на разных площадках, удаленных друг от друга на расстояние до 70 км.
IRF распространяется на уровни доступа, агрегирования и ядра сети. Благодаря IRF можно уменьшить число уровней сети за счет объединение функциональности доступа и агрегирования или агрегирования и ядра. Граничные или агрегирующие коммутаторы, взаимодействующие в сети с поддерживающими IRF коммутаторами ядра, видят ассоциированные коммутаторы как единое целое, поэтому нет необходимости использовать такие технологии как STP.
Преимущества IRF
Применение IRF дает ряд преимуществ по сравнению с традиционными сетями. О некоторых из них мы уже рассказали. В основном эти преимущества охватывают три области: простоту, производительность и надежность.
Упрощенная сетевая инфраструктура
Сетевая инфраструктура становится более простой – не трех-, а двухуровневой. В ней меньше устройств, интерфейсов, связей и протоколов, требующих конфигурирования и управления. Двухуровневая сеть требует меньше оборудования и упрощает сетевое администрирование в центрах обработки данных и кампусных сетях предприятий.
Централизованное управление и конфигурирование
IRF не требует подключаться к каждому устройству и управлять им индивидуально. Для конфигурирования используется основной коммутатор, а все настройки распространяются на ассоциированные с ним устройства. В этом данный подход напоминает SDN – программно-конфигурируемые сети.
Чтобы администраторы сети могли пользоваться не только командной строкой, но и более удобным интерфейсом, разработана система управления HPE Intelligent Management Center (IMC). Она позволяет управлять всей сетью в одной консоли. Система сетевого управления IMC отображает топологию сети, осуществляет управление конфигурациями, устройствами, производительностью, упрощает диагностику и устранение неисправностей.
Топология сети в интерфейсе IMC
Надёжность
Поддержка в IRF протокола Link Aggregation Control Protocol (LACP) обеспечивает передачу трафика между коммутаторами по нескольким каналам, а восстановление топологии при отказе коммутатора или линка в стеке требует не более 50 мс, в то время в случае STP может занять несколько секунд.
Сравнение времени сходимости в мс при использовании RSTP и IRF для случаев отказа канала, сетевой карты коммутатора или шасси.
Таким образом, IRF позволяет создавать более надежные «плоские» сети с меньшим числом уровней и устройств. По сравнению с традиционной сетевой инфраструктурой уменьшается задержка в сети, увеличивается производительность, отпадает необходимость применения сложных протоколов, увеличивающих надежность. Снижаются капитальные и эксплуатационные затраты.
Для увеличения надежности фабрики IRF можно использовать конфигурацию N+1. Кроме того, домен IRF позволяет использовать мобильность приложений и виртуальных машин в глобальной сети на уровне L2.
Конфигурация IRF с использованием протокола LACP между коммутаторами 12500 и 5820. Для коммутатора 5820 агрегированное соединение представляет собой один виртуальный канал. Это позволяет создавать интересные катастрофоустойчивые решения, где IRF и агрегированные каналы соединяют географически распределенные коммутаторы.
Тестирование миграции 128 виртуальных машин (Vmware vMotion) в конфигурациях с использованием RSTP и IRF показало, что в последнем случае достигается более высокая производительность.
При использовании RSTP процесс миграции vMotion занимал в трех тестах около 70 сек, а в случае IRF лишь 43 сек.
Производительность
В неблокирующей архитектуре IRF все линки активны, увеличивается пропускная способность системы коммутации. Применение IRF совместно с LACP позволяет также агрегировать каналы между серверами и коммутаторами, увеличивая пропускную способность сети для критичных приложений.
В домене IRF сетевые протоколы функционируют как одно целое. Это повышает эффективность обработки данных, увеличивает производительность, упрощает операции. Например, в случае протоколов маршрутизации маршруты определяются в одном логическом домене.
Сравнение производительности в случае использования IRF и других механизмов отказоустойчивости L2/L3.
Подведём итог. Технология HPE IRF это:
- Единая точка управления и настройки всех устройств в стеке, причем вне зависимости от того, к какому именно устройству подключена консоль.
- Упрощение сетевой топологии за счет уменьшения числа устройств с независимой плоскостью управления (control plane).
- Снижение стоимости за счет использования стека вместо дорогих шассийных устройств.
- Хорошая масштабируемость (до 9 коммутаторов с фиксированными портами и до четырех шасси).
- Высокая отказоустойчивость.
- Поддержка всего спектра функций и технологий «поверх» IRF.
- Автоматическое обновление ПО на коммутаторах в стеке, поддержка ISSU.
IRF поддерживается на всех коммутаторах HPE, начиная от 3600 и заканчивая 12900E, а также на всей линейке маршрутизаторов под управлением ОС Comware версии 7. Данный класс решений можно применять в кампусных сетях (ядро, распределение, доступ), в сетях ЦОД (ядро, распределение, доступ), в маршрутизируемых филиальных сетях, особенно там, где требуется резервирование маршрутизаторов в филиалах.
Как показывают результаты тестов, IRF демонстрирует преимущества в таких областях как архитектура сети, ее производительность и надежность. Объединение нескольких коммутаторов и их превращение в единую логическую фабрику упрощает кампусные сети и сети ЦОД, позволяет ускорить процедуры миграции VMware vMotion. Благодаря дизайну «active/active» сеть IRF обладает вдвое большей пропускной способностью по сравнению с дизайном «active/passive». Кроме того, в режиме L2 и L3 значительно уменьшается время сходимости при отказах, повышается надежность сети и увеличивается производительность приложений.
Коммутаторы HPE, поддерживающие IRF
IRF и VSS
Эти технологии в целом похожи, но есть и важные отличия. Подобно Cisco VSS, технология IRF предусматривает агрегирование каналов коммутаторов стека, использует протокол LACP для согласования параметров полученного в результате канала.
Как и в случае Cisco VSS, между коммутаторами стека синхронизируется состояние control plane, и отказ основного коммутатора не ведет к отказу в обслуживании. Однако в IRF синхронизируется также состояния протоколов маршрутизации, и в случае сбоя и последующего восстановления разрыва соединений L3 не происходит – за менее чем 50 мс устройства не успевают обнаружить отказ одного из коммутаторов. У Cisco для этой цели есть специальная технология NSF, в случае IRF используется аналогичная технология — Nonstop routing (NSR) или rgaceful restart (GR).
Переключения потоков трафика при агрегировании – добавлении/удалении физических каналов – в IRF происходит примерно за 2 мс, в то время как у Cisco это значение составляет 200 мс. Такое малое время позволяет обходится без дополнительных механизмов.
В отличие от Cisco VSS, технологию IRF поддерживает более широкий спектр коммутаторов, включая относительно недорогие устройства. С помощью IRF можно объединять коммутаторы только одного модельного ряда. Исключение составляют коммутаторы серии 5800 и 5820, а также 5900 и 5920.
| VSS vs IRF | Cisco VSS | HPE IRF |
| Где поддерживается | 4500X, 4500E, 6500E, 6800 | 3100, 3600, 5120 и т.д. |
| Количество устройств, которые можно объединить | 2 | 9 |
| Переключение с сохранение состояния | Да (SSO/NSF) | Да |
| Скорость переключения в случае отказа основного коммутатора | 200-400 мсек | 50 мсек |
| Шина для объединения коммутаторов | канал VSL, порты Ethernet | IRF канал, Ethernet-порты |
| Технологии обнаружения ситуации с двумя активными коммутаторами | ePAgP, Fast Hello, IP BFD | LACP, BFD, ARP, ND |
| Предотвращение проблем в сети в случае разрыва VSL/IRF канала | Блокировка портов | Блокировка портов |
| Построение иерархических топологий | Instant Access | eIRF |
IRF и VC
Сравним теперь кратко технологии HP IRF и Juniper VC. Они похожи следующим:
- Обе избавляют от необходимости использования протоколов STP и VRRP.
- В HP IRF и Juniper VC используются такие понятия как основной коммутатор, резервное устройство и компоненты стека.
- Как и IRF, Juniper VC поддерживается в рамках одной серии коммутаторов. Правда, некоторые устройства HPE могут формировать стек с другими моделями, например 5800/5820 с 5900/5920. Отдельные устройства Juniper также формируют VC с другими моделями, например, EX4200/EX4500/EX4550.
- HP IRF и Juniper VC поддерживают удаленные соединения IRF/VC.
Однако VC имеет ряд недостатков. VC – это технология для запущенного в 2008 году коммутатора EX4200. С тех пор значительных инвестиций в нее не было. Компания развивала совершенно другую архитектуру – Qfabric.
При таком ограниченном финансировании в продуктах EX значительных инноваций не появилось. Например, коммутатор доступа EX4500 с поддержкой VC использовал ту же шину 128 Гбит/с, не отвечающую адекватно трафику 10GbE.
Коммутатор EX8200 был неплохо принят рынком, но технология EX8200 VC появилась какое-то время спустя, а внутренние движки Route Engines не обладали достаточной для VC мощностью. Необходимость подключения дополнительных внешних контроллеров усложнила решение. Кроме того, соединение шасси поддерживают лишь несколько линейных карт, в основном 8 SFP+.
В конфигурации с двумя коммутаторами при отказе одного из них второй интерпретирует это как разрыв VC и переходит в неактивное состояние согласно правилам разрыва соединения VC. Весь стек рушится. Этого можно избежать, отключив обнаружение разрыва, о чем админы часто забывают.
Некоторые операции обслуживания требуют подключения к консоли и ввода команд CLI. А использование встроенных выделенных портов VC ограничивает расстояние 5 м. Коммутатор EX4200 в конфигурации VC поддерживает только 64 LAG.
Формально с 2013 года VC можно применять и на маршрутизаторах серии MX, но есть сильные ограничения. Поддерживается только два шасси по два движка маршрутизации в каждом. Обязателен чипсет Trio. Не поддерживается Enhanced Queuing DPC. Нужна отдельная лицензия. Кроме того, VC не поддерживается в оборудовании MX5/10/20/40/80.
Тем временем, IRF получила дальнейшее развитие.
Enhanced IRF
Результатом эволюции IRF стала технология Enhanced IRF (eIRF). Она позволяет создавать более сложные иерархические, включающие уровни ядра и доступа. Коммутаторы уровня ядра (Controlling Bridges), основной и ведомый, берут на себя функции управления стеком IRF, а коммутаторы, уровня доступа фактически представляют собой расширители портов (Port Extenders). Их основная роль – передача трафика. Всего может быть до 64 коммутаторов уровня доступа. Все эти коммутаторы (CB+PE) представляют единый логический коммутатор.
Коммутаторы ядра (CB) и расширители портов (PE) с функцией форвардинга L2/L3 – это единое логическое устройство. Экстендеры PE фактически работают как линейные карты коммутатора.
В отличие от IRE, eIRF позволяет объединять несколько физических устройств на разных уровнях
Пример построения сети на базе eIRF в ЦОД. Два коммутатора фабрики IRF уровня распределения (вверху) подключаются резервируемыми каналами (аплинками) к ядру сети, коммутаторы ToR (внизу) образуют группу HA. Каждый сервер в стойке подключается к двум таким коммутаторам — расширителям портов.
Пример применения eIRF в кампусной сети. Два коммутатора фабрики IRF представляют уровень ядра, расширители портов — коммутаторы уровня доступа. Последние образуют группы HA и обслуживают устройства на этажах зданий. Каждый сервер подключается к двум коммутаторам.
Отличия IRF и eIRF
| IRF | Enhanced IRF | |
| Иерархия | Горизонтальная, устройства одного типа и одной модели | Вертикальная, допускаются разные устройства |
| Количество | 2-4 устройства старшего класса или 4-9 младшего | 30 ~ 64 |
| Число управляемых узлов | 1/4-1/9 | 1/30-1/64+ |
| Горизонтальные кабели | Большое количество на уровне доступа, усложняется прокладка и обслуживание | Нет горизонтальных кабелей, простое кабельное хозяйство |
| Модель трафика | Традиционная | Прототип SDN. Упрощается переход к SDN |
И в заключение перечислим кратко, что же, собственно, дает нам eIRF:
- Упрощенные операции: централизованное управление и автоматизированная инсталляция, фактически plug & play.
- Улучшенная масштабируемость и более мощная виртуальная фабрика: Enhanced IRF поддерживает в своем ядре два шассийных коммутатора, это весьма мощные платформы.
- Простая реализация: коммутаторы 5700 в качестве устройств L2 в режиме Port Extender при подключении к Controlling Bridge автоматически становятся частью фабрики Enhanced IRF.
- Масштабируемый доступ со стороны сервера: поддержка 1GbE и 10GbE.
- Резервирование: active/active, сервер подключается к двум коммутаторам Port Extender.
- Гарантированная полоса пропускания: коммутаторы Controlling Bridge и Port Extender могут работать в режиме L2 или L3 с использованием всей полосы – на полной скорости.
- Готовность к будущему: оборудование готово к использованию OpenFlow/SDN. А это очень важно, учитывая новейшие тенденции в построении сетей передачи данных.
Автор: Hewlett Packard Enterprise
