Конвергенция на базе продуктов Hewlett-Packard Networking.
Часть 1 — теоретический обзор.
«…Основная причина появления конвергенции — стремление к
снижению затрат на создание тех или иных весьма сложных и
дорогостоящих объектов с приобретением нового качества
конечного продукта или услуги или расширением их спектра»
Леонид Колпачев
Сегодня сети разделены на два больших блока – это сети хранения данных и локальные вычислительные сети или сети передачи данных, так, что называется, исторически сложилось. Что же такое конвергенция и в чем ее цель? Цель конвергенции в том, чтобы объединить эти две инфраструктуры в одну и сделать общую сеть. Зачем? Чтобы сократить издержки. Как капитальные (нужно меньше оборудования), так и операционные (т.к. оборудования меньше и оно однородное, то его проще и дешевле обслуживать). Есть ли варианты не консолидировать сети? Конечно есть. Если вопрос сокращения издержек не стоит на повестке дня, то можно продолжать развивать две инфраструктуры параллельно, технологически обе сети на сегодня отвечают современным требованиям.
Поговорим о технологиях построения конвергентных сетевых решений и о разных вариантах построения конвергентных сетей в ЦОД на базе оборудования HP. В первой части вкратце напомню теорию, что же такое FC и FCoE.
FC – это протокол высокоскоростного подключения между серверами и различными системами хранения, разработанный для обеспечения надежной, двунаправленной передачи данных. Он позволяет передавать данные на большие расстояния, до 10 км и поддерживает инкапсуляцию протоколов SCSI, FICON и TCP/IP.
Основные функции FC – это управление потоком трафика систем хранения. Для обеспечения гарантированной доставки трафика без потерь используется B2B (Buffer-to-Buffer) Credit Mechanism. Упрощенно и кратко работу этого механизма можно описать так — коммутатор назначает источнику трафика определенное количество кредитов при инициализации соединения, которое затем уменьшается по мере передачи трафика. Передача трафика останавливается, если количество назначенных на источнике кредитов становится равным нулю до того момента, пока коммутатор не передаст на сервер или систему хранения пакет типа R_RDY. При этом количество кредитов на передающем устройстве увеличивается и передача трафика возобновляется. Адресация устройств в FC/FCoE осуществляется с использованием WWN (World Wide Name) в качестве уникального идентификатора FC устройства и FC_ID, выдаваемого фабрикой при регистрации устройства на фабрике и которые есть в FC заголовках пакетов и по ним маршрутизируется трафик в FC фабрике. Динамическая маршрутизация в FC осуществляется при помощи протокола FSPF (как OSPF в IP), он поддерживает multipath routing и работает только внутри фабрики. Разграничение доступа в FC осуществляется на основе VSAN, так называемая виртуальная SAN-сеть, можно провести аналогию с VLAN в Ethernet-сетях и на основе зонирования, которое позволяет управлять доступом к ресурсам примерно так же, как списки контроля доступа (ACL-и) в Ethernet.
Теперь несколько слов про FCoE, что это такое. Это технология инкапсуляции FC кадров в Ethernet. FCoE – это протокол, на котором в основном базируется конвергенция сетей в ЦОД, это попытка максимально «переиспользовать» существующие стандарты локальных сетей и сетей хранения данных для удовлетворения нужд как СПД (сетей передачи данных), так и СХД (сетей хранения данных).
Для того, чтобы обеспечить передачу данных без потерь, FCoE должен работать поверх принципиально другого транспорта, поэтому придуман так называемый Lossless Ethernet (или иногда его называют Converged Enhanced Ethernet, CEE), который несет в себе механизмы идентификации и контроля потока (Policy-based Flow Control), позволяет управлять приоритетами обработки трафика (Enhanced Transmission Selection), управлять перегрузкой сети (Congestion Notification). Отчасти Lossless Ethernet позволяет обеспечить требуемую надежность так, как это позволяет сделать стандартный механизм в FC. Без него FCoE тоже может работать, но требуемый уровень надежности обеспечить в этом случае гораздо сложнее.
Схема работы протокола FC проста, приложение формирует SCSI команды, они уходят в стек FC, «заворачиваются» в протокол и передаются в Host Bus Adaptor, уходят в FC сеть, там коммутатор на основе FC_ID передает их на соответствующую систему хранения. Аналогично это работает и в обратную сторону. А вот схема работы FCoE несколько отличается от FC, здесь трафик на уровне приложения сразу разделяется на две части, запросы на доступ к системе хранения идут через SCSI команды в FC, а доступ к сетевым ресурсам идет через стек TCP/IP, на конвергентном адаптере эти два трафика сходятся, заворачиваются в Ethernet и передаются в сеть. Дальше обычный сетевой трафик Ethernet обрабатывается стандартным образом, а FCoE приходит на коммутатор с поддержкой FCoE, этот коммутатор разбирает его до уровня FC и на основе этих данных коммутирует трафик в соответствующую систему хранения с поддержкой FCoE.
Теперь кратко про основные типы портов, которые используются в FC/FCoE: порты между коммутаторами фабрики называются E-порты, порты между фабрикой и потребителями/генераторами трафика – это F и N-порты, соответственно, порты между фабрикой и прокси-коммутатором – NP-порты. В FCoE порты именуются похожим образом, только добавляется буква V (от слова Virtual) – VN, VE, VNP.
Суммирую вкратце некоторые базовые понятия FC/FCoE:
• При подключении устройства в сеть FC, фабрика регистрирует его и выдаёт ему FC_ID, по которому затем будет коммутироваться трафик с этого N порта, это процесс так называемого логина на фабрику. При этом происходит инициализация механизма B2B (buffer-to-buffer) кредитов.
• VSAN — используется для логического разделения фабрики на базе физических портов, фактически для виртуализации. Как я уже говорил, это, фактически, аналог VLAN в Ethernet.
• Zoning – это механизм контроля доступа в FC/FCoE, аналог двунаправленного ACL, который позволяет изолировать устройства друг от друга.
• По аналогии с Ethernet, VSAN – это виртуальная сеть, а Zoning – это ACL, список контроля доступа, который на данном виртуальном интерфейсе разграничивает доступ, внутри VSAN.
• Маршрутизация в FC/FCoE осуществляется с помощью протокола FSPF, который подобен по сути OSPF в IP. Работает он только на портах фабрики (Е-портах).
Для того, чтобы FCoE мог нормально работать (а FCoE – это протокол плоскости передачи данных), нужна контрольная плоскость, которая реализуется в FCoE при помощи протокола FIP (FCoE Initialization Protocol), который реализует сервисы поиска и логина на фабрику, и т.д. Нужно помнить, что это два разных протокола, хотя и определены они в одном стандарте FC-BB-5.
FIP Snooping Bridge — это коммутатор, который стоит между фабрикой и конечными устройствами (Node) и отслеживает процесс подключения Node к фабрике (например, смотрит на VLAN-е с каким FC-MAP идут кадры и совпадает ли он с тем, что назначила фабрика).
FCF – это, собственно, фабрика, которая реализует все сервисы FC (на которой node логинится, получает FC_ID и т.д.) и которая передает трафик между Node. Отличия между FCF и FCB FSB очевидны, я их уже сказал – фабрика реализует все FC сервисы и коммутирует FC трафик в соответствии с FC_ID и настройками. FSB FCB слушает трафик, поддерживает стандарты Lossless Ethernet и проверяет процесс подключения Node к фабрике. Без фабрики он обеспечивать работать не может, ему обязательно нужна фабрика на upstream.
Завершая теоретическую часть, проговорим про важные механизмы NPV и NPIV – что такое NPIV, NPV и зачем это нужно. Коммутатор в NPV-режиме – это прокси, который позволяет скрыть за собой выделение нескольких FC_ID на один N (Node) порт. При этом, NP порт подключается к F порту и функционирует как прокси для N портов NPV коммутатора, что особенно актуально, когда число FC коммутаторов в домене ограничено. Механизм, который позволяет выделение нескольких FC_ID на один N-Port, носит название NPIV. N-порту соответствует идентификатор N-Port-ID и существует взаимно-однозначное соответствие между WWPN and N-Port-ID. Где и зачем это нужно – прежде всего, это нужно там, где есть несколько приложений, использующих доступ к FC фабрике и нужно разделять для них один Host Bus Adapter и разграничивать доступ к ресурсам. Чаще всего, в качестве NPV коммутаторов выступают коммутаторы ToR, концентрирующие в себе трафик из стойки или blade-коммутаторы. Они логинятся на фабрику, а логины (FLOGI) от непосредственных node заменяют на FDISC и проксируют таким образом FC трафик. Это позволяет сэкономить Domain ID, т.к. коммутатор один, что позволяет лучше масштабировать сеть. Кроме того, этот механизм дает коммутатору возможность взаимодействовать с оборудованием других производителей.
Несколько слов про то, как собрать готовое конвергентное решение из оборудования НР. Hewlett-Packard имеет обширный портфель коммутаторов ЦОД, поддерживающих технологии FC/FCoE и, прежде всего, это конвергентный коммутатор 5900CP с поддержкой полного стека FC/FCoE. Это коммутатор не новый («обкатанный»), с возможностью изменения направлений потока обдува, низкой задержкой на портах, высокой производительностью, поддержкой 40Г uplink-портов и стекирования в IRF-фабрику (до 9 штук, при этом полоса пропускания стекового соединения составляет 320 Гбит/с). Стек позволяет реализовать в полной мере концепцию Pay as you grow, т.е. вы добавляете в стек оборудование по мере роста потребности, а не платите сразу всю сумму. В коммутаторе поддерживаются конвергентные трансиверы, которые могут работать в двух режимах — в режимеEthernet и FC/FCoE, и не конвергентные трансиверы, которые нельзя «превратить» в Ethernet из FC и наоборот.
На этой схеме показано, как может выглядеть ваш конвергентный ЦОД — в блэйд-шасси запускается виртуальный коммутатор 5900v, который подключается к ToR коммутатору 5900 серии, затем ToR подключается в ядро коммутации ЦОД – 12500, 12900 или 11900. Наружу и между площадками трафик ходит через маршрутизаторы HSR серии 6600 или 6800.
Напоследок еще раз напомню ключевой момент лицензионной политики HP Networking – коммутаторы поставляются с полнофункциональным ПО и не требуют лицензии для активации функционала FC/FCoE, а также TRILL, SPB, DCB и т.д.
Автор: exceed
