Как построить СХД с ракетной тягой на стандартном железе? Архитектура аппаратной платформы SDS RAIDIX

RAIDIX — программная СХД или SDS (Software Defined Storage), которая позволяет строить на базе стандартного серверного оборудования надежные, производительные и отказоустойчивые хранилища данных.

В данной статье мы хотим рассказать о том какие требования к железу предъявляет RAIDIX, описать варианты развертывания нашего SDS, привести примеры аппаратных конфигураций СХД на базе RAIDIX и возможные сферы их применения.

Требования к оборудованию

Для развертывания SDS RAIDIX потребуется следующее серверное оборудование:

• 1-2 процессора Intel Xeon подходящей модели и необходимый объем ОЗУ;
• один или несколько SAS HBA-адаптеров для подключения внутренней и/или внешних дисковых корзин; аппаратные RAID-контроллеры с RAIDIX не совместимы;
• один или несколько интерфейсов для синхронизации кэша в двухконтроллерной конфигурации; есть несколько вариантов: SAS, InfiniBand, Ethernet; возможно дублирование интерфейсов; в одноконтроллерной конфигурации данные интерфейсы не нужны;
• интерфейсы для подключения к сети SAN и/или NAS: Ethernet, InfiniBand, FC; возможно прямое подключения к хостам (клиентам) по SAS;
• интерфейсы для трафика управления и «heartbeat»; поддерживается использование выделенных или разделяемых с другими типами трафика портов Ethernet; достаточно полосы пропускания от 100Мб/с; для «heartbeat» рекомендуется использовать выделенные интерфейсы с прямым подключением между контроллерами, это необходимо только для двухконтроллерной конфигурации;
• любые стандартные модели HDD SAS/SATA, без ограничений по объёму, скорости, форм-фактору или производителю;
• серверная платформа, подходящая для установки перечисленного выше оборудования.

Для подключения большого количества дисков предполагается использовать внешние дисковые полки, подключаемые по SAS. Рекомендуется использовать внутренние и внешние дисковые полки с поддержкой горячей замены дисков.

Существует лист совместимости, перечень рекомендуемого и протестированного оборудования.

Варианты развертывания

RAIDIX предполагает два варианта развертывания: одно- и двухконтроллерный. В первом варианте ПО RAIDIX устанавливается на один физический сервер, выполняющий роль контроллера СХД. Диски объединяются в отказоустойчивый RAID-массив, однако сам сервер и некоторые его компоненты образуют единые точки отказа. Это может быть приемлемо для некритичных задач.

Двухконтроллерная конфигурация предполагает установку ПО RAIDIX на два идентичных физических сервера, каждый из которых становится контроллером СХД. Это могут быть отдельные серверные платформы, либо единая платформа с двумя серверными узлами (cluster-in-a-box). Оба контроллера физически подключаются к единому дисковому пулу, размещаемому на внутренних и внешних дисковых корзинах. RAIDIX объединяет два сервера в отказоустойчивый active-active кластер, кэш контроллеров синхронизируется по выделенным интерфейсам.

В нормальном режиме нагрузка равномерно распределяется по двум контроллерам — половина созданных на дисковом массиве томов обслуживается одним контроллером, другая половина — вторым контроллерам. Если по какой-то причине один из узлов–контроллеров выйдет из строя, вся нагрузка в автоматическом режиме, без прерываний и потери данных переключится на «оставшийся в живых» контроллер. Данное решение исключает наличие единых точек отказа и подходит для критичных проектов, чувствительных к простоям.

Двухконтроллерная платформа RAIDIX

В качестве хорошего примера серверной платформы для двухконтроллерной конфигурации СХД RAIDIX можно привести решение AIC HA401-LB2. Это 4U платформа для высокодоступных серверов хранения (cluster-in-a-box) с двумя идентичными серверными узлами, дублированными блоками питания и внутренней дисковой корзиной на 24 HDD 3,5” c возможностью горячей замены. Каждый серверный узел (контроллер СХД) поддерживает два процессора Intel Xeon, до 2ТБ ОЗУ и 6 PCIe-слотов. Оба серверных узла оснащены парой встроенных портов 1GbE и парой встроенных портов 10GbE. Этого достаточно для развертывания очень производительной СХД с ёмкостью от двух десятков до несколько сотен дисков. Данную платформу можно назвать одной из рекомендуемых, она успешно используется во многих проектах на базе RAIDIX.

Пару встроенных портов 1GbE удобно использовать для управления СХД и передачи «heartbeat» между контроллерами. Пара встроенных портов 10GbE может быть использована для подключения к сети хранения: iSCSI или NAS-протокол.

Каждый контроллер платформы AIC HA401-LB2 имеет 6 слотов расширения PCIe 3.0. Для получения максимальной пропускной способности хранилища данные слоты PCIe должны быть поровну распределены для организации трех типов подключений, предполагающих установку соответствующих адаптеров:

• 2 адаптера для подключения СХД к сети хранения;
• 2 адаптера для синхронизации кэша контроллеров;
• 2 адаптера для подключения внешних дисковых полок.

AIC HA401-LB2 поддерживает установку только Low-Profile PCIe-адаптеров. Для подключения внешних дисковых полок в решениях на базе RAIDIX необходимы SAS HBA-адаптеры Broadcom (LSI). Данный производитель в формате Low-Profile выпускает только PCIe 3.0 х8 адаптеры.

Теоретический максимум пропускной способности шины PCIe 3.0 х8 составляет 7,9ГБ/с. Практика показывает, что реальная пропускная способность такого интерфейса составляет не более 6,5-7,5ГБ/с. Если усреднить данное значение до 7ГБ/с, то с двух адаптеров для подключения внешних дисковых полок можно выжать 14ГБ/с — это максимально возможная пропускная способность RAIDIX для данной аппаратной платформы.

При указанном выше распределении PCIe-слотов к данной платформе напрямую можно подключить от двух до восьми дисковых полок:

• доступно по два SAS HBA-адаптера на контроллер,
• по 2 (SAS 9300-8E) или 4 (SAS 9305-16E) SAS-интерфейса (mini-SAS HD) на SAS HBA-адаптер в зависимости от модели.

Итого от двух до восьми SAS-интерфейсов на контроллер. Таким образом, с учетом внутренней дисковой корзины AIC HA401-LB2 на 24 диска, использование двух дисковых полок 4U на 60 HDD 3,5’’ SAS/SATA позволяет организовать СХД на 144 диска, общая высота оборудования в стойке — 12U. Подключение восьми таких полок даёт возможность построить на данной платформе СХД с общей ёмкостью 504 HDD 3,5’’, общая высота оборудования в стойке — 36U. При использовании дисков на 10ТБ полезная ёмкость такого хранилища составит до 4,2ПБ.

Дальнейшее увеличение объёма и повышение пропускной способности хранилища RAIDIX возможно с использованием аппаратных платформ с большим количеством PCIe-слотов х8 (и/или поддержкой PCIe х16) для установки необходимого числа сетевых и дисковых адаптеров.

Задачи не требующие большой производительности и объёмов СХД позволяют ограничиться меньшим количеством адаптеров, использовать все 6 PCIe-слотов не нужно, если нет такой необходимости.

Например, если для проекта хватает внутренней дисковой корзины AIC HA401-LB2, будет достаточно поставить по одному адаптеру на контроллер для синхронизации кэша. При необходимости можно добавить 1-2 сетевых адаптера на контроллер.

В случае подключения одной дисковой полки на 60 HDD для получения пропускной способности 10ГБ/с (на 2 контроллера) можно обойтись четырьмя слотами PCIe на контроллер:

• 1 адаптер для подключения СХД к сети хранения (2 порта 10GbE + 2 встроенных порта 10GbE, в сумме 40Гб/с или 5ГБ/с на контроллер);
• 2 адаптера для синхронизации кэша контроллеров;
• 1 адаптер для подключения внешних дисковых полок.

Таким образом, SDS RAIDIX позволяет:

• спроектировать оптимальное хранилище для каждой конкретной задачи;
• подобрать только нужные компоненты;
• предусмотреть возможность расширения.

В итоге конечный заказчик решения получает максимальную гибкость при проектировании и отсутствие переплаты за ненужные компоненты.

Примеры конфигураций СХД на базе RAIDIX

Двухконтроллерная конфигурации RAIDIX на 24 HDD 3,5”

Максимальная пропускная способность 3-4ГБ/с: 24 SAS диска 7200rpm, 150-200МБ/с throughput с 1 диска, 2 группы RAID-6 или RAID-7.3 по 12 дисков.
Полезная ёмкость: 182 ТБ для RAID-6 и 164 ТБ для RAID-7.3
Использование двух RAID-групп по 12 дисков позволяет привязать их на отдельные контроллеры и снять с каждой до 1,8-2 ГБ/с. Сеть хранения можно организовать на iSCSI 10GbE, тогда для подключения СХД к инициаторам можно использовать встроенные в серверную платформу порты 10GbE — по 2 порта на контроллер.

При желании можно сделать одну большую группу RAID-7.3 или RAID-6 на 24 диска, но активным будет только 1 контроллер. Соответственно, двух встроенных портов 10GbE может не хватить, придется устанавливать дополнительные сетевые интерфейсы на каждый контроллер: по двухпортовой карте 10GbE либо FC-адаптеры.

Для подключения внутренней дисковой корзины можно использовать встроенный в платформу (материнскую плату) 3008 SAS HBA-адаптер. Для синхронизации кэша с запасом хватит по одному SAS HBA-адаптеру Broadcom SAS 9300-8e на контроллер.

Спецификация на 24 HDD 3,5” 10ТБ на встроенных интерфейсах 10GbE

Двухконтроллерная конфигурации RAIDIX на 84 HDD 3,5”

Максимальная пропускная способность. К использованной в предыдущей спецификации серверной платформе необходимо добавить внешнюю дисковую полку на 60 HDD 3,5”. С внутренней полки снимаем 3,5ГБ/с, с внешней 6,5ГБ/с. Итого, нужно отдать и синхронизировать 10ГБ/с.

Полезная ёмкость: 691,22 ТБ для RAID-6 и 654,84 ТБ для RAID-7.3

Для подключения внутренней дисковой корзины продолжаем использовать встроенный в платформу (материнскую плату) 3008 SAS HBA-адаптер. Для подключения внешней корзины и синхронизации кэша понадобится по три HBA-адаптера Broadcom SAS 9300-8e на контроллер: один для подключения дисков, два для синхры.

Подключение СХД к сети хранения можно организовать несколькими способами, в зависимости от инфраструктуры и требований проекта.

Вариант-1, iSCSI 10GbE. Для того, чтобы СХД выдала наружу 10ГБ/с (или 80Гб/с) понадобится как минимум 4 порта 10GbE на контроллер. С учетом 2х встроенных в платформу портов 10GbE понадобится установить на каждый контроллер по одному 2х-портовому адаптеру 10GbE. Однако в таком случае при падении одного контроллера, второй сможет выдать лишь половину пропускной способности массива — 40Гб/с. Поэтому в идеале необходимо установить по три 2х-портовых адаптера 10GbE на контроллер — 80Гб/с с контроллера.

Спецификация на 84 HDD 3,5” 10ТБ, внешние интерфейсы 10GbE

Вариант-2, FC 16Gbps. Компромиссный вариант по 4 порта 16GbFC на контроллер. Получаем 128Гб/с на два контроллера и 64Гб/с при отказе 1 контроллера (не 80Гб/с нужные в идеале, но тоже неплохо).

Спецификация на 84 HDD 3,5” 10ТБ, внешние интерфейсы 16GbFC

Двухконтроллерная конфигурации RAIDIX на 264 HDD 3,5”

Максимальная пропускная способность — 13-14 ГБ/с. Определяется пропускной способностью PCIe 3.0 х8 (6,5-7 ГБ/с на слот).

Полезная ёмкость: 2,183 ПБ для RAID-6 и 2,092 ПБ для RAID-7.3. Используем ёмкость внутренней дисковой корзины платформы и 4 внешних дисковых полки 4U на 60 HDD 3,5’’.

Для подключения внутренней дисковой корзины продолжаем использовать встроенный в платформу (материнскую плату) 3008 SAS HBA-адаптер. Для подключения внешних полок используем по два HBA-адаптера Broadcom SAS 9305-16e на контроллер. Для синхронизации кэша понадобится по два HBA-адаптера Broadcom SAS 9300-8e на контроллер. Итого на контроллерах задействовано четыре PCIe-слота из шести.

Подключение СХД к сети хранения можно организовать несколькими способами, в зависимости от инфраструктуры и требований проекта.

Вариант-1, iSCSI 10GbE. На каждый контроллер можно установить по 2 двухпортовых адаптера 10GbE, с учетом двух встроенных портов получаем по шесть интерфейсов 10GbE на контроллер. Общая пропускная способность сетевых подключений платформы составит 15ГБ/с, что с запасом покрывает общую пропускную способность конфигурации (13-14ГБ/с). Однако, при падении одного контроллера, пропускная способность системы упадет до 7,5ГБ/с, поскольку останется только половина портов 10GbE.

Спецификация на 264 HDD 3,5” 10ТБ, внешние интерфейсы 10GbE

Вариант-2, FC 16Gbps. Устанавливаем по 4 порта 16GbFC на контроллер. Общая пропускная способность сетевых подключений платформы составит 16ГБ/с, что с запасом покрывает общую пропускную способность конфигурации (13-14ГБ/с). При падении одного контроллера, пропускная способность системы снижается до 8ГБ/с.

Спецификация на 264 HDD 3,5” 10ТБ, внешние интерфейсы 16GbFC

Примечание

В перечисленных выше примерах конфигураций для трафика управления и «heartbeat» используются встроенные порты 1GbE.

Рассмотренные примеры конфигураций RAIDIX не предполагают использование spare-дисков для получения максимальной полезной ёмкости хранилища.

RAIDIX поддерживает выделение spare-дисков и обеспечивает переключение на них в случае отказов. Использование spare-дисков и их количество зависит от условий проекта и определяется на усмотрение заказчика, общие рекомендации дать сложно. При отсутствии свободных слотов под spare-диски рекомендуется держать необходимое количество дисков в «холодном» резерве для их оперативной замены вручную.

Сфера применения

Установка RAIDIX на описанные выше варианты аппаратных платформ позволяет получить следующие преимущества:

• Максимальная производительность на последовательной нагрузке, в т.ч. многопоточной. Это актуально для задач, где ключевым параметром является пропускная способность – throughput (GB/s), а не величина IOPS, важная для случайного доступа. При этом высокая производительность гарантируется не только для единого потока нагрузки, но и для множества параллельных конкурирующих потоков в рамках одного хранилища.
• Высокая отказоустойчивость (доступность). Поддержка двухконтроллерной конфигурации СХД, исключающей наличие единых точек отказа. Поддержка RAID-групп с помехоустойчивым кодированием, гарантирующих целостность и доступность данных при одновременном отказе до двух (RAID-6) и более (RAID-7.3 и RAID-N+M) дисков.
• Большая полезная ёмкость и высокая плотность хранения. RAIDIX позволяет эффективно работать с большими RAID-группами с помехоустойчивым кодированием на 12-24 диска. При этом успешно могут использоваться HDD большого объёма — 6-12ТБ.
• Отсутствие падения производительности при отказе дисков, быстрая реконструкция. Проблема большинства хранилищ заключается в резком падении производительности под нагрузкой при выходе из строя дисков в RAID-группах c контрольными суммами (RAID 5 или 6), когда массив находится в деградированном состоянии. Это может приводить к перебоям в работе сервисов. Реконструкция дисковых групп в таких решениях занимает продолжительное время, чем дольше она происходит, тем больше риск выхода из строя новых дисков и потери данных. Технологии помехоустойчивого кодирования в RAIDIX реализованы таким образом, что производительность хранилища сохраняется даже при потере допустимого конфигурацией количества дисков. При этом реконструкция происходит в несколько раз быстрее, чем у конкурентов.
• Возможность модернизации и вертикального масштабирования. СХД на базе RAIDIX поддерживают гранулярное расширение внутри системы посредством установки дополнительных дисков и дисковых полок, добавления HBA-адаптеров, сетевых интерфейсов, увеличения процессорной мощности и объёма ОЗУ. Возможность модернизации предполагает замену перечисленных выше компонентов на более новые и совершенные в случае их физического и морального устаревания. Максимально гибко исходя из потребностей конечного заказчика.

Этом может быть необходимо в таких сферах как:

• Видеонаблюдение
• медиа-индустрия
• Резервное копирование
• HPC (суперкомпьютеры)

Если задача не требует высокой пропускной способности, при этом необходим большой объём и плотность хранения, можно ограничиться встроенными портами 10GbE и несколько снизить требования к процессору и ОЗУ. Это может быть актуально для файловых и контентных хранилищ, архивов. Нужно исходить из условий конкретного проекта и подбирать оптимальное решение.

Автор: raidixteam

Источник