Обзор серверов Quantа: интересные решения, blade-корзины размером со стойку, ульи микросерверов и HPC-фермы

Трей с дисками выезжает из корпуса, а сервер остаётся в стойке
На рынке серверов найти что-то новое — это большая удача, потому что большая часть эволюции крутится вокруг известных технологий, просто делая их сильнее, выше, быстрее и дешевле. Когда к нам привезли серверы Quantа, я ждал всего привычного, но с другим интерфейсом. Однако железки, которые привезли в КРОК на тестирование, смогли меня удивить.

Первым сюрпризом были тонкие SSD-диски «в заднице» серверов, их удобно использовать для ОС или кеширования данных. Вторым — на одной из моделей удобно выезжающие из сервера приёмники для HDD. Ну и ещё куча разных мелочей, говорящих о реально продуманной сборке, в которой, кажется, участвовал не только инженерный мозг производителя, но и люди, знающие не понаслышке, как админить фермы и дата-центры. По мере обзора покажу ещё несколько примеров.
Примечательно, что Quantа не стала выпускать клоны того, что есть на рынке. Начну с рассказа о необычных моделях, потом подробнее расскажу про приехавшее железо. Выводы, как всегда, в конце.

Интересные мелочи

Отгибающиеся ручки на коммутаторах и такие же на блоках питания


Управление 2 нодами многонодового сервера с одной морды

Удобная замена кулеров, все инструкции прилагаются

Обычно у сервера цельная крышка, при её открытии сервер может перегреваться. В случае с Quantа крышка сервера разделена на сегменты


Защёлки для удержания кабелей на блоках питания

Теперь давайте посмотрим на сами серверы Quanta

Есть несколько групп по техническим особенностям и назначению. Также для серверного оборудования есть два вида дополнительного ПО:

• Quanta System Manager (QSM) — система управления ЦОДом с интуитивно понятным графическим интерфейсом. По сути — система управления железом Quanta.
• Quanta Datacenter Manager — это Quanta System Manager с дополнительными возможностями. Может не только управлять железом, но и получать информацию от различных датчиков, вносить изменения в работу внешних систем, таких как кондиционирование. За счёт этого предполагается оптимизировать затраты электроэнергии, правильно работать с охлаждением и т. д.

В продаже QuantaGrid и QuantaPlex — новые современные модели. STRATOS — старое железо, вряд ли его можно купить в России.

Серверная стойка с оборудованием Quanta

Стандартные стоечные серверы

Да, есть в линейке и такие. Это те варианты железок, которые закроют 90% потребностей клиента, стандартные рабочие лошадки. Серверы выполнены в 1U/2U/4U форм-факторе, в стоечном исполнении. Построены на базе Intel x86. Богатый выбор компонентов, таких как мезанин-карты и RAID-контроллеры, различные варианты дисковой конфигурации (диски 3.5 или 2.5 дюйма). Для некоторых моделей есть возможность установки NVMe PCIe SSD-карт с возможностью горячей замены. NVMe — это специальный протокол, который создан для работы с SSD-носителями информации, содержит кучу оптимизаций и улучшений. Он обеспечивает лучшую производительность и минимальное время отклика для SSD-накопителей за счёт применения нового набора команд и механизма обработки очередей, оптимизированного для работы с современными многоядерными процессорами.
Многие серверы в дополнение к дискам на лицевой панели имеют 2–4 дополнительных слота для SSD-дисков. Диски могут объединяться в raid. Их удобно использовать для ОС или для кеширования данных. Диски очень тонкие (где-то в 2 раза тоньше дисков 2.5 дюйма), часто их размещают с задней стороны сервера. Выглядит это примерно так:

GPGPU-серверы

Это такие же серверы для монтажа в стойку. Их ключевое отличие — наличие одного или нескольких GPU-ускорителей GPU/Xeon Phi. Основная функция GPU — HPC вычисления. В то время как CPU включает нескольких ядер, оптимизированных для последовательной обработки данных, GPU состоит из тысяч более мелких и энергоэффективных ядер, созданных для обработки нескольких задач одновременно. Он содержит больший, чем CPU, объём памяти, но не такой быстрый, и огромное количество исполнительных блоков. По сути, работа GPU сводится к оперированию огромным количеством независимых между собой задач. Таким образом, серверы этой серии идеальны для таких задач, как:

• HPC (High Performance Computing) / technical computing (различные математические параллельные/распределённые вычисления, естественно, код приложения должен быть написан с учётом обсчёта данных на GPGPU);
• 3D Rendering.

Микросерверы

Это решение содержит большое количество вычислительных нод в относительно небольшом количестве юнитов. При этом достигается большая плотность CPU и памяти на юнит в стойке. Может содержать до 24 нод в 3 юнитах, в каждую ноду можно установить 2 или 4 диска (в зависимости от модели сервера) для ОС. Диски можно объединить в raid. Выглядит это примерно так:

Модели на 12 и 9 нод в 3 юнитах
Сервер отлично подходит для:

• выделенного хостинга;
• облачных вычислений;
• обработки больших данных;
• сети доставки контента;
• в качестве сервера для размещения веб-фронт-энда.

Многоузловые серверы (кластер в коробке)

Многоузловые серверы — это 2 или 4 сервера в одном 2U-корпусе. Высокая плотность и единые блоки питания позволяют экономить место в стойках и электроэнергию на питание и охлаждение железа. В кластерных конфигурациях диски в передней части сервера видны 2 нодам одновременно. Серверы отлично подойдут для:

• реализации 2-нодовых кластеров и кластеров из большего количества узлов (поисковые и контекстные механизмы многих высоконагруженных веб-сайтов);
• виртуализации (VMware, Microsoft и т. д.);
• решений под Hadoop;
• клиентов, которым необходима максимальная плотность вычислительных ресурсов из расчёта на 1U серверной стойки;
• экономии электроэнергии.

Серверы хранения данных

Это серверы с максимальной плотностью дисков на юнит. Моделей много, суть одна. Вот несколько примеров:

• QuantaPlex T21P-4U — вмещает до 78 дисков формата 3.5 дюйма и 2 SSD-диска для ОС. В стойке занимает 4 юнита. Сервер предназначен для монтажа в глубокую стойку. Из стандартной стойки будет торчать задняя часть.
• QuantaGrid D51PH-1ULH — сервер с 12 дисками 3.5 дюйма и 4 SSD. В стойке занимает 1 юнит. Сервер несколько длиннее стандартных серверов, но замена всех hot-plug компонентов осуществляется без вытаскивания из стойки. «Как же менять 12 дисков?» — спросите вы. А вот так, как я уже показывал в самом верху:

Сервер в стойке, трей у нас в руках
В наше время большую популярность на рынке хранения данных приобретают SDS-решения, так что в дополнение к очевидным способам применения серверы этой линейки — отличный кандидат для SDS-решений.

Элементы систем хранения данных (JBOD)

Моделей представлено немного, но они оказались очень конкурентны по цене. На мой взгляд, стоит выделить JBOD QuantaVault JB4242 с 32 дисками, установленными с фронтальной и задней стороны сервера и QuantaVault JB4602 с 60 дисками вертикальной загрузки. Оба JBOD-а выполнены в форм-факторе 4U.

QuantaVault JB4602

Сетевые коммутаторы

Quanta предлагает богатый выбор Bare Metal коммутаторов с портами 1G/10G Ethernet. Есть модели с аплинками 40G. Линейка коммутаторов покрывает все потребности клиента: от коммутаторов начального уровня с портами 1G до коммутаторов Top-of-Rack. Bare Metal — это голое железо. Внутри нет ОС. Различные варианты можно найти на сайте Quanta или скачать с сайтов компаний, которые занимаются разработкой таких Firmware.
Естественно, голое железо интересно не всем клиентам, поэтому Quanta предлагает и модели с уже предустановленной ОС. Такие, чтобы воткнул — и работает.

QCT Rackgo

QCT Rackgo — решение, основанное на спецификациях OCP Open Cloud Server (OCS), внесённых Microsoft, является инновационным для обеспечения работы бизнес-приложений, создаваемых для интеграции сервера, хранилища данных и сетевого функционала с технологиями обмена данными и эффективным управлением.
Выглядит как 42-юнитовая стойка с блоками питания и охлаждением, но есть и половинчатый вариант (наверное, его предполагается использовать для удалённых офисов). В стойку вставляются лезвия, которые не имеют своих блоков питания или кулеров. Есть лезвие хранения (JBOD), лезвие обработки данных и сетевые коммутаторы. По сути, это решение — одно большое blade шасси. Заявленная производителем экономия энергии — 35%.
Кстати, производитель заявляет, что QCT Rackgo можно охлаждать воздухом с улицы без его предварительного охлаждения (фактически брать его снаружи и туда же возвращать). Таким образом, возможна дополнительная экономия на охлаждение железа. Решение отлично подходит для новых проектов, требующих большого количества вычислительных ресурсов и ресурсов хранения, а также для проектов, подразумевающих быстрый рост хардварной составляющей.

Тестирование оборудования

На тестирование в КРОК доставили несколько моделей серверного оборудования. Вот список:

• QuantaPlex T21P-4U;
• QuantaGrid D51PH-1ULH-1U Server;
• сетевой коммутатор QuantaMesh T3048-IZ1.

В дальнейшем я более подробно расскажу про каждую из них, но сначала…

Общие впечатления

Серверы сделаны добротно, нет заусенцев и болтающихся проводов. Всё железо выглядит логично и гармонично, легко открывается и разбирается. Работать с ним приятно.
В каждом сервере есть консоль удалённого управления. Может работать как через отдельный сетевой порт, так и шарить сетевые порты для данных с ОС. Такой функционал позволяет сократить количество коммутации внутри стойки и освободить сетевые порты в коммутаторах. По функционалу консоль ничем не отличается от аналогичных консолей других вендоров. Работает шустро, без тормозов. Есть возможность обновления биоса и IMM из этой же консоли, а не с загрузочного диска.
ОС устанавливается с помощью загрузочного диска Universal Deployment Kit. Удивил меня список поддерживаемых ОС:

• Windows 2008 R2 2012 2012 R2;
• Rhel 6.5 & 7;
• Sles 11 SP3;
• Ubuntu 14.04 & 14.04.1.

Где, спрашивается, всё остальное?

На самом деле список поддерживаемых ОС (тех, которые можно установить на сервер) намного шире, но устанавливать их приходится как есть, добавляя драйвера после установки ОС. На сайте производителя есть раздел с драйверами для Linux/Window/ESX, оттуда можно скачать всё необходимое. В лаборатории мы использовали Ubuntu и SLES последних версий, работало отлично.
На сайте очень мало документации. Фактически нет ничего, кроме даташита. Из-за этого возникают некоторые неудобства. Чтобы объединить дополнительные SSD-диски в raid, пришлось писать производителю. Оказалось, что для того, чтобы получить такую возможность, надо залезть в BIOS и поменять пару настроек. Дальше уже всё очевидно. Как, интересно, люди находят это без документации?
Теперь более подробно по каждому серверу:

QuantaPlex T21P-4U

Это 4-юнитовый сервер, доступен в нескольких конфигурациях.

• нода и 78 дисков;
• 2 ноды и 70 дисков. 2-я нода и трей на 8 дисков — взаимозаменяемые компоненты, каждому серверу доступно по 35 дисков.

В каждую ноду можно дополнительно поставить по 2 SSD-диска горячей замены. Диски объединяются в Raid1. На этих дисках удобно размещать гостевую ОС.
Контроллер дисков позволяет создать только 2 Raid группы, что мало для 70 дисков, поэтому диски должны собираться в Raid группы на уровне ПО.
Длина сервера соответствует длине стандартной стойки, рукав из неё уже торчит. Таким образом, сервер предназначен для монтажа в глубокую стойку.
QuantaPlex T21P-4U можно использовать для любых задач, требующих большого количества дисков. Это может быть:

• архивное хранение;
• видеонаблюдение;
• файловые хранилища;
• SDS и распределённое хранение данных (CEPH или EMC ScaleIO).

QuantaGrid D51PH-1ULH-1U

Сервер занимает 1 юнит. Как и в предыдущей модели, его длина соответствует длине стойки, но все hot-plug компоненты этого сервера можно поменять, не доставая его из стойки. Таким образом, ему не нужен рукав, и сервер может быть установлен в стандартную стойку.
В сервере установлены 12 дисков 3.5 дюйма и 4 SSD-диска. Raid контроллер поддерживает различные типы Raid групп. Поддон с дисками 3.5 дюйма выдвигается с лицевой стороны сервера.
Сервер хорошо подходит для SDS и распределённого хранения данных (CEPH или EMC ScaleIO), для хранения и обработки больших данных (Hadoop).

Сетевой коммутатор QuantaMesh T3048-IZ1

К нам на тестирование, кроме серверного оборудования, поступило ещё и сетевое, а именно QuantaMesh T3048-IZ1. Решение интересное и выделяется из общего строя, но обо всём по порядку.
Вот так коммутаторы выглядят спереди:

А вот так сзади:

Собрано всё качественно и добротно. Отметим держатели кабеля и ручки на передней панели — мелочь, а приятно.
Но самое интересное, конечно же, внутри коммутатора. Построен он на платформе Intel ONP (Open Network Platform) — это открытый референсный дизайн для высокопроизводительных сетевых платформ и дата-центров, который был заложен с мыслями о SDN (Software Defined Networking) и NFV (Network Functions Virtualization).
Это значит, что данный коммутатор на уровне железа поддерживает OpenFlow пакеты и готов к работе с Open vSwitch.
Отметим, что сама платформа Intel ONP появилась неспроста и представляет собой попытку потеснить Broadcom, которая сейчас отлично чувствует себя в сетевом сегменте.
Так как решение стандартизировано, то в любом свитче Intel ONP вы найдёте коммутационную матрицу Intel Ethernet Switch FM6000 и серверную часть на основе процессора x86. В нашем коммутаторе бок о бок трудятся Intel Ethernet Switch FM6764 и Intel Core i3-2115C с 2 GB DDR3 и 32GB SSD. Такая конфигурация обеспечивает пропускную способность 1.28 Тб/с или 960 миллионов пакет/с при задержке <1 мкс, при этом мы получаем 48 портов 1/10GbE SFP+ и 4 порта 10/40GbE QSFP+.
Рассказав про железо, перейдем к софту. Intel и тут подошла основательно и разработала целую платформу Intel ONS (Open Network Software), которая основывается на Wind River Linux. Интересна эта операционная система тем, что имеет внутри себя ядро реального времени и продвинутые сетевые интерфейсы с увеличенной скоростью работы.
Сама Wind River была недавно куплена Intel и занимается исключительно операционными системами реального времени, как пример их работы — ОС марсохода Curiosity, поэтому оснований не доверять такой ОС нет. Для самой платформы выпущены SDK и API, а также различные отладочные утилиты, что позволит доработать ОС под себя или добавить какие-то дополнительные возможности вплоть до собственных протоколов. Если же и этого недостаточно, то на самом свитче установлен открытый загрузчик, а благодаря x86 архитектуре доступна любая другая ОС.
Отдельно перечислим доступные возможности:

Стоимость

Понятно, что по прайсу считать нельзя вообще и никогда, понятно, что серверы для разных задач разные. Но прокомментирую, что в профильных случаях (микросерверы, GPU-фермы, дисковые фермы) Quanta дешевле аналогов на 10–15 процентов, в остальных вариантах в паритете или чуть дороже тех же HP/DELL/Huawei.

Полезные ссылки:

• QCT Product Portfolio — русская версия;
• QCT Product Portfolio — полная английская версия.
• Моя почта — RPokruchin@croc.ru

Автор: КРОК

Источник