Если спросить у популярного GPT-бота, какое серверное железо появилось в марте 2024 года, — он расскажет о серверах на основе квантовых вычислений. А еще про сверхпроводящие интерференционные устройства и технологии ионных ловушек для хранения и обработки кубитов. Правда это или простая галлюцинация нейросети — оставим на обсуждение в комментариях. Но что точно настоящее, так это дайджест железа.
Привет! Меня зовут Сергей, я менеджер выделенных серверов в Selectel. В этой статье расскажу о новинках в мире железа за прошедший месяц. В программе — новые видеокарты от NVIDIA, коммутаторы, диски и СХД. Подробности под катом!
Давно хотите , но нет такой возможности? Пройдите квест и выиграйте до 15 000 бонусных рублей на услуги Selectel! Регистрируйтесь на сайте и попробуйте себя в роли сыщика: найдите на страницах Selectel спрятанные ссылки и первыми дойдите до финала. Выиграйте эксклюзивный мерч и промокод на сервисы Selectel.
GPU и платформы
NVIDIA
Устройства на базе Blackwell. Источник.
NVIDIA анонсировала линейку устройств на новой архитектуре Blackwell, среди которых — GPU NVIDIA B200. По сравнению с предыдущей архитектурой Hopper производитель отмечает 30-кратный рост производительности.
Устройства с умопомрачительными характеристиками могут заменить NVIDIA H100 и анонсированную, но так и не выпущенную H200. Два чиплета B200 суммарно имеют 208 млрд транзисторов, выполненных по техпроцессу TSMC 4NP. Они объединены интерконнектом NV-HBI с пропускной способностью 10 ТБ/с. А в роли памяти выступают восемь стеков HBM3e емкостью до 192 ГБ с пропускной способностью до 8 ТБ/с.
Благодаря этому в разреженных FP4-вычислениях производительность достигает 20 Пфлопс, а в FP8-вычислениях — 10 Пфлопс. Кроме того, в тензорных ядрах применено второе поколение механизма Transformer Engine, которое увеличивает скорость обучения с инференсом и максимальный объем модели в памяти ускорителя.
Естественно и то, что GPU B200 будут представлены не только в форм-факторе PCIe 6.0 (32 линии), но и в аналоге SXM с интерконнектом NVLink™ 5. По сравнению с NVLink™ 4 пропускная способность увеличили в два раза — до 1,8 ТБ/с (по 900 ГБ/с в каждую сторону). Для создания кластеров можно использовать коммутатор NVSwitch™ 7.2T, который способен объединить до 576 устройств в одном домене. Также с помощью коммутаторов 800G можно создать кластер вместимостью до 100 000 ускорителей.
NVIDIA B200. Источник.
В виде готовых устройств представлены следующие решения:
Среди них есть базовые устройства:
- HGX B100 — плата с восемью ускорителями Blackwell с TDP до 700 Вт, объединенных NVLink™ 5;
- HGX B200 — плата с восемью ускорителями Blackwell с TDP до 700 Вт, объединенных NVLink™ 5.
Их можно использовать с воздушным охлаждением и объединять интерконнектом 400G.
Следующие решения основываются на базе серверов GB200, которые выглядят как замена GH100 (GH200). Здесь нас встречает знакомая схема: два ускорителя Blackwell (объединены NVLink™ 5) и ARM-процессор Grace. С ускорителями процессор связан шиной NVLink-C2C с пропускной способностью до 900 ГБ/с.
Для примера разберем представленное в таблице устройство GB200 NVL72. В нем — 72 ускорителя GB200 и 18 коммутаторов NVSwitch™ 7.2T, которые провязывают все ускорители по схеме «каждый-с-каждым».
Энергопотребление такого суперкомпьютера достигает 120 кВт. Охлаждение, естественно, жидкостное. Размер GB200 равен одной серверной стойке, производительность достигает до 1,44 Эфлопс в FP4-вычислениях и до 720 Пфлопс в FP8, а общий объем памяти — более 30 ТБ.
Полноценный запуск, подробные характеристики и совместимые решения от вендров ожидаются до конца 2024 года. Мировой спрос на такие устройства будет — это безусловно. А вот на счет потребности и возможности реализации таких систем в России есть сомнения.
ASRock Rack
Сервер 4U8G-EGS2. Источник.
ASRock Rack на конференции NVIDIA GTC 2024 представили ряд серверов с GPU для задач искусственного интеллекта и высокопроизводительных вычислений.
Во-первых, есть серверы в форм-факторе 4U.
- 4U8G-EGS2, 4U10G-EGS2 для Intel® Xeon® Scalable 4 и 5 поколения с 32 слотами DDR5.
- 4U8G-GENOA2 и 4U10G-GENOA2 для AMD EPYC™ 9004 c 24 слотами DDR5.
Они могут оснащаться ускорителями NVIDIA H100 NVL и H200 NVL, а в будущем — NVIDIA Blackwell. Серверы с индексом 4U8G поддерживают восемь двухслотовых карт с интерфейсом PCIe 5.0 x16, решения 4U10G — соответственно, десять.
Во вторых, есть 6U-серверы на базе процессоров Intel® Xeon® Scalable 4 и 5 поколения.
На борту все те же 32 слота DDR5. Серверы предназначены для установки восьми GPU H100 или H200. По традиции: подобные устройства питают восемь блоков на 3 000 Вт.
В-третьих, вендор представил сервер 4UMGX на модульной архитектуре NVIDIA MGX, предназначенной для создания AI-систем на базе CPU, GPU и DPU. Устройство поддерживает восемь ускорителей NVIDIA H100 NVL или H200, а также новые GPU NVIDIA Blackwell. Однако подробные спецификации не были анонсированы.
Tenstorrent
Ускоритель Grayskull. Источник.
Компания Tenstorrent из Канады представила AI-ускорители Grayskull™ e75 и e150 на базе одноименных процессоров Grayskull с архитектурой RISC-V. Ускорители предназначены для экспериментов, разработок в области искусственного интеллекта и отладки приложений.
Младшее устройство содержит 96 ядер в CPU с частотой 1 ГГц, старшее — 120 ядер с частотой 1,2 ГГц. В обоих устройствах доступно 120 МБ SRAM и 8 ГБ LPDDR4 с пропускной способностью до 118 Гбит/с в старшей версии.
Стоимость в Северной Америке составляет около 600 и 800 долларов за устройство. А для использования ускорителей были представлены инструменты TT-Buda и TT-Metalium.
- TT-Buda — высокоуровневый стек, предназначенный для компиляции и запуска AI-моделей.
- TT-Metalium — низкоуровневая программная платформа, обеспечивающая прямой доступ к аппаратным ресурсам.
Заявлена поддержка PyTorch, ONNX, BERT, ResNet, Whisper, YOLOv5 и U-Net. Производители отмечают простоту программирования по сравнению с GPU. Также были анонсированы сетевые устройства Wormhole n150 и Wormhole n300 с возможностью объединения плат для масштабирования.
Устройства на RISC-V многое значат для развития альтернативных архитектур процессоров. Так, у нас уже есть опыт с ARM-процессорами, которые в ряде задач превосходят x86.
Zotac
Сервер с GPU. Источник.
Компания Zotac представила серверы с GPU в форматах rack-mount и workstation tower. Платформы работают с процессорами Intel® Xeon® Scalable четвертого и пятого поколений.
Сервер с GPU. Источник.
Стоечное решение в формате 4U поддерживает установку до десяти GPU, на фото также видны 12 корзин для дисков с поддержкой горячей замены. 8U-решение предназначено для 12 DPU PCI-e. Блоки питания реализованы по схеме «2+2» или «4+1». К сожалению, производитель не приводит подробные характеристики.
Серверы предназначены для задач искусственного интеллекта и высокопроизводительных вычислений. Также в линейке производителя уже есть серверы с GPU для аналогов от AMD — серверной линейки процессоров AMD EPYC™ 9004.
Мы в Selectel также предоставляем серверы с восемью GPU на борту, но предпочитаем более привычные решения от Supermicro и Asus.
RAM
Micron
Оперативная память MCR DIMM. Источник.
Компания Micron анонсировала NVIDIA GTC 2024 — новые модули оперативной памяти (MCR DIMM) емкостью 256 ГБ для серверов следующего поколения, например Intel® Xeon® Granite Rapids. Устройства соответствуют стандарту DDR5-8800 и уже находятся на тестах клиентов Micron.
Продемонстрированные модули имеют нестандартно «высокий» типоразмер, однако производитель обещает и совместимые с 1U-серверами. Энергопотребление ожидаемо выше, чем у планок RDIMM, и составляет 20 Вт. Максимальный объем памяти сервера, оснащенного такой памятью, может составлять 6 ТБ.
Напомню, что на сегодня максимальный объем планки — 128 ГБ. Такие устройства можно выбрать у нас при заказе сервера произвольной конфигурации.
СХД
Аэродиск
СХД ENGINE AQ. Источник.
Продолжаю традиционную ежемесячную серию новостей о российских системах хранения данных. В программе — СХД серии ENGINE AQ от российской компании «Аэродиск».
Серия включает СХД среднего класса Engine AQ 440, 450 и 460, которые основаны на платформах Aquarius FS440, FS450 и FS46 соответственно. Все оснащены процессорами Intel® Xeon® и имеют 256 ГБ оперативной памяти в базовой конфигурации. СХД выполнены в форм-факторе 2U+2U, 4U и 6U. Общая емкость может достигать 608 дисков с учетом установки в модули расширения.
Устройства предназначены для решения различных задач, включая виртуализацию, базы данных, видеонаблюдение и корпоративные приложения с высокой нагрузкой. Ожидается также модель начального уровня «Лайт» для малого и среднего бизнеса.
Диски
Western Digital
Диск WD Red Pro NAS. Источник.
Редкий дайджест обходится без новостей о HDD на 24 ТБ. В марте Western Digital стартовала поставки дисков WD Red Pro. Они выполнены по технологии OptiNAND на основе встроенной флеш-памяти iNAND в формате LFF с использованием CMR, традиционной магнитной записи. Диск оптимизирован для работы в составе объемных NAS корпоративного уровня с различными RAID-массивами.
Основные характеристики
- Скорость передачи данных — 287 МБ/с.
- Скорость вращения шпинделя — 7200 об/мин.
- MTBF (среднее время наработки на отказ) — 2,5 млн часов.
В наших серверах произвольной конфигурации мы предлагаем клиентам 22 ТБ HDD и 16 ТБ U.2 SSD NVMe, но присматриваемся и к 24 ТБ моделям HDD. Одной из основных характеристик при выборе максимального объема дисков остается стоимость 1 ТБ пространства.
Коммутаторы
Yadro
Коммутаторы KORNFELD. Источник.
Российская компания Yadro представила коммутаторы KORNFELD. Они производятся на заводе в Дубне и по праву считаются отечественным оборудованием.
Устройство выполнено в форм-факторе 1U для дата-центров. На борту — процессор Intel® Xeon® D-1712TR Ice Lake с четырьмя ядрами, восемью потоками и базовой частотой 2,0 Ггц. Коммутатор использует ASIC-чип с пакетным буфером в 32 МБ, а также оснащен M.2-диском на 120 ГБ и двумя модулями оперативной памяти DDR4 по 8 ГБ.
Для подключения используются 48 портов 10/25GbE SFP28 и восемь портов 25/40/100GbE QSFP28. Также на коммутаторе размещены разъемы RJ-45, два коннектора SFP+ 1/10GbE и порт USB Type-A. За питание отвечают два блока по 800 Вт с резервированием и горячей заменой.
Коммутатор поддерживает протоколы OSPF, BGP, ECMP, VRRP, MLAG, TACACS+, RADIUS, сети VLAN (802.1Q), агрегацию LACP, а также LLDP.
Заключение
Март выдался довольно средним по количеству новостей, но объемным по стоимости представленных устройств. В дайджест не попали новости о таких новинках, как Supermicro SuperCluster или суперкомпьютер HPE. На мой взгляд, подобные системы в России имеют точечный спрос, а также сложности с поставками.
Продолжаю следить за более прикладными и доступными устройствами. Увидимся в мае!
Автор: Сергей Ковалёв
