Ставим эксперименты над «железом»: препарируем ARM-процессор, «Эльбрус» и сервер с 8 видеокартами

В Selectel есть особенный отдел — Selectel Lab. Это виртуальная лаборатория, где мы ставим эксперименты над технологическими новинками ведущих вендоров. Изучить эти новинки могут и наши клиенты — предлагаем им бесплатно тестировать подобранные конфигурации в своих проектах.

В этом тексте собрали «анамнез» последних экспериментов, проведенных в нашей лаборатории. Под катом — разбор сервера на ARM-процессоре, тестирование отечественных «Эльбрусов» и препарация золотого «суперкомпьютера».

Зачем тест: Хотели сравнить заявленные производителем характеристики с реальными. Процессоры с таким числом ядер с частотой 3.0 ГГц при TDP в 210 Вт не предлагает ни один «звездный» вендор. Кроме того, на тот момент мы завозили ARM-процессоры в дата-центр, и нам нужно было понять, насколько он подойдет для наших серверных.

Уже сейчас вы можете арендовать выделенный сервер c ARM-процессором (Ampere Altra Max M128-30 3 ГГц, 128 ядер) или же протестировать сервер с ним бесплатно — в Selectel Lab (на тесте — 80-ядерный процессор).

Тестовый конфиг:

• Материнская плата GIGABYTE MP32-AR1-00
• Процессор Ampere Altra Q80-30
• Память: 16 x 16 ГБ Micron DDR4 3200 МГц ECC (256 ГБ)
• 2 SSD-накопителя Micron_5300 на 480 ГБ
• NVMe-диск на 1 ТБ M.2 SSD (GIGABYTE GP-AG41TB)
• Три видеокарты Nvidia TESLA T4

Список тестов: AI-Benchmark, Geekbench 5, ffmpeg NVENC, CUDA Toolkit, проверка температурного режима и энергопотребления.

Для сравнения с Amper Altra выбрали два процессора AMD EPYC 7513 — 64 ядра в сумме, базовая частота 2,6 ГГц (до 3.65 ГГц в режиме Turbo CORE).

Результат: В однопоточном режиме процессор выдает довольно скромные результаты (впрочем, опять же, показатели не так далеко ушли от AMD EPYC). Зато в мультипоточном лидерство Ampere Altra очень уверенное. Даже несмотря на то, что использовалось два процессора AMD EPYC 7513, Ampere Altra Q80-30 составляет конкуренцию процессору от AMD. На момент публикации, согласно внутренним бенчмаркам Selectel, этот процессор на втором месте по производительности после AMD EPYC 7742.

Базовые тесты ARM-процессора Ampere Altra показали, что на данный момент этот CPU эффективнее с точки зрения электропотребления. Учитывая этот факт и цену процессора, он экономически выгоден для дата-центра.

Подробное описание теста процессора →

Зачем тест: Хотела проработать план Б — сможем ли предоставлять сервера на отечественном процессоре? Взяли на изучение процессор «Эльбрус-8СВ». Он шел в комплекте с материнской платой «2Э8СВ-EATX» производства компании МЦСТ. Нам было важно понять, сможем ли мы встроить процессор в систему дата-центра, примет ли он все автоматизации, написанные для быстрого запуска выделенных серверов Selectel.

Тестовый конфиг:

• Корпус: 2U NVMe
• Процессор: «Эльбрус-8СВ»
• Матплата: «2Э8СВ-EATX»
• RAM: 8 шт. DDR4 32 ГБ 2933 МГц ECC Reg DIMM (MTA36ASF4G72PZ-2G9J3) Micron
• SSD: 1 шт. Micron 5300 Pro 1 ТБ
• HDD: 1 шт. ST4000NM0035 Seagate 4 ТБ
• SSD: Samsung 480 ГБ MZ7LH480HAHQ
• SSD: Intel 240 ГБ S4510

Список тестов: бенчмарк-тест Geekbench5 в режиме бинарной трансляции, также отдельным тестом стала установка ОС.

Результат: На данный момент препятствий для внедрения серверов в дата-центры более чем достаточно. Чтобы привести серверы на Эльбрусе к такому же удобству для конечного пользователя, нужно будет вложить очень много сил и времени. Придется поломать голову над автоматизацией процессов, перекомпилировать необходимые программы, подумать, как обойти все существующие ограничения.

На данный момент мы продолжаем вести коммуникацию с разработчиками и тестировать процессор. Возможно, еще вернемся с продолжением этой истории.

Подробнее о тесте «Эльбруса» →

Зачем тест: Этот сервер с 8 видеокартами нам предоставила компания Forsite. NVIDIA DGX A100 — стоечный сервер, высотой в 6U и массой более 130 килограмм. Мы хотели опробовать новинку сами и предложить поработать с этим «монстром» нашим клиентам.

Характеристики:

• 2 x AMD EPYC 7742, 128 ядер
• 2.25 ГГц
• 1 ТБ RAM
• Объем дискового пространства 15 ТБ
• GPU 8 х Tesla A100
• GPU-память 320 ГБ

Список тестов: GeekBench 5 Compute, AI-benchmark, MLPerf, также проверили «теоретическое» состояние сервера с помощью команды nvsm show health.

Мы даже сняли ролики на YouTube – посмотрите.

Результаты: Несмотря на наличие инструкции и четкий регламент, большинство тестов не запускалось из-за ошибок в зависимостях Docker-контейнеров. DGX имеет множество сложных технических нюансов и особенностей, но их нельзя прочувствовать на паре общих тестов производительности. Чтобы почувствовать настоящую мощь этого сервера, нужно «потрогать» его самостоятельно.

Посмотреть на «золотой сервер» →

Возможно, эти тексты тоже вас заинтересуют:

→ Чем заняться в 2023? Идеи для пет-проектов и подборка материалов по профессиональному развитию
→ Гиперскейлинг в 2023 год: что мы делали, чтобы поддержать бизнес клиентов
→ Loongson 3D5000: китайский процессор на собственной архитектуре. Что он из себя представляет?