Сетевой адаптер отечественной разработки с чипом TSMC (65 нм) для соединения вычислительных кластеров российского суперкомпьютера
Холдинг «Росэлектроника» госкорпорации Ростех разработал суперкомпьютер «Фишер» с пиковой производительностью 13,5 терафлопс. Это на 0,1 TFLOPS больше, чем у видеокарты nVidia GeForce RTX 2080 Ti.
Система сделана по заказу Объединённого института высоких температур Российской академии наук (ОИВТ РАН) для расчёта цифровых моделей и прогнозирования поведения веществ в экстремальных состояниях (при сверхвысоких температурах, давлениях и плотностях энергии).
Модульный суперкомпьютер сконструирован на базе сети «Ангара», которая позволяет объединять любое количество компьютеров в единый вычислительный кластер, сообщают разработчики.
Проект реализован специалистами Научно-исследовательского центра электронной вычислительной техники (входит в «Росэлектронику»).
Сеть «Ангара»
Сеть «Ангара» — первое российское решение для суперкомпьютеров высокой производительности, вычислительных кластеров для обработки больших данных и расчётов на основе параллельных алгоритмов, пишут разработчики. Суть позволяет объединить в единой системе тысячи серверов, в том числе разных производителей и с разной процессорной архитектурой.
Первое поколение «Ангары» увидело свет в 2016 году, когда «Объединенная приборостроительная корпорация», входящая в состав «Ростеха», разработала сетевой адаптер, предназначенный для соединения вычислительных кластеров. Адаптер представлял собой плату с интерфейсом PCI Express х16, оснащённую сверхбольшой интегральной схемой (СБИС).
СБИС для сетевого адаптера
Для связи с другими устройствами предусмотрены разъёмы Samtec HDLSP (до восьми подключений). СБИС ЕС8430 разработана московским «Научно-исследовательским центром электронной, вычислительной техники» (НИЦЭВТ) и изготавливается тайваньской компанией TSMC по технологии 65 нм. Плата сетевого адаптера изготавливается НИЦЭВТ на собственном производстве.
В 2018 году «Росэлектроника» представила второе поколение сети, в котором скорость передачи данных между подключенными компьютерами выросла в три раза по сравнению с первым поколением.
Коммуникационная сеть «Ангара» (1-е поколение). Принципы построения (из документации)
См. также руководство пользователя.
Второе поколение «Ангары» позволяет создавать кластеры из серверов и рабочих станций с использованием обычных медных или оптических кабелей. Разработчики утверждают, что подключить таким образом машины сможет «любой подготовленный пользователь». Коммуникационную задержку при обмене данными между узлами удалось сократить до 0,85 мкс.
Характеристики модульного суперкомпьютера «Фишер» и межконнекта
- Топология сети: 4D-тор
- Адаптер на базе СБИС
- Различные физические среды передачи данных
- 8 каналов связи
- Задержка на MPI: 0,85 мкс
- Задержка на хоп: 130 нс
- Масштабирование до 32К узлов
- Коммутаторное и бескоммутаторное исполнение
- Поддержка RDMA и GPUDirect
- Детерминированная и адаптивная маршрутизация
- Маршрутизация с обходом отказавших узлов и каналов связи
- Протокол надёжной передачи данных по каналу связи
- Поддержка ОС на базе ядра Linux
- Поддержка ОС Astra Linux Special Edition
- Поддержка средств параллельного программирования OpenSHMEM, MPI, OpenMP
- Энергопотребление до 20 Вт
«Фишер»
«Фишер» — это первый суперкомпьютер на базе «Ангары» в коммутаторном исполнении, что позволяет создавать суперкомпьютеры с большей плотностью компоновки (по сравнению с бескоммутаторным вариантом исполнения) и облегчает монтаж и дальнейшую эксплуатацию вычислительной системы за счёт уменьшения числа используемых для коммутации кабелей.
«Сложные расчёты требуются для научных исследований, обучения нейронных сетей, обработки больших объемов данных, моделирования характеристик новых изделий промышленных предприятий. При этом вычислительные ресурсы суперкомпьютеров крайне востребованы и дорогостоящи, — говорит исполнительный директор Госкорпорации Ростех Олег Евтушенко. — Сеть "Ангара" успешно решает эти задачи, позволяя сравнительно дёшево и в сжатые сроки формировать суперкомпьютеры на основе отдельных вычислительных узлов. В ОИВТ РАН уже несколько лет используется суперкомпьютер DESMOS мощностью 52,24 Тфлопс, созданный на базе предыдущего поколения сети "Ангара". Его вычислительные мощности оказались настолько востребованы учеными, что было принято решение о создании "младшего брата" этого суперкомпьютера уже на базе нового поколения коммутационной сети. Его производительность рассчитана под конкретные задачи, но при необходимости возможности "Фишера" могут быть существенно расширены».
Предыдущий кластер состоял из 32-х узлов с адаптерами на базе СБИС и процессорами Intel Xeon E5-1650 v3.
«Фишер» состоит из 24 вычислительных узлов с 16-ядерными процессорами. В вычислительном кластере используется погружная (иммерсионная) система охлаждения, обеспечивающая равномерную и энергоэффективную терморегуляцию.
На Хабре публиковалось несколько статей о разных системах иммерсионного охлаждения, например, с погружением в минеральное масло и сухую воду.
Благодаря такому решению суперкомпьютер не требует специально подготовленных помещений, а диапазон рабочих температур кластера составляет от −50°С до +50°С.
Раньше иммерсионное охлаждение считалось труднореализуемым с инженерной точки зрения и плохо масштабируемым решением, но сейчас в число самых высокопроизводительных систем мира (из рейтинга Топ 500) входит несколько достаточно компактных и крайне экономичных систем именно с погружным охлаждением.
В настоящий момент самым мощным суперкомпьютером в России является установленный в МГУ суперкомпьютер «Ломоносов-2» производства «Т-Платформы» (пиковая производительность 4,9 петафлопс, по тесту Linpack 2,5 петафлопс). На втором месте суперкомпьютер производства «T-Платформы» и CRAY, установленный в главном вычислительном центре Федеральной службы по гидрометеорологии и мониторингу окружающей среды (1,2 петафлопс по Linpack). Замыкает тройку система «Ломоносов» («Т-Платформы», МГУ) с производительностью 901,9 терафлопс по Linpack.
Автор: alizar
