Пока в списке самых производительных суперкомпьютеров уже год с огромным отрывом лидирует единственная система с производительностью свыше 1 эксафлопса, а СМИ в основном обсуждают две строящиеся сейчас системы с производительностью свыше 2 эксафлопс, компании Cerebras Systems и G42 неожиданно представили суперкомпьютер Condor Galaxy 1 (CG-1) с производительностью 4 эксафлопс! Правда, тут есть нюансы, да и сам суперкомпьютер крайне необычный и отличается от любой другой привычной системы этого класса.
Указанная производительность — это показатель в задачах обучения искусственного интеллекта. А это вычисления с половинной точностью, то есть FP16. Показателя для FP32 нет, но тот же суперкомпьютер Frontier, который пока ещё возглавляет список Top500, в таком же режиме имеет мощность около 3,3 эксафлопс. То есть, видимо, CG-1 можно назвать самым производительным суперкомпьютером в мире. Но даже сами создатели всё же говорят чуть иначе: это самый производительный суперкомпьютер для обучения ИИ. При такой формулировке никаких проблем с корректностью не возникает.
Однако это не всё. Дело в том, что CG-1 не зря содержит единицу в названии. Condor Galaxy 1 — это лишь первый из девяти одинаковых суперкомпьютеров, которые планируют построить Cerebras Systems и G42. И это будут не отдельные установки, а одна связанная сеть! Суперкомпьютеры CG-2 и CG-3 будут развёрнуты в США уже в начале следующего года, а итоговая производительность всей системы составит какие-то невероятные 36 эксафлопс. И тут уже вряд ли можно придраться к тому, что компании в своём пресс-релизе говорят, что их сеть суперкомпьютеров совершит революцию в развитии искусственного интеллекта.
Тут стоит напомнить, что Cerebras Systems — это компания, которая в 2019 году поразила всех своей микросхемой размером с iPad Pro. Решение под названием Wafer Scale Engine содержало 1,2 трлн транзисторов и имело максимальные размеры, которые можно выжать из 300-миллиметровой полупроводниковой пластины при прямоугольной форме. В 2021 году компания представила второе поколение данного продукта (Wafer Scale Engine 2 или WSE-2) в тех же размерах, но количество транзисторов благодаря техпроцессу 7 нм выросло до 2,6 трлн. WSE-2 имеет площадь более 46 000 мм2, содержит 850 000 ядер и 40 ГБ собственной памяти с пропускной способностью 20 ПБ/с. Потребление самой микросхемы неизвестно, но система CS-2 на основе одной WSE-2 имеет мощность 23 кВт.
Благодаря колоссальному количеству ядер, для построения самого мощного в своём классе суперкомпьютера понадобилось лишь 64 микросхемы. Если точнее, 64 системы CS-2, но каждая содержит лишь по одной микросхеме WSE-2. В итоге суперкомпьютер располагает более чем 54 млн ядер. Для сравнения, Frontier имеет 8,7 млн ядер.
Рекордная производительность позволяет разработчикам говорить не только о 4 эксафлопсах, но и о 600 млрд параметров с возможностью расширения конфигурации с поддержкой до 100 трлн параметров. К слову, в конфигурацию системы входят и процессоры AMD Epyc, но модель компания не указывает. Известно лишь, что сам суперкомпьютер содержит 72 704 процессорных ядра.
Cerebras и G42 предлагают CG-1 в качестве облачного сервиса, так что воспользоваться мощью нового гиганта смогут условно все желающие.
Предоставляя 4 экзафлопса вычислений ИИ при FP16, CG-1 значительно сокращает сроки обучения ИИ, устраняя при этом проблемы распределенных вычислений. Многие облачные компании анонсировали массивные кластеры графических процессоров, создание которых стоит миллиарды долларов, но которые чрезвычайно сложно использовать. Распространение одной модели среди тысяч крошечных графических процессоров требует месяцев и десятков людей с редким опытом. CG-1 устраняет эту проблему. Настройка генеративной модели ИИ занимает минуты, а не месяцы, и может быть выполнена одним человеком. CG-1 — первый из трех ИИ-суперкомпьютеров производительностью 4 экзафлопса, которые будут развернуты в США. В течение следующего года вместе с G42 мы планируем расширить это развертывание и обеспечить ошеломляющие 36 эксафлопс эффективных специализированных вычислений ИИ
Отдельно стоит сказать, что техническая работа полностью лежит на Cerebras Systems. G42 — это технологическая группа из ОАЭ, которая фактически купила у Cerebras аппаратное обеспечение для построения суперкомпьютеров.
