Китайские ученые создали то, что они называют «моделью искусственного интеллекта в масштабе человеческого мозга», на основе одного из своих последних суперкомпьютеров с процессорами Sunway. Ученые утверждают, что модель ИИ со 174 триллионами параметров может быть использована для самых разных приложений, начиная от автономных транспортных средств и заканчивая научными исследованиями.
Используемая система Sunway OceanLight основана на 96 000 узлов, работающих на гибридных 390-ядерных процессорах Sunway SW39010, имеющих в общей сложности почти 40 миллионов ядер. Эта машина рекламировалась как один из первых в мире экзафлопсных суперкомпьютеров.
Китайская группа исследователей из Национального исследовательского центра параллельной вычислительной техники и технологий (NRCPC) подтверждает, что созданная модель искусственного интеллекта включает около 174 триллионов параметров, что позволяет ей соперничать с количеством синапсов в человеческом . Фактическая производительность OceanLight теперь заявлена на уровне 5,3 ExaFLOPS с искусственным интеллектом, хотя ранее было заявлено, что она составляет 4,4 ExaFLOPS со смешанной точностью.
Ученые из NRCPC сообщили South China Morning Post, что для достижения достойной производительности с помощью модели искусственного интеллекта в масштабе им пришлось внедрить «аппаратную внутриузловую оптимизацию», а также «гибридные параллельные стратегии» в беспрецедентном масштабе. Учитывая тот факт, что OceanLight включает 96 000 узлов и почти 40 миллионов ядер, оптимизация аппаратного и программного обеспечения для этой системы представляет собой очень непростую задачу.
Объявление о беспрецедентной модели искусственного интеллекта было сделано через несколько недель после того, как Ок-Риджская национальная лаборатория официально представила свой Frontier — первый в мире суперкомпьютер с производительностью 1,102 FP64 ExaFLOPS в тесте Linpack. Примечательно, что NRCPC официально не публиковала результаты производительности своего OceanLight в списке 500 лучших суперкомпьютеров.
