Ускорители для ЦОД: китайские и российские решения в погоне за NVIDIA

в 14:00, , рубрики: fpga, видеокарта, Видеокарты, ИИ, искусственный интеллект, ускорители, ускорители вычислений, ускорители ии, цод
Ускорители для ЦОД: китайские и российские решения в погоне за NVIDIA - 1

Привет! В прошлом материале мы поговорили о том, чем серверные видеокарты отличаются от потребительских, а теперь немного углубимся в технические аспекты профессиональных ускорителей и поговорим о решениях, которые доступны (или скоро будут доступны).

С учетом того, что рынок ИИ в России с каждым годом неуклонно растет, мы в Fplus регулярно мониторим новинки в сфере GPU и семейств xPU, чтобы предлагать клиентам необходимые мощности для развертывания производительных вычислительных систем. Сейчас, на фоне многочисленных антироссийских санкций этот вопрос как никогда актуален, поэтому мы собрали самые интересные компании, которые готовы предложить альтернативу решениям от NVIDIA. Далее по тексту мы подробно остановимся на этом вопросе.

Машинное обучение в значительной степени опирается на нейронные сети. А они в свою очередь зависят от данных, которые необходимы им, чтобы учиться и повышать свою точность. К сожалению, традиционные CPU ограничивают эту вычислительную мощность. Даже самые быстрые ЦП содержат до 192 ядер (если говорить про AMD EPYC 5-го поколения), оптимизированных для последовательной обработки. В то время как графические процессоры задействуют тысячи ядер, что позволяет им значительно ускорить инновации в сфере AI и глубокого обучения. 

Не будем голословными: одни из самых востребованных и оптимальных ускорителей на нашем рынке  NVIDIA A100, возможность установки которых предусматривается в серверах Fplus, содержат 54 миллиарда транзисторов, оптимизированных для параллельной обработки, предлагая до 20 раз более высокую производительность, чем предыдущее поколение. Новое поколение NVIDIA B200 предлагает еще большую производительность (до 4 раз). Такие высокопроизводительные GPU играют важную роль в области ИИ и машинного обучения, алгоритмы которых сегодня применяются в здравоохранении, научных исследованиях, финансах, транспорте и других областях.

1. Типы ускорителей

В широком смысле, чипы ИИ относятся к полупроводниковым чипам, способным выполнять алгоритмы ИИ. Технически эти чипы можно разделить на три категории: GPU/xPU, FPGA и ASIC. С точки зрения функциональности они охватывают два основных типа задач: обучение и вывод. Что касается сценариев применения, — чипы ИИ можно разделить на серверные и мобильные, или облачные, периферийные и терминальные.

FPGA (Field-Programmable Gate Array) — интегральная схема, которая может быть запрограммирована пользователем после производства, что позволяет создавать специализированные аппаратные решения для различных задач. В отличие от процессоров общего назначения, которые выполняют команды программного кода в последовательности, FPGA могут быть настроены для выполнения параллельных вычислений, обеспечивая высокую производительность в специфических приложениях. По сравнению с графическими процессорами они оптимально подходят для анализа потока многокомандных данных, но не для сложных алгоритмических вычислений. В основном их используют на этапе вывода алгоритмов глубокого обучения.

ASIC (Application-Specific Integrated Circuit) — чипы разработанные для выполнения конкретной задачи или набора задач. В отличие от универсальных микропроцессоров (CPU) или программируемых логических матриц (FPGA), которые могут выполнять широкий спектр операций, ASIC’и оптимизированы для выполнения только одной или ограниченной группы операций, что позволяет эффективно использовать ресурсы таких чипов (время, энергию и вычислительные мощности). В то же время разработка ASIC’ов требует больших затрат на проектирование и тестирование, что делает их неподходящими для небольших компаний. С другой стороны: после начала производства стоимость ASIC’ов становится ниже, чем у FPGA или CPU, поскольку их изготовление более стандартизировано.

GPU/xPU (Graphics Processing Unit / Cross Processing Unit or eXtreme Processing Unit) — серверные процессоры ускорители хоть и имеют некоторые общие черты с потребительскими чипами, но предназначены для решения определенных вычислительных задач: таких, как машинное обучение, обработка изображений, моделирование биологических процессов и прочее. В число таких процессоров входят GPU (графические ускорители), TPU (тензорные процессоры), NPU (нейронные процессоры), VPU (процессоры для машинного зрения) и BPU (процессоры для биологических задач). Все это специализированные вычислительные устройства, которые относятся к более узким категориям аппаратных ускорителей.

Тип xPU

Сфера

Тип задач

Тип данных

Применение

GPU

Искусственный интеллект и машинное обучение

Обучение и инференс нейросетей

Тензоры, матричные операции

Облачные сервисы

TPU

Оптимизация нейронных сетей и ИИ-алгоритмов

Обучение и инференс нейросетей

Тензоры, матричные операции

Облачные сервисы

NPU

Искусственный интеллект и машинное обучение

Инференс нейросетей и ИИ-вычисления

Нейронные сети, обработка ИИ

Мобильные устройства, камеры

VPU

Обработка изображений и видео

Компьютерное зрение, распознавание объектов

Изображения, видео, пиксели

Автономные автомобили, камеры

BPU

Биологические и когнитивные вычисления

Моделирование биологических процессов

Биологические данные, нейроподобные структуры

Биологические вычисления, нейрокомпьютеры

2. Задачи GPU-ускорителей

Итак…, графические процессоры (GPU) и вообще ускорители xPU выполняют широкий спектр задач в зависимости от области применения. Игровые видеокарты в первую очередь предназначены для рендеринга, тогда как профессиональные решения находят применение в таких областях, как медицина, наука и искусственный интеллект. Их ключевая функция — выполнение вычислительных операций, которые могут эффективно обрабатываться в параллельном режиме. Фактически все аппаратные решения в сфере ИИ можно разделить на две основные категории: первые предназначены для обучения нейросетей, вторые — для вывода, — то есть работы с уже обученной моделью. А вот сфер применения для графических ускорителей, которые и отвечают за обучение и вывод, гораздо больше.

2.1. Машинное обучение

Обучение нейронных сетей

Ускорение процессов обучения глубоких нейронных сетей, которые требуют множества параллельных вычислений. На этом этапе нейросеть тренируется на большом наборе информации, «обучаясь» выявлять закономерности, паттерны и связи между данными. 

При обучении нейросети показывается много примеров (данных), и она пытается угадать правильный ответ. Если ошибается, то корректирует свои «внутренние настройки» (веса), чтобы в следующий раз сделать лучше. Этот процесс повторяется много раз, пока нейросеть не научится давать правильные ответы на новые, похожие данные. Все это происходит с помощью математических операций и оптимизации.

Инференс (финальный этап обучения ИИ-модели)

Использование обученной модели для предсказания результатов на новых данных. Во время инференса ИИ-модель принимает входные данные, проходит через слои нейросети и генерирует результат. На этом этапе нейросеть используется для решения реальных задач, таких как классификация, регрессия, распознавание объектов, перевод текста и т.п.

Важно отличать инференс от концепции цифровых двойников. В то время как инференс ориентирован на использование фиксированной модели для обработки входных данных и получения результатов, цифровые двойники представляют собой динамические виртуальные копии объектов или систем, которые могут постоянно обновляться и изменяться в зависимости от поступающих данных.

Генерация данных

Для таких задач, как генеративные модели (например, GAN), графические процессоры необходимы, чтобы ускорить вычисления, связанные с созданием новых текстовых, графических или аудиоданных. Заметим, что в генеративных моделях часто используются операции умножения матриц и обработки тензоров (многомерных массивов данных).

2.2. Научные вычисления и симуляции

Моделирование физических процессов

В таких областях, как моделирование поведения молекул, биологических процессов или климатических изменений, xPU ускоряют вычисления, требующие «изучения» больших объемов данных и сложных математических операций. Еще нейросети для моделирования физических процессов могут быть применены и в численных методах решения физических уравнений (например, уравнений Навье-Стокса в сфере гидродинамики или уравнений Максвелла в сфере электродинамики).

Финансовые вычисления и предиктивная аналитика

В области финансов также необходимы мощные ускорители, которые обеспечивают высокопроизводительные вычисления для различных задач. В контексте финансовых вычислений ускорители используются для сложного моделирования денежных потоков, оценки рисков, стресс-тестирования банковских систем и анализа финансового здоровья компаний. Высокая вычислительная мощность графических процессоров позволяет обрабатывать сложные математические модели и симуляции, помогающие бизнесу принимать стратегические решения.

С другой стороны, предиктивная аналитика в финансах требует использования мощностей xPU для ускоренного анализа больших объемов исторических данных. В частности, нейросетевые модели применяются для прогнозирования цен на акции, облигации, валюты и сырьевые товары. Они выявляют скрытые закономерности в рыночных данных, анализируют макроэкономические факторы и помогают трейдерам и инвестиционным фондам принимать более обоснованные решения о покупках и продажах активов.

Еще в области финтеха стоит отметить активное применение генеративных моделей искусственного интеллекта, которые помогают разрабатывать новые алгоритмы для оптимизации инвестиционных стратегий и моделирования рисков. Эти модели могут генерировать сценарии, предсказания или даже создавать новые рыночные стратегии на основе анализа текущих данных и исторической информации.

2.3. Обработка больших данных и аналитика

Обработка данных в реальном времени

В задачах обработки потоковых данных (например, в сценариях мониторинга или анализа информации от сенсоров и датчиков), устройства помогают ускорить такие операции, как фильтрация и агрегация.

Обработка и анализ больших наборов данных

В вычислительной статистике и анализе данных xPU ускоряют задачи, которые можно распараллелить: например, сортировка, кластеризация или линейная регрессия.

2.4. Высокопроизводительные вычисления (HPC)

Параллельные вычисления

xPU используются в суперкомпьютерах и центрах обработки данных для ускорения параллельных вычислений, что особенно необходимо в таких областях, как биоинформатика, физика, астрономия и т.п.

Решение сложных математических задач

Выполнение высокоуровневых математических операций (таких, как линейная алгебра и матричные вычисления) и других научных расчетов.

2.5. Программирование и вычисления общего назначения (GPGPU)

CUDA, OpenCL

С помощью технологий вроде CUDA и OpenCL можно использовать GPU для вычислений общего назначения, которые выходят за пределы традиционной графики. Эти фреймворки позволяют писать программы для GPU, которые выполняют такие задачи, как научные вычисления, анализ данных, обработка изображений и т.п.

GPU и xPU-ускорители обеспечивают значительное улучшение производительности во многих областях, благодаря своей способности выполнять огромное количество параллельных вычислений. Они не ограничиваются только графикой, но активно используются в научных, инженерных и коммерческих задачах, где необходимо обработать большие объемы данных за короткое время.

3. Новый конкурент NVIDIA: Ускорители из Китая

Поскольку США пытаются ограничить доступ Китая к передовым полупроводникам, Пекин активизировал усилия по развитию собственной индустрии производства микросхем. А бум искусственного интеллекта и фундаментальных моделей лишь подстегнул стремление Китая играть ведущую роль в индустрии производства микросхем. С недавних пор китайские технологические гиганты, в число которых входят Huawei, Alibaba и Baidu, пытаются создать альтернативы NVIDIA и AMD. И… получается это у них весьма успешно.

Huawei

В 2018 году компания Huawei анонсировала два AI-чипа: Ascend 910 и Ascend 310. Оба чипа основаны на архитектуре DaVinci собственной разработки Huawei.

Ускорители для ЦОД: китайские и российские решения в погоне за NVIDIA - 2

Ascend 910 — предназначен для обучения нейросетей, использует 7-нм техпроцесс, а его производительность соответствует NVIDIA Tesla V100 и Google TPU v3. На основе чипов Ascend 910 и Ascend 310 компания Huawei выпускает вычислительное решение Atlas AI. Линейка продуктов Atlas 300T включает в себя три модели: Ascend 910A, 910B и 910 Pro B. При этом ожидается, что новые чипы Ascend 910C могут стать альтернативой NVIDIA H100, а сами «зеленые» уже открыто называют Huawei прямым конкурентом.

Если верить данным инсайдеров чиплет Ascend 910B производится SMIC по 7-нм технологии и при этом заметно отличается от оригинального Ascend 910 от TSMC увеличенным размером кристалла и меньшим количеством ядер. И здесь два варианта: либо техпроцесс SMIC имеет меньшую плотность транзисторов по сравнению с решением TSMC, либо HiSilicon существенно улучшила ядра DaVinci и даже пожертвовала их количеством ради этих усовершенствований.

Ascend 310 — относится к серии Ascend-mini и является первой коммерческой системой на кристалле, предназначенной для областей с низким энергопотреблением, таких как периферийные вычисления.

Bitmain

Bitmain Technologies специализируется на разработке ASIC-ускорителей, а также ИИ-процессоров. С 2017 года выпускает нейронные процессоры для работы с распространенными типами нейросетей, такими как CNN, RNN и DNN.

Sophon BM1686 — тензорный процессор четвертого поколения, выпущенный для глубокого обучения. В частности, предназначен для вывода ИИ в различных приложениях, включая видеоаналитику и медицинскую визуализацию. Ускоритель построен на базе 12-нм техпроцесса и обеспечивает пиковую производительность в 9 Тфлопс.

Sophon BM1680 — ASIC-чип первого поколения, который способен выполнять как сетевой вывод, так и сетевое обучение. Разработан он для центров обработки данных и периферийных вычислений, обеспечивает производительность до 2 Тфлопс при TDP 25 Вт (до 41 Вт в пике). Изготовленный на основе процесса TSMC 28HPC+, BM1680 способен выполнять 80 миллиардов алгоритмических операций в секунду.

Moore Threads

Еще один китайский разработчик ускорителей, который также фокусируется на ИИ, и на текущий момент движется к потенциальному IPO после реструктуризации в акционерное общество и увеличения своего капитала с $3,32 млн до $45,6 млн. Moore Threads была основана в 2020 году и за время своего существования представила уже три поколения микроархитектур, разработанных как для игр, так и для рабочих нагрузок ИИ. Графические процессоры Moore Threads можно назвать наиболее перспективными в плане импортозамещения NVIDIA.

Ускорители для ЦОД: китайские и российские решения в погоне за NVIDIA - 3

MTT S4000 — флагманский ускоритель, разработанный для больших ИИ-моделей. В его основе архитектура MUSA третьего поколения, 128 тензорных ядер Tensor и 48 Гбайт видеопамяти с пропускной способностью памяти 768 Гбит/с. Устройство поддерживает Vulkan, DirectX, OpenGL и OpenGL ES.

MTT S80 — принадлежит к разряду игровых видеокарт, содержит 4096 потоковых процессоров MUSA и предлагает 16 Гбайт памяти GDDR6. При этом она способна обеспечить 14,4 Тфлопс вычислительной мощности одинарной точности с плавающей точкой. Производитель отмечает, что такое решение подойдет не только для гейминга, но и для исследований в области ИИ, а также общих вычислений и обработки мультимедиа.

Alibaba

Подразделение полупроводниковой разработки Alibaba под названием T-Head также спроектировало чип вывода ИИ под названием Hanguang 800 (напомним, что вывод — это процесс, который следует за обучением моделей ИИ, поскольку он относится к фактическому применению ИИ в реальном мире: например, когда чат-бот отвечает на запросы пользователей).

Baidu

Разработка первых xPU-чипов компании Baidu началась еще в 2011 году. Спустя 7 лет, в 2018 году, производитель анонсировал свой первый ИИ-процессор. 

Kunlun 1 — создан по 14-нм техпроцессу и использует собственную архитектуру xPU. Массовое производство Kunlun 1 стартовало в 2020 году. 

Kunlun 2 — чип второго поколения, анонсированный в августе 2021 года. Он построен уже на базе 7-нм техпроцесса с архитектурой xPU-R. Графическое решение включает в себя память GDDR6 с пропускной способностью 512 Гбит/с, а производительность вычислений по сравнению с Kunlun 1 выросла почти в 3 раза. На текущий момент Kunlun 2 применяется в системе управления беспилотным автомобилем RoboTaxi от Baidu.

Cambricon

Компания Cambricon Technologies, основанная в 2016 году, специализируется на исследованиях и технологических инновациях в области микросхем ИИ. С момента своего появления на рынке Cambricon выпустила несколько чипов, охватывающих терминальные, облачные и периферийные вычислительные области.

Ускорители для ЦОД: китайские и российские решения в погоне за NVIDIA - 4

Cambricon MLU 290 — предназначен для обучения нейросетей. На его борту 7-нм техпроцесс TSMC с 46 миллиардами транзисторов. Ускоритель основан на архитектуре MLUv02 и предлагает комплексную поддержку для задач обучения ИИ, а также вывода или ускорения вычислений гибридного искусственного интеллекта.

Cambricon MLU 370 — флагманский продукт компании, также использующий 7-нм производственный процесс и поддерживающий как задачи вывода, так и обучения. Кроме того, Siyuan MLU 370 стал первым чипом Cambricon, использующим технологию чиплетов. К него на борту 39 миллиардов транзисторов, а максимальная вычислительная мощность достигает 256 TOPS (INT8).

Biren

Компания Biren Technology, основанная в 2019 году, изначально занималась общими интеллектуальными вычислениями в облаке. В 2021 году под брендом производителя был анонсирован графический процессор Biren BR100, а в августе следующего года новый чип поступил в массовое производство. Серия графических решений BR100 разработана на основе независимой архитектуры и использует 7-нм техпроцесс.

Tencent

Компания Tencent также занимается выпуском xPU-чипов: Zixiao (для вычислений на базе ИИ), Canghai (для обработки изображений) и Xuanling (для высокопроизводительных сетей). Чипы Zixiao предназначены для внутреннего использования и недоступны для внешних продаж. Tencent получает прибыль, сдавая в аренду вычислительные мощности через свои облачные сервисы.

Zixiao V1 — флагманское решение, которое рассматривается компанией в качестве альтернативы NVIDIA A10 для приложений распознавания изображений и голоса. 

Zixiao V2 Pro — процессор, оптимизированный для обучения ИИ, который Tencent планирует выпустить, чтобы произвести импортозамещение чипов NVIDIA L40S.

Horizon Robotics

Основанная в 2015 году, Horizon Robotics является поставщиком интеллектуальных вычислительных решений для вождения в Китае. Компания выпустила различные чипы AI, в частности серии Sunrise и Journey. Серия Sunrise ориентирована на рынок AIoT, а серия Journey предназначена для приложений интеллектуального вождения.

Ускорители для ЦОД: китайские и российские решения в погоне за NVIDIA - 5

Sunrise 3 — третье поколения чипов Sunrise, которое включает в себя две модели: Sunrise 3M и Sunrise 3E, ориентированных на высокий и низкий ценовой диапазон соответственно. С точки зрения производительности Sunrise 3 достигает вычислительной мощности в 5 TOPS, потребляя всего 2,5 Вт энергии.

Journey 5 — пятое поколение чипов Jorney, выпущенное в 2021 году. Массовое производство стартовало в 2022 году. Каждый чип в серии может похвастаться максимальной вычислительной мощностью до 128 TOPS. Релиз серии Jorney 6-го поколения запланирован на конец 2024 года.

Впрочем, это далеко не все бренды, которые работают над созданием собственных ускорителей для вычислений в сфере ИИ. Среди компаний, о которых вы, возможно, что-то уже слышали, есть такие наименования как Enflame Technology, Inspur, Hygon Information Technology, Jingjia Micro и т.п. При этом у всех этих видеокарт, включая вышеперечисленные, предусмотрена поддержка OpenGL 4.0, OpenCL 3.0 и других распространенных API.

Графический чип

Техпроцесс

Ascend 910 BPro

7 нм

Hanguang 800

12 нм

Kunlun 2

7 нм

Cambricon MLU 370

7 нм

Sophon BM1686

12 нм

Zixiao V2 Pro

??

Journey 5

??

4. Российские решения

ИИ-серверы уже давно стали обязательной частью ИТ-инфраструктуры, и официальный уход NVIDIA с российского рынка вызвал их дефицит, в том числе и доступом к самому производителю. Как вы помните, в марте 2022 года NVIDIA остановила продажи в России, а осенью того же года закрыла свой офис в Москве. Как итог: задачи приобретения серверов для систем искусственного интеллекта российский бизнес решает с помощью параллельного импорта. Однако вся эта негативная повестка стимулировала и позитивные изменения. Российские компании начали активно интересоваться ASIC-архитектурой (Application-Specific Integrated Circuit), которая предлагает мощные решения для искусственного интеллекта. В целом о производстве ИИ-ускорителей в России заявили порядка 10 компаний.

Несмотря на сохраняющийся разрыв в технологических возможностях западных и восточных производителей xPU, российские производители вычислительных решений постепенно уменьшают его за счет роста инвестиций в разработку собственных графических и нейропроцессоров. Так, решение на базе сервера Fplus Восход SR-221 и 6 отечественных нейроускорителей NM card mini от НТЦ «Модуль» уже доступно для заказа. Специалисты компании при этом продолжают отслеживать технологические новинки и устанавливать контакты с ключевыми производителями аппаратных решений для ИИ. Это позволяет своевременно тестировать новинки рынка и интегрировать в наши устройства специализированные ускорители как зарубежного, так и отечественного производства.

Российский ИТ-интегратор «Мобиус Технологии», являющийся партнером Fplus, также заявил о намерениях запустить линейку продуктов под собственным брендом. По заявлению представителей компании, импортозамещение остается ключевой тенденцией, но переходит на новый уровень. Если два года назад российские компании не знали, где искать замену решениям ушедших вендоров, то сегодня они оказались перед противоположной проблемой: как выбрать оптимальный вариант из множества доступных отечественных продуктов.

«Спутник» ИИ – все карты в гости будут к нам

Новые xPU и GPU в частности найдут свою поддержку в наших специализированных серверах для обработки нейросетевых алгоритмов – «Спутник ИИ». Этот сервер, предназначенный для решения таких задач как виртуализация, облачные вычисления, базы данных и построение программно-аппаратных комплексов на их основе, работает на базе двух процессоров Intel Xeon Scalable третьего поколения, позволяя реализовать для задач компаний различные конфигурации хранилищ и плат расширения. К слову, материнская плата сервера «Спутник ИИ» включена в реестр Минпромторга и готова к установке графических ускорителей отечественного производства (они также будут внесены в этот реестр).

Ускорители для ЦОД: китайские и российские решения в погоне за NVIDIA - 6

«Спутник ИИ» позволяет установить в свою системную плату до 8 полноразмерных ускорителей с максимальным тепловыделением до 300 Вт. В поддержку к ним предусмотрена разводка на 16 слотов под оперативную память суммарной емкостью до 4 ТБ, так что о нехватке кэша в сценариях параллельных вычислений можно не беспокоиться. Отказоустойчивость обеспечат до 12 накопителей в комбинации из 8 SAS/SATA-устройств 3.5” и 4-х решений NVMe форм-фактора U.2. На российском рынке сервер будет предлагаться как в «полном обвесе» с видеокартами NVIDIA A100 на борту, так и в качестве шасси под самостоятельную сборку на базе отечественных или… восточных решений: не забываем, что Huawei позиционирует свой ИИ-процессор Ascend 910С как альтернативу NVIDIA H100.

Есть на борту и выделенный слот PCIe 4.0 для карт OCP 3.0, который позволяет устанавливать на системную плату высокоскоростные сетевые адаптеры (например, NVIDIA Mellanox ConnectX-5) для передачи данных между узлами в процессе проведения масштабируемых распределенных вычислений. Такие карты поддерживают скорости 100/200 Гбит/с, обеспечивая надежное сетевое соединение, необходимое для современных облачных вычислений, AI-инфраструктуры и высокопроизводительных вычислительных систем (HPC). А еще они оптимизированы в плане энергопотребления, что немаловажно при их использовании в ЦОД. 

«Спутник ИИ» легко монтируется в стандартную 19-дюймовую стойку, что облегчает модернизацию серверной инфраструктуры на производстве. На уровне BMC здесь реализован виртуальный KVM-переключатель для удаленного управления сервером через IP, упрощая администрирование и обслуживание сервера.  

Недавно серверы «Спутник» моделей 221233 и 221253 прошли тестирование на совместимость с программным обеспечением «Росплатформа», что подтверждает их надёжность и эффективность для создания высоконагруженных систем и облачных сервисов.

5. Заключение

Следует признать, что пока что xPU-чипы, изготовленные и восточными и западными компаниями пока ещё не достигают производительности, которую обеспечивают чипы от NVIDIA. Причина – сохраняющийся разрыв в доступных производственных технологиях. Однако ситуация меняется. Поскольку с 2022 года многие отечественные производители удвоили инвестиции в создание собственной ИИ-инфраструктуры, компания Fplus в ответ на это расширила выпуск серверов с отечественными NPU и – пока что – с использованием зарубежных решений в лице NVIDIA H100. Первые устройства появятся уже в текущем году, а параллельно с началом их производства мы планируем выстроить работу с другими разработчиками аппаратных решений для эффективного замещения иностранных комплектующих в своих серверах.

Автор: AuthorsFplus

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js