Разработчики из Университета Райса в Хьюстоне, штат Техас, разработали новый алгоритм машинного обучения, который получил название SLIDE. По их словам, эта схема обучения ИИ будет более эффективна при работе на центральных процессорах, чем на графических.
Обычно для обучения нейросетей используются системы на базе видеопроцессоров, поскольку их архитектура больше подходит для взаимодействия с алгоритмами машинного обучения. Однако они стоят намного дороже систем из центральных процессоров. По этой причине учёные разработали более экономичную альтернативу — SLIDE, называемый сублинейным механизмом глубокого обучения (sub-linear deep learning engine). Он способен выполнять работу по обучению нейросетей без использования какого-либо графического оборудования — более того, исследователи утверждают, что SLIDE лучше работает на CPU, чем на GPU.
Как говорят учёные, новый алгоритм использует принципиально другой подход к глубокому обучению. Стандартная методика предполагает в своих вычислениях умножение матриц, что больше подходит видеопроцессорам. SLIDE же использует в своём принципе хеш-таблицы, оптимизируя таким образом процесс обучения и задействуя в каждый момент времени только те нейроны, которые необходимы в конкретный момент обучения.
Алгоритм также повышает скорость машинного обучения. По словам исследователей, он за час выполняет ту же работу на 22-ядерном CPU Intel Xeon, на которую графический процессор потратит три с половиной часа — какой GPU подразумевается, учёные не уточнили, однако сообщили, что использовали для исследования программное обеспечение от Google Tensor Flow.
Если SLIDE действительно окажется настолько эффективен, насколько описывают сотрудники университета, то его разработка резко снизит экономические затраты на машинное обучение в сравнении с традиционными методиками. Так, стоимость самых мощных платформ обучения искусственного интеллекта, которые используют крупнейшие корпорации наподобие Google или Amazon, доходит до $100 000, говорит ведущий инженер проекта и доцент Школы машиностроения Университета Райса Аншумали Шривастава.
У методики есть недостатки, говорят учёные. Например, есть определённая трудность, связанная с недостатком памяти центрального процессора. По словам Шриваставы, во время первых испытаний команда столкнулась с проблемой переполнения кэш-памяти CPU — впрочем, время обучения всё равно было либо сопоставимо, либо гораздо меньше времени обучения с использованием видеопроцессоров. В этот момент к разработке подключилась компания Intel — она помогла улучшить результаты времени на 50%, рассказал ведущий инженер проекта.
«Мы пока копнули недостаточно глубоко, ещё предстоит сделать очень много для оптимизации процесса. Например, мы ещё не использовали векторную обработку или ускорители CPU, как Intel Deep Learning Boost. Есть много приёмов, с помощью которых можно ускорить машинное обучение», — говорит Шривастава.
Автор: avouner
