Системы глубокого обучения, основанные на имитации накопления знаний искусственными нейронными сетями, получили возможность усваивать информацию значительно быстрее и эффективнее. Совместная команда исследователей из Массачусетского технологического института (MIT) и других стран разработала новый подход к обучению с использованием света вместо электричества. Результаты их исследований были описаны 12 июня в журнале Nature Photonics научным сотрудником MIT Йиченом Шеном (Yichen Shen), аспирантом Николасом Харрисом (Nicholas Harris), профессорами Марином Солжачиком (Marin Soljacic) и Дирком Энглундом (Dirk Englund).
/ фото Bill Benzon CC
Традиционные типы компьютерной архитектуры не очень эффективны в части важных для нейронной сети вычислений — многократного умножения матриц. Команда MIT придумала эффективный способ выполнения этих операций на оптической основе. При этом настроенный чип, по словам профессора Солжачика, имеет практическое применение в отличие от других фотонных концептов.
Например, похожую работу проводила команда ученых под руководством Александра Тейта (Alexander Tait) из Принстонского университета в Нью-Джерси. Тогда исследователям удалось создать первую фотонную нейронную сеть, в которой нейроны представлены световыми волноводами.
Разработка из MIT, по словам ученых, позволяет мгновенно производить матричное умножение без больших затрат энергии. Некоторые преобразования света, например, фокусирование линзой, можно рассматривать как вычисления. Новый подход фотонных чипов задействует множество световых лучей, направленных таким образом, что их волны взаимодействуют друг с другом. Это создает интерференционные структуры, которые передают результат запланированной операции.
Схема фотонного чипа для глубокого обучения
Йичен Шен утверждает, что чипы с такой архитектурой смогут выполнять вычисления, осуществляемые типичными алгоритмами искусственного интеллекта, намного быстрее и с использованием менее одной тысячной энергии на операцию в сравнении с обычными электронными микросхемами.
Результат исследования ученые именуют «программируемым нанофотонным процессором». Он оснащен набором волноводов, связи между которыми могут быть изменены по мере необходимости для конкретного вычисления. Николас Харрис объясняет, что возможна настройка под любую матричную операцию.
Для выполнения расчетов традиционный компьютер кодирует информацию в несколько световых лучей, которые проходят через ряд узлов. Здесь оптический элемент, называемый интерферометром Маха — Цендера, меняет свойства проходящих лучей — это представляет собой эквивалент матричного умножения. Далее свет проходит через ряд аттенюаторов, слегка приглушающих интенсивность света.
Эти процессы обеспечивают обучение оптической нейронной сети. Однако для поддержания ее в обученном состоянии все же требуется подача небольшого количества энергии. Авторы исследования указывают, что у них есть решение, позволяющее чипу поддерживать свое состояние, не затрачивая энергию. Если это сработает, то единственными потребителями энергии станут лазер — источник световых лучей — и компьютер, который кодирует информацию.
Чтобы продемонстрировать работу системы, команда использовала фотонный чип для распознавания четырех основных гласных звуков. Даже в самом примитивном исполнении система обеспечила уровень точности в 77% по сравнению 90% в случае с традиционными моделями. Солжачик не видит препятствий для совершенствования системы.
Дирк Энглунд считает, что программируемый нанофотонный процессор команды MIT может быть применим в обработке сигналов для передачи данных. Разработка исследовательской группы, по его мнению, способна справляться с задачей преобразования сигнала в цифровую форму быстрее конкурентов, так как свет по своей сути является аналоговой средой.
Возможными прикладными областями использования технологии команда называет обслуживание дата-центров или систем безопасности, а также применение в строении беспилотных транспортных средств. Но, так или иначе, до массового распространения потребуется гораздо больше усилий и времени, чем уже было затрачено на первичную разработку технологии.
Джон Тиммер (John Timmer), научный редактор Ars Technica, утверждает, что у концепции есть ряд существенных ограничений. Главное из них — размер оптических микросхем: для решения ряда коммерческих задач, их нужно делать или большими, или пропускать через них свет несколько раз. В последнем случае нужно будет разработать грамотный алгоритм для вычислений. Из-за этого в контексте более сложных операций может быть потеряна большая часть заявленных преимуществ, однако если исследователи смогут преодолеть препятствия, а также повысить точность обучения, система, по мнению Тиммера, сможет поддерживать глубокое обучение, используя в 100 тыс. раз меньше энергии, чем традиционные GPU.
P.S. Несколько других интересных материалов из Первого блога о корпоративном IaaS:
- Почему результат тестирования скорости диска в ноутбуке может быть лучше, чем у промышленного сервера в облаке?
- На что обратить внимание при выборе услуги облачного PCI DSS хостинга
- Производители оборудования и IaaS: гонка за облачным трендом
- Особенности выбора между частным, публичным и гибридным облаком
- Процесс потребления ресурсов ВМ в виртуальной среде
Автор: it_man
