После недавнего анонса нейроморфного чипа от IBM на Хабре, настало время познакомиться с тем, как работа реальных нейронов переносится в железо нейроморфных чипов. А поможет нам в этом статья, опубликованная в ACSNano, о трёхмерном электронном синапсе.
Начнём с небольшой предыстории. Некогда мы узнали, откуда учёные черпают информацию об устройстве , затем был большой пост с ответами на вопросы читателей о проекте The Human Brain, недавно же на Хабре появился анонс нейроморфного чипа от IBM. В череде этих публикаций хотелось бы также уделить время и тому, как на базовом уровне устроены нейроморфые чипы.
Одной из основных компонент нейроморфным вычислений, в общем, и нейроморфных чипов, в частности, является синапс или система передачи возбуждения от нейрона к нейрону, ибо сам нейрон зачастую представляет собой лишь металлическую ленту, проводник. Синапс в нервной ткани – место контакта между двумя нейронами или между нейроном и получающей сигнал эффекторной клеткой, которое служит для передачи нервного импульса.
Основные элементы нервной клетки
По механизму передачи такого импульса синапсы можно разделить на химические – то есть с помощью молекул нейромедиаторов – и электрические – то есть за счёт «пробоя» межклеточной жидкости электрическим импульсом. Электрические синапсы представляют собой пару клеточных мембран, находящихся на очень близком расстоянии (всего несколько нм) друг от друга за счёт особых белков, которые и выполняют функции по переносу возбуждения.
Обычно данные о конкретном устройстве или используемой модели нейроморфного чипа и типе соединений в нём нейронов в сеть является ноу-хау и предметом NDA (not-disclosure agreement), однако в чисто научных, не относящихся к индустрии публикациях можно подчерпнуть немало информации об их устройстве.
Итак, группа китайских и американских учёных из Пекинского университета, Станфорда и Аризонского университета опубликовали статью в журнале ACSNano, посвящённую разработке нового трёхмерного и потребляющего ультра малые количества электроэнергии электронного синапса, схема которого представлена на рисунке:
(a) Обычный 2D массив для электрической нейросети, где каждый синапс находится на пересечение проводящих линий пре-нейрона и пост-нейрона. (b) Электрическая схема концепта с синапсами на основе устройства с переключаемым сопротивлением (resistive switching device). (с) Максимально компактная схема расположения синапсов (high-density application). (d) Схема расположения синапсов для вычислений с максимальной точностью (high-accuracy computation). (e) TEM-изображение поперечного среза полученного электрического синапса.
Основой разработки стали материалы с переключаемым сопротивлением, например, HfOx или HfOx/AlOy, которые в зависимости от длительности и амплитуды приложенного напряжения могут изменять свои резистивных свойства в широких пределах – потенциально более 3 порядков от 103 до 106 Ом. Происходит такое переключение за счёт миграции и перестройки кислородных вакансий внутри оксидов.
И для того, чтобы проверить электронные синапсы в деле, был создан двухслойный нейроморфный чип, первый слой которого состоял из 32 x 32 нейронов, чувствительных к яркости пикселей, а второй – из 16 нейронов кортекса, соединённых обычными или трёхмерными электрическими синапсами. Результаты на лицо: трёхмерный электронный синапс даёт лучшее распознавание по сравнению с обычным за счёт меньшего отклонения сопротивления. При этом тренировка проходит при пониженном электропотреблении импульсами в 50 нс, при напряжении ниже 2.5В и токе ниже 0.3 мкA
(a) Обилие кислородных вакансий приводит к низкому сопротивлению и, наоборот, (b) их недостаток означает высокое сопротивление и низкий ток. (с) Отклонение сопротивления в зависимости от затраченной энергии. (d) Паттерн, используемый для тренировки системы. (e-f) Паттерны, полученные с помощью обычной нейросети и созданной на базе трёхмерных синапсов, соответственно. (g) Точность распознавания.
В сравнении с примитивной двумерной нейросетью синапсов, разработанное устройство выглядит неимоверно сложно, однако используемые материалы относительно дёшевы и повсеместно распространены в электронной промышленности, что, по уверениям авторов работы, делает возможным производство подобных нейроморфных чипов с крайне низкой себестоимостью.
Оригинальная статья в ACSNano (DOI: 10.1021/nn501824r)
Автор: Tiberius
