Наступила пора вычислений, вдохновлённых устройством
Но пока инженеры продолжают активно развивать эту вычислительную стратегию, способную на многое, энергетическая эффективность цифровых вычислений подходит к своему пределу. Наши дата-центры и суперкомпьютеры уже потребляют мегаватты – 2% всего потребляемого электричества в США уходит на дата-центры. А человеческий
С этой идей связан всплеск интереса к нейроморфным технологиям, обещающий вынести компьютеры за пределы простых нейросетей, по направлению к схемам, работающим как нейроны и синапсы. Разработка физических схем, похожих на
Так что же требуется для того, чтобы интегрировать эти строительные блоки в полномасштабный компьютерный
Я не хочу сказать, что создать такого компьютер будет легко. Придуманная нами система потребует несколько миллиардов долларов на разработку и постройку, и для придания ей компактности в неё войдут несколько передовых инноваций. Также встаёт вопрос того, как мы будем программировать и обучать подобный компьютер. Исследователи нейроморфизма пока ещё бьются над пониманием того, как заставить тысячи искусственных нейронов работать вместе и как найти полезные приложение для псевдомозговой активности.
И всё же тот факт, что мы можем придумать такую систему, говорит о том, что нам недолго осталось до появления чипов меньшего масштаба, пригодных для использования в портативной и носимой электронике. Такие гаджеты будут потреблять мало энергии, поэтому нейроморфный чип с высокой энергоэффективностью – даже если он возьмёт на себя лишь часть вычислений, допустим, обработку сигналов – может стать революционным. Существующие возможности, такие, как распознавание речи, смогут работать в шумных условиях. Можно даже представить себе смартфоны будущего, проводящие перевод речи в реальном времени в разговоре двух людей. Подумайте вот о чём: за 40 лет с момента появления интегральных схем для обработки сигналов, закон Мура улучшил их энергоэффективность примерно в 1000 раз. Очень похожие на
В идеальной машине, приблизившейся к
Простейшие варианты этих основных компонентов уже реализованы в кремнии. Начало этой работе дал тот же самый металл-оксид-полупроводник, или MOSFET, миллиарды экземпляров которого используются для построения логических схем в современных цифровых процессорах.
У этих устройств много общего с нейронами. Нейроны работают при помощи барьеров, управляемых напряжением, и их электрическая и химическая активность зависит в основном от каналов, в которых ионы двигаются между внутренним и наружным пространством клетки. Это гладкий, аналоговый процесс, в котором происходит постоянное накопление или уменьшение сигнала, вместо простых операций типа вкл/выкл.
MOSFET тоже управляются напряжением и работают при помощи движений отдельных единиц заряда. А когда MOSFET работают в «подпороговом» режиме, не достигая порога напряжения, переключающего режимы вкл и выкл, количество текущего через устройство тока очень мало – менее одной тысячной того тока, что можно найти в типичных переключателях или цифровых затворах.
Идею о том, что физику подпороговых транзисторов можно использовать в создании мозгоподобных схем, высказал Карвер Мид из Калтеха, способствовавший революции в области сверхбольших интегральных схем в 1970-х. Мил указал на то, что разработчики чипов не пользовались многими интересными аспектами их поведения, применяя транзисторы исключительно для цифровой логики. Этот процесс, как писал он в 1990-м, похож на то, будто «всю прекрасную физику, существующую в транзисторах, сминают до нолей и единиц, а затем на этой основе мучительно строят затворы AND и OR, чтобы заново изобрести умножение». Более «физический» или основанный на физике компьютер мог бы выполнять больше вычислений на единицу энергии, чем обычный цифровой. Мид предсказал, что такой компьютер и места будет занимать меньше.
В последовавшие годы инженеры нейроморфных систем создали все базовые блоки
spectrum.ieee.org/image/MjkwMTM1MQ.jpeg
Синапсы и сома: транзистор с плавающим затвором (слева вверху), способный хранить различное количество заряда, можно использовать для создания координатного массива искусственных синапсов (слева внизу). Электронные версии других компонентов нейрона, типа сомы (справа), можно сделать из стандартных транзисторов и других компонентов.
Синапсы эмулировать чуть сложнее. Устройство, ведущее себя, как синапс, должно уметь запоминать, в каком состоянии оно находится, отвечать определённым образом на входящий сигнал и адаптировать свои ответы со временем.
К созданию синапсов есть несколько потенциальных подходов. Наиболее развитый из них – обучающийся синапс на одном транзисторе (single-transistor learning synapse, STLS), над которым мы с коллегами в Калтехе работали в 1990-х, когда я была аспирантом у Мида.
Впервые мы представили STLS в 1994-м, и он стал важным инструментом для инженеров, создающих современные аналоговые схемы – к примеру, физические нейросети. В нейросетях у каждого узла сети есть связанный с ним вес, и эти веса определяют, как именно комбинируются данные с разных узлов. STLS был первым устройством, способным содержать набор разных весов и перепрограммироваться на лету. Кроме того, устройство энергонезависимо, то есть запоминает своё состояния, даже когда не используется – это обстоятельство значительно уменьшает потребность в энергии.
STLS – это разновидность транзистора с плавающим затвором, устройства, используемого для создания ячеек в флэш-памяти. В обычном MOSFET затвор управляет проходящем через канал током. У транзистора с плавающим затвором есть второй затвор, между электрическим затвором и каналом. Этот затвор не соединён напрямую с землёй или любым другим компонентом. Благодаря такой электроизоляции, усиленной высококачественными кремниевыми изоляторами, заряд долгое время сохраняется в плавающем затворе. Этот затвор способен принимать разное количество заряда, в связи с чем может давать электрический отклик на многих уровнях – а это необходимо для создания искусственного синапса, способного варьировать свой ответ на стимул.
Мы с коллегами использовали STLS, чтобы продемонстрировать первую координатную сеть, вычислительную модель, пользующуюся популярностью у исследователей наноустройств. В двумерном массиве устройства находятся на пересечении линий ввода, идущих сверху вниз, и линий вывода, идущих слева направо. Такая конфигурация полезна тем, что позволяет программировать соединительную силу каждого «синапса» отдельно, не мешая другим элементам массива.
Благодаря, в частности, недавней программе DARPA под названием SyNAPSE, в области инженерного нейроморфинга произошёл всплеск исследований искусственных синапсов, созданных из таких наноустройств, как мемристоры, резистивная память и память с изменением фазового состояния, а также устройства с плавающим затвором. Но этим новым искусственным синапсам будет тяжело улучшаться на основе массивов с плавающим затвором двадцатилетней давности. Мемристоры и другие виды новой памяти сложно программировать. Архитектура некоторых из них такова, что обратиться к определённому устройству в координатном массиве довольно сложно. Другие требуют выделенного транзистора для программирования, что существенно увеличивает их размер. Поскольку память с плавающим затвором можно запрограммировать на большой спектр значений, её легче подстроить для компенсации производственных отклонений от устройства к устройству по сравнению с другими наноустройствами. Несколько исследовательских групп, изучавших нейроморфные устройства, пробовали внедрить наноустройства в свои разработки и в результате стали использовать устройства с плавающим затвором.
И как же мы совместим все эти мозгоподобные компоненты? В человеческом
Но масштабируя нейроморфные системы, необходимо убедиться, что мы не копируем строение современных компьютеров, теряющих значительное количество энергии на передачу битов туда и сюда между логикой, памятью и хранилищем. Сегодня компьютер легко может потреблять в 10 раз больше энергии на передвижение данных, чем на вычисления.
Другой большой вопрос для создателей мозгоподобных чипов и компьютеров – алгоритмы, которые должны будут работать на них. Даже слабо похожая на
Но
Сегодня мы только начинаем открывать эти физические алгоритмы – процессы, которые смогут позволить мозгоподобным чипам работать с эффективностью, близкой к мозговой. Четыре года назад моя группа использовала кремниевые сомы, синапсы и дендриты для работы ищущего слова алгоритма, распознававшего слова в аудиозаписи. Этот алгоритм показал тысячекратное улучшение в энергоэффективности по сравнеию с аналоговой обработкой сигналов. В результате, уменьшая напряжение, подаваемое на чипы и используя транзисторы меньшего размера, исследователи должны создать чипы, сравнимые по эффективности с
Когда я 30 лет назад начинала исследования в области нейроморфизма, все верили в то, что разработка систем, похожих на
И всё же эти приложения очень мало полагаются на наши знания о работе
Считайте это призывом к действию. Мы достигли много, используя очень примерную модель работы
Автор: SLY_G