Для тех, кто только присоединился, я советую начать с первой части или хотя бы с описания используемой нами волновой модели коры. Суть волновой модели в том, что информация кодируется одновременно двумя способами. Первый способ – это паттерны вызванной активности, соответствующие обнаруженным нейронами-детекторами явлениям. Второй – волны идентификаторы, распространяющиеся от паттернов вызванной активности и несущие уникальные узоры. Уникальность узора каждой из волн позволяет на удалении от источника сигнала узнать о его активности. При таком подходе хорошо объясняется сформулированное Мак-Каллоком и Питсом несоответствие между объемом зон коры и количеством волокон в пучках, проецирующих информацию от них на другие зоны.
Из наших рассуждений вытекает, что свойственны два типа проекций. Первый наиболее понятный тип – это так называемое топографическое отображение. Например, зрительный сигнал от глаз по зрительным нервам распространяется до хиазмы. Там волокна перераспределяются так, что одно полушарие получает волокна только от левых, а другое только от правых половин сетчатки. Далее по зрительному тракту информация поступает в наружное коленчатое тело, а оттуда на зрительную кору. Зрительный нерв содержит порядка миллиона волокон, что соответствует разрешению, которое доступно глазу. На первичную зрительную кору эта информация проецируется через зрительную радиацию. Зрительная радиация – это равномерное распределение пучка нервных волокон по всей площади первичной зрительной коры (рисунок ниже). Топографичность этого отображения заключается в том, что сигналы, соседствующие на сетчатке, оказываются рядом и в своей проекции на кору. При такой передаче сохраняется позиционность сигналов. Изображение от каждого места сетчатки попадает в свою область коры, что позволяет сохранить информацию о взаимном расположении объектов.
Зрительный путь (Хьюбел, 1988)
Аналогично, с сохранением топографической упорядоченности, проецируются сигналы и на сенсорные зоны. Отсюда возникает знаменитая карта Пенфилда, иллюстрирующая представительства различных частей тела на сенсорной и моторной коре (рисунок ниже).
Человек Пенфилда
Традиционные иерархические многослойные нейронные сети, за неимением лучшего, скопировали принцип топографической проекции, задекларировав уменьшение размера слоев и увеличение исходных рецептивных полей их нейронов по мере продвижения информации наверх.
Однако реальная система связей в белом веществе принципиально иная. Между зонами коры нет «толстых» соединяющих их пучков волокон, способных к глобальной передаче картины активности от одной зоны на другую. Вся система проекций состоит из относительно тонких пучков. Причем контакты этих пучков с зонами коры не расходятся веером, образуя радиацию, а имеют плотные «точечные» соединения. Это особенно хорошо видно на реальных изображениях белого вещества, где отдельно прослежено каждое из направлений проекции (рисунок ниже).
Структура белого вещества (Fallon)
Можно достаточно уверенно утверждать, что соединения между зонами коры осуществляется не топографическими проекциями, а связями принципиально иного типа. Назовем этот второй тип связей волновыми туннелями.
Возьмем пару зон коры и соединим у них две малые, произвольно выбранные области. Сделаем это так, чтобы активность верхней области копировалась на нижнюю область (рисунок ниже). При этом можно не заботиться о топографичности проекции. Можно перемешать проецирующие волокна, а кроме того пропустить часть из них, сделав проекцию разряженной.
Волновой туннель
Такое соединение никак не поможет нам с передачей всей картины активности передающей зоны. Но оказывается, что всю картину передавать и не надо. Через каждое место коры проходят идентификационные волны, которые несут информацию обо всех устойчивых паттернах этой зоны. То есть если зона коры научилась реагировать на определенные образы, то и на маленькой ее области мы увидим все существующие идентификаторы. Все в точности как в оптической голограмме, где каждый фрагмент хранит информацию обо всем изображении.
Это значит, что, передав активность малого участка коры от одной зоны на другую, мы получим на принимающей зоне участок, генерирующий определенные паттерны, ничем не отличающиеся, по сути, от тех, что возникают при распространении волн. Такой участок обязательно начнет обучать свою кору распространению повторяющихся узоров. Со временем это приведет к тому, что идентификационные волны будут транслироваться через такой туннель и продолжать свое распространение на принимающей коре.
Этот процесс хорошо наблюдается при моделировании. Ниже приведены две сопоставленные по времени картины распространения волн. Верхний рисунок – проецирующая кора, нижний – кора принимающая. Квадратами выделены области, связанные туннелем.
Активность проецирующей коры
Активность принимающей коры. Изображения соответствуют аналогичным тактам проецирующей коры.
Ниже видео, полученное при моделировании:
Видно, что когда волна проходит через область туннеля на передающей зоне коры, она запускает волну на принимающей зоне (показаны уже обученные зоны). Важно, что получившаяся волна сохраняет все свойства исходного идентификатора. Для каждого явления, как и на исходной коре, на коре-получателе вызывается свой характерный только для этого явления узор распространения.
Встречные проекции
Если две зоны коры соединить встречными проекциями (рисунок выше), то можно получить интересный эффект. Идентификатор от первой зоны будет переходить на вторую зону, распространяться там, а затем возвращаться обратно и распространяться от места контакта волнового туннеля. При этом, если передача между зонами происходит по миелинизированным волокнам, скорость распространения импульса в которых составляет порядка 100 м/с, то время пробега сигнала туда-обратно для зон, расположенных в 10 сантиметрах друг от друга, при близко контактирующих проекционных пучках можно оценить в несколько миллисекунд. Это означает, что для волны идентификаторов с периодом порядка 100 миллисекунд возвратившийся сигнал практически сольется с основной волной. А значит, будет учтен как часть существующего идентификатора.
В результате, если на второй зоне коры каким-либо способом будет воспроизведен идентификатор, пришедший ранее с первой зоны, то он, перейдя по волновому туннелю обратно на первую зону, вызовет там уже известную этой зоне идентификационную волну. Такой механизм позволяет не просто передавать информацию от одной зоны к другой, но и возвращать ее в виде, понятном для обеих зон коры.
Если сравнивать топографическую и волновую проекцию, то каждая хороша для своих целей. Топографическая проекция необходима там, где нельзя потерять информацию, связанную с взаимным расположением активных элементов. Волновая проекция удобна тогда, когда удается сформировать описание, построенное на простом перечислении понятий.
Общая информационная картина, которой оперирует – это совокупность описаний. Каждая из зон коры формирует описание в факторах, свойственных именно ей. При этом кроме набора факторов у зон различается и форма описания. Топографическая форма сохраняет свойства, характерные для изображения, когда значение имеет взаимное пространственное расположение элементов. Волновая форма описания эквивалентна неупорядоченному перечислению факторов, показавших свою активность.
Кроме решения проблемы узости каналов волновая модель позволяет снять существенное противоречие, свойственное традиционным моделям, связанное с локальностью рецептивных полей нейронов верхних уровней. Суть противоречия в том, что с каждым новым уровнем нейроны должны выделять все более обобщенные признаки и понятия, но для этого им необходим все более широкий охват наблюдаемых свойств. Поскольку реальные нейроны на всех уровнях имеют ограниченные рецептивные поля, то классическая модель испытывает определенные затруднения в объяснении этого.
Если вспомнить неокогнитрон, то все его сложные нейроны должны обслуживаться плоскостями простых клеток. Простые клетки, входящие в одну плоскость, имеют одинаковые веса и следят одновременно за всеми возможными участками предыдущего слоя. Там, где у нас волна доставляет до каждого места необходимую информацию, в неокогнитроне в каждой позиции набор простых нейронов сканирует всю поверхность на наличие требуемого паттерна. Такое сканирование требует тотальности слежения, так как смещение всего на одну позицию полностью меняет паттерн. Как некий способ облегчить проблему можно использовать размывание (рисунок ниже). При размывании требование к тотальности несколько ослабевает, так как каждый простой нейрон приобретает способность реагировать в определенном диапазоне сдвига.
Улучшение узнавания при размывании (Fukushima K., 2013)
Но то, что можно как-то использовать для первичной обработки изображений, оказывается плохо применимо для более абстрактных зон коры, где паттерны вызванной активности имеют «острую» настройку.
Использование волнового представления полностью снимает вопрос локальности рецептивных полей. Получается, что нейрон не должен своими синапсами следить за всей корой. Если «кора» не идет к Магомету, то Магомет идет к «коре». Волны идентификаторов сами приносят каждому нейрону всю необходимую информацию, для восприятия которой ему вполне достаточно только плотного слежения за своим ближайшим окружением, которое полностью показывает ему характер проходящих мимо волн.
Из волновой модели проистекает несколько свойств, хорошо согласующихся с существующими представлениями о системе проекций реального :
- волновые туннели компактны по площади контакта с корой, а значит, несколько контактных площадок могут существовать, не мешая друг другу;
- туннели не критичны к месту снятия информации и к месту захода в кору;
- туннели не требуют тотального снятия активности всех нейронов контактной области;
- для туннелей непринципиально сохранение упорядоченности волокон, волокна могут быть случайно перемешаны внутри одного пучка, что никак не влияет на результат передачи.
Из волновой парадигмы проистекает понимание информационных процессов, свойственных , достаточно сильно отличающееся от того, что мы привыкли использовать для описания компьютерных систем. Традиционный компьютер содержит множество узлов, каждый из которых выполняет свою функцию. Программы содержат множество модулей, ориентированных на выполнение определенных задач. Узлы на физическом уровне, а программные модули на логическом обмениваются данными. Результат – выполнение наперед заданных алгоритмов. Неисправность или ошибка в каком-либо элементе в большинстве случаев ведут к невозможности завершения алгоритма.
содержит зоны коры, которые, обучаясь, приобретают свою специализацию. Суть специализации – это то, в каких терминах зона коры будет строить свое описание. Описание, созданное какой-либо зоной коры, через систему проекций становится доступно всем тем зонам, с которыми у нее есть проекционный контакт. Система проекций эволюционно приобрела такую конфигурацию, которая позволяет получить наиболее полное отображение происходящего.
Визуализация системы проекций обезьяны (IBM Research)
Надо отметить, что кроме проекций, передающихся через проекционные волокна, информация может распространяться от одной зоны к другой, просто пересекая условную границу зон. Волна идентификаторов, дойдя до края зоны, может распространиться дальше на соседнюю зону. Произойдет это или нет, может определяться совпадением или несовпадением типов нейромедиаторов и внесинаптических рецепторов, характерных для нейронов этих зон. Если это так, то существующие схемы проекционных связей стоит дополнить такими «соседскими» проекциями.
Описываемая проекционная идеология обладает удивительной отказоустойчивостью. Отключение какой-либо зоны не ведет к сбою всей конструкции, а только делает беднее систему описаний. Ошибка на какой-либо зоне не носит фатальный характер, так как может быть компенсирована работой остальных зон.
Работу можно сравнить с системой информационных агентств, газет и сайтов. Все они публикует свое описание происходящего. Многие заимствуют информацию друг у друга. Информация может преподноситься и интерпретироваться каждым из них индивидуально. Некоторые имеют свою специализацию: кто-то имеет уклон на политические новости, кто-то на новости культуры или техники. Выключение одного из источников не ломает всю систему, а только слегка обедняет информационное пространство. Каждый из участников не следит тотально за всеми остальными, а имеет свой устоявшийся список отслеживания, куда входят источники, наиболее интересные именно для него.
Приведу еще аналогию. Представьте систему институтов, которые совместно работают над глобальным проектом. Можно разбить работу на части и дать институтам узкие непересекающиеся задания. Когда каждый из них выполнит свою работу, останется сложить все вместе и получить итоговый проект. Другой подход – навалиться всем сразу и, дублируя друг друга, кооперируясь, используя чужие разработки, создать несколько вариантов и затем выбрать из них лучший. Очевидно, что первый вариант имеет множество плюсов, как минимум, понятность и контролируемость происходящего. Во втором варианте процесс не очевиден, а результат не гарантирован. Но оказывается, что по мере обучения и приобретения конкурентного опыта, при правильной системы стимулирования, второй вариант может дать результаты, значительно превосходящие первую схему.
В следующей части я попробую описать, как на практике можно использовать знания о принципах проецирования информации между зонами коры.
Алексей Редозубов (2014)
Если где-то слишком кратко, непонятно или невнятно изложено, пожалуйста, отпишитесь в комментариях.
Автор: AlexeyR
