Для любой модели, которая претендует на объяснение работы , важна ее «работоспособность» и согласованность с экспериментальными данными. Например, традиционные нейронные сети обладают определенной работоспособностью, но слабой согласованностью. То есть, они решают некоторые задачи, которые решает реальный , при этом их структура и поведение очень слабо похожи на структуру коры и поведение биологических нейронов. В этой части пойдет разговор о согласованности той пространственной организации, что возникает в предлагаемой модели, и пространственной организации, свойственной реальной коре.
В свое время Вернон Маунткасл выдвинул гипотезу, что для кортикальная колонка – это основная структурная единица переработки информации. В свете описываемой модели можно конкретизировать функции кортикальных миниколонок, механизмы их работы и принципы взаимодействия.
В предлагаемой модели мы исходим из того, что оперирует информацией, которая состоит из дискретных понятий. Каждому понятию соответствует волна с определенным уникальным внутренним узором. Носителями волн, предположительно, являются дендритные сегменты. По узорам, которые создают информационные волны, распространяясь по какой-либо зоне коры, миниколонки этой зоны получает информационное описание происходящего. Одна и та же информация поступает в каждую миниколонку.
Понятия, из которых формируются исходные описания, многозначны. Это означает, что каждое из понятий в процессе определения смысла может приобрести новую трактовку. Трактовка понятия — это замена исходного понятия на другое, которое отражает его значение в определенном контексте.
Каждая миниколонка коры является процессором определенного контекста. Основная функция миниколонки – это перекодировка исходного описания в его трактовку, характерную для этого контекста. Для этого каждая миниколонка содержит память перекодирования понятий. Эта память ставит в соответствие понятиям исходного описания понятия, являющиеся их трактовками в контексте миниколонки.
Перекодирование происходит за счет изменения объемного паттерна активности дендритных секций внутри миниколонки с одного на другой. С паттерна исходного понятия на паттерн его интерпретации. Сложение паттернов интерпретаций отдельных понятий внутри миниколонки создает объемный код, который является трактовкой исходного описания в контексте миниколонки. Предположительно, этот объемный код вызывает хеш-преобразование, результатом которого является вызванная активность нейронов миниколонки. Код, образованный синхронными спайками нейронов миниколонки, формирует запрос к памяти миниколонки.
Ранее был показан биологический механизм, благодаря которому каждая миниколонка зоны коры хранит полную копию всех воспоминаний этой зоны. В результате, память на события оказывается продублирована по числу миниколонок. Такое дублирование позволяет проверить соответствие трактовки, возникшей на миниколонке, и предыдущего опыта. Каждая миниколонка проверяет гипотезу того, что ее контекст подходит для интерпретации текущей информации. Параллельная работа сотен тысяч или даже миллионов миниколонок зоны коры позволяет за один информационный такт проверить все возможные варианты трактовки исходной информации и по максимуму соответствия с памятью найти контексты, трактовки в которых оказываются наиболее приемлемы. Совокупность таких трактовок определяет набор смыслов, содержащихся в исходной информации.
На практике многие контексты оказываются близки по смыслу. В таком случае процедура выбора смыслов должна учитывать степень близости контекстов. Из контекстов, близких по смыслу, должен быть выбран только один контекст, наиболее подходящий для трактовки. При этом все принципиально различные допустимые трактовки должны быть включены в итоговый набор смыслов. Эта задача близка по духу к задаче поиска наилучших предикатов для множественной регрессии и аналогичным задачам. Для ее решения требуется знание степени близости контекстов, которое может быть получено из наблюдения за взаимной активностью миниколонок. Похоже, что структура горизонтальных связей коры и синаптическая пластичность и есть инструменты, позволяющие создать «корреляционную матрицу» контекстов. При этом наблюдаемое в реальной коре подавление активно реагирующими нейронами активности нейронов, относящихся к окружающим их миниколонкам (Mountcastle V.B., «The columnar organization of the neocortex». Brain (Oxford University Press) 20 (4): 701-722.), может быть проявлением механизма выбора локального максимума контекста.
Для оптимизации создания корреляционного пространства контекстов использует пространственную организацию миниколонок. Основной принцип пространственного размещения миниколонок – контексты, близкие по смыслу и, соответственно, коррелированные по активности, должны располагаться поблизости на пространстве коры. Обычно структура близости контекстов достаточно сложна и может быть отображена на плоскость только с грубым приближением. Это не позволяет определять локальные максимумы в пространстве контекстов только за счет критерия близости миниколонок на плоскости коры. Но горизонтальные аксонные соединения между миниколонками, у которых за счет синаптической пластичности происходит настройка силы связей, позволяют воспроизвести расстояния в сложном многомерном пространстве контекстов. При этом пространственная организация миниколонок позволяет оптимизировать и количество необходимых аксонных связей, и их длину.
Механизмы самоорганизации в реальной коре
Ранее отмечалось, что для пространственной организации контекстов не подходят адаптационные методы наподобие самоорганизующихся карт Кохонена (T. Kohonen, Self-Organizing Maps, New York, 2001). Задача стоит не в том, чтобы сформировать пространство детекторов с плавным переходом вектора признакового описания, а в том, чтобы расставить на плоскости дискретно заданные элементы в соответствии с определенной мерой их близости. Как мы показали ранее, такую расстановку можно получить, используя алгоритм, основанный на попарных перестановках элементов.
В реальной коре миниколонки не могут перемещаться физически. Соответственно, если полагать, что в коре пространственная самоорганизация может использовать метод перестановок, то придется предположить, что эти перестановки носят чисто информационный характер. Информационная перестановка миниколонок – это замена у них наборов правил преобразований, определяющих их контекст, перенос этой информации от одной колонке к другой и наоборот.
Однако сомнительно, чтобы существовал механизм перезаписи всей контекстной информации с одной миниколонки на другую. Даже если решить проблему последовательного извлечения всей информации, хранящейся в миниколонке, и решить, как записать ее на другую миниколонку, то сама скорость такого обмена окажется очень низкой. Маловероятно, чтобы в процессе эволюции, если действительно пошел по предполагаемому нами пути, не возникли более простые и быстрые механизмы.
Решение видится в использовании уже знакомого нам голографического принципа. В наших предположениях, каждая миниколонка (или группа соседних миниколонок) хранит свою полную копию памяти, свойственную той зоне коры, к которой эта миниколонка относится. То есть на каждой зоне коры память многократно продублирована. Это необходимо для того, чтобы каждая миниколонка имела доступ к своей копии памяти независимо от остальных миниколонок. Наличие такого доступа позволяет каждой миниколонке проверить насколько ее трактовка согласуется с ранее полученным опытом. Можно пойти дальше и предположить, что каждая миниколонка хранит не только свой набор контекстных преобразований, а все существующие наборы для всех возможных контекстов. Тогда каждой миниколонке можно присвоить свой идентификатор определенного контекста и требовать, чтобы именно правила преобразования этого контекста использовались миниколонкой в ее работе. Вычислительная схема такой миниколонки показана на рисунке ниже.
Схема контекстного модуля. Память трансформаций хранит преобразования для всех контекстов. ID контекста определяет, какие правила будут использоваться этим модулем
При таком подходе появляется возможность быстро и безболезненно «менять местами» миниколонки. Для этого достаточно менять местами их идентификаторы контекстов. В таких предположениях пространственная самоорганизация реальной коры оказывается достаточно несложной процедурой:
- Какое-то время (например, в течение дня) происходит накопление опыта совместного срабатывания контекстов. Корректируются синаптические веса соответствующих связей.
- Запускается процедура организации (это может происходить, например, во время сна). За счет информации о силе синаптических связей определяется целесообразность перемещения тех или иных миниколонок. Если это ведет к оптимизации системы, осуществляется перемещение.
- Так как одно перемещение осуществляется на шаг одной миниколонки, то доставшиеся «в наследство» синаптические веса могут использоваться как начальное приближение для нового контекста.
Пространственная организация первичной зрительной коры
Первичная зрительная кора V1 особенно удобна для изучения, так как позволяет достаточно несложными методами проследить связь между активностью нейронов и стимулами, подаваемыми на сетчатку глаза. При этом оказывается возможным не только проследить за тем, какие стимулы возбуждают те или иные нейроны, но и построить карты пространственного распределения нейронов, активирующихся от схожих стимулов.
Известно, что нейроны V1 отвечают спайками на предъявление определенных зрительных стимулов (Hubel, D. H. & Wiesel, T. N. Receptive fields, binocular interaction, and functional architecture of cat striate cortex. J. Physiol. (Lond.) 160, 106–154 (1962).)( Hubel, D. H. & Wiesel, T. N. Receptive fields and functional architecture of monkey striate cortex. J. Physiol. (Lond.) 195, 215–243 (1968).). Для получения реакции нейрона V1 стимул должен предъявляться в определенном месте сетчатки. Такое место называется рецептивным полем нейрона. Сам стимул может быть границей, тонкой белой или тонкой черной линией, концом отрезка. Некоторые клетки активно реагируют на появление ориентированного соответствующим образом стимула в определенном месте. Такие клетки называют простыми. Но для большинства нейронов максимальный ответ достигается, когда подаваемый стимул не только соответствующим образом ориентирован, но и двигается в определенном направлении. Эти клетки принято называть сложными.
Для ряда животных, приматов, кошек и многих других, существует хорошо выраженная закономерность в пространственном распределении предпочитаемых нейронами ориентаций (Hubel, D. H. & Wiesel, T. N. Sequence regularity and geometry of orientation columns in the monkey striate cortex. J. Comp. Neurol. 158, 267–294 (1974).). Карта распределения предпочитаемых ориентаций может иметь вид, показанный на рисунке ниже.
Карта предпочитаемых ориентаций V1 Тупайи (Tree Shrew) (Orientation Selectivity and the Arrangement of Horizontal Connections in Tree Shrew Striate Cortex William H. Bosking, Ying Zhang, Brett Schofield, and David Fitzpatrick, The Journal of Neuroscience, March 15, 1997, 17(6):2112–2127)
В зависимости от того, стимуляция какого глаза вызывает наиболее сильный ответ, были составлены карты глазодоминантности. Пример такой карты приведен на рисунке ниже.
Карта колонок глазодоминантности (Simon LeVay, David H. Hubel, and Torsten N. Wiesel, J. Comp. Neurol.,159, 559—576)
Вполне естественно, что наличие связи между активностью нейронов и предъявляемыми стимулами заставило предположить, что нейроны V1 являются детекторами образов, появляющихся на сетчатке. При этом простые клетки детектируют неподвижные элементарные образы, а сложные клетки определяют эти же образы независимо от их положения, по-видимому, опираясь на сигналы простых клеток. Сама функция V1 при этом виделась, как разложение исходного изображения в пространстве элементарных детекторов, в некоторой степени, инвариантных к сдвигу. Далее подразумевалось, что из такого сигнального набора можно каким-то образом детектировать более сложные зрительные объекты.
Если следовать нашей модели, то вызванную реакцию нейронов на стимулы не стоит толковать, как прямой результат детектирования. Активность нейронов – это появление в миниколонке некого кода, сопровождающего процесс проверки гипотезы о том, что контекст этой миниколонки наиболее удачен для трактовки подаваемого стимула. То есть можно говорить, что вызванная активность нейронов – это не результат детектирования простого стимула, а артефакт проверки миниколонкой соответствующей гипотезы. Иными словами, когда нейрон проявляет активность, это не говорит о том, что нейрон «увидел» характерный для него стимул. Активность означает, что в том контексте, который свойственен миниколонке, узнано что-то ранее виденное, и этот нейрон принял участие в создании соответствующего кода, проявившегося на нейронах миниколонки.
Так как один из параметров зрительного контекста – это разворот изображения, то можно предположить, что у каждой миниколонки может присутствовать свой параметр поворота. Этот параметр можно толковать, как поворот «текущей картинки», который делает миниколонка перед тем как проверить ее на совпадение с памятью. Это может означать, что именно в «таком повороте» миниколонка лучше всего «узнает» сохраненные в памяти образы или выделенные из них факторы. Соответственно, появление вызванной активности может быть следствием того, что общая ориентация образа совпала с ориентацией, свойственной контексту миниколонки.
Если предположить, что миниколонки выполняют функции контекстных модулей, то V1 надо рассматривать как пространство всевозможных зрительных контекстов. Зрительный контекст – это определенная трансформация описания исходного изображения. В результате трансформации получается описание, соответствующее тому, как выглядел бы исходный образ после такого преобразования. Наиболее очевидные трансформации – это смещение по горизонтали и вертикали, а также вращение образа. Контексты в таком «очевидном» случае – это всевозможные комбинации смещений и поворотов.
Алгоритм работы коры с тремя контекстными параметрами упрощенно выглядит так:
- Зная правила преобразования описаний, каждый из контекстов осуществляет смещение и поворот исходного изображения так, как предписывают правила контекста.
- В результате для исходного изображения получается многообразие трансформаций во всех возможных смещениях и поворотах.
- В каждой из трансформаций происходит проверка, не похожа ли трансформированная картинка на что-либо ранее виденное.
В таком изложении алгоритм работы коры соответствует алгоритму работы сверточных сетей (Fukushima, 1980) (Y. LeCun and Y. Bengio, 1995). В сверточных сетях плоскости простых клеток выполняют функции контекстов, они отвечают за «знание», как меняется изображение при сдвиге. Функции памяти выполняют слои сложных клеток, которые хранят ядра свертки. Традиционные сверточные сети «знают» правила преобразования при горизонтальном и вертикальном смещении, но сам принцип может быть применен и к более сложным преобразованиям, например, к повороту (Exploiting Cyclic Symmetry in Convolutional Neural Networks, Sander Dieleman, Jeffrey De Fauw, Koray Kavukcuoglu, https://arxiv.org/pdf/1602.02660.pdf).
Чтобы проверить гипотезу о том, что стриарная кора – это пространство контекстов, было выполнено компьютерное моделирование пространственного размещения основных зрительных контекстов в соответствии с описанными ранее принципами самоорганизации (http://www.aboutbrain.ru/programs/).
На рисунке ниже показаны результаты моделирования для контекстов с четырьмя параметрами. Первый параметр – задает поворот, второй и третий – смещения, четвертый – глазодоминантность. Для самоорганизации была введена мера близости контекстов, исходящая из похожести их параметров. При этом при определении близости по параметру поворота учитывалась его круговая природа, то есть, что, например, разница между 0 и 270 градусами – это 90 градусов.
Изначально был задан набор контекстов, описывающий все возможные трансформации. После пространственной самоорганизации контексты выстроились так, что по параметрам сдвига они образовали приблизительное подобие двумерного соответствия видимой зрительной области (фрагменты 2,3 на рисунке ниже). При этом по параметру поворота (фрагмент 1 рисунка ниже) за счет кольцевой близости контексты выстроились в «вертушки» (pinwheels), наподобие того, что наблюдается в зрительной коре некоторых животных.
По параметру глазодоминантности (фрагмент 4 рисунка ниже), который принимал только два значения, сформировалась карта, которая может быть сопоставлена с картами колонок глазодоминантности в реальной коре.
Пространственное размещение контекстов в результате самоорганизации (ссылка). 1 – карта ориентаций, 2 – карта смещений по X, 3 – карта смещений по Y, 4 – карта глазодоминантности.
Ниже показан фрагмент карты самоорганизации контекстов. Все контексты на нем имеют близкие параметры горизонтального и вертикального смещения и при этом охватывают весь возможный спектр вариаций по повороту. Такую совокупность контекстов можно сопоставить с макроколонкой в понимании Маунткасла ((Brain (1997), 120, 701–722, The columnar organization of the neocortex, Vernon B. Mountcastle).
Традиционное представление приписывает миниколонкам функции детектирования. Соответственно, для зрительной коры макроколонка получается набором детекторов, отвечающих за одно место сетчатки и охватывающих все возможные ориентации. В нашем подходе миниколонки – это контекстные модули. Они не детектируют какой-то простой образ, а выполняют куда более сложные функции.
Область, включающая набор контекстов с разными ориентациями
Надо отметить, что упорядоченность контекстов по параметрам горизонтального и вертикального сдвига (фрагменты 2 и 3) создает определенное пространственное соответствие между сетчаткой и зрительной корой, которое принято называть ретинотопичностью. Это соответствие принято объяснять сохранением относительного расположения нервных волокон на всем протяжении зрительного пути. Но, можно предположить, что основной вклад в ретинотопичность вносит самоорганизация контекстов, которая и выстраивает их в соответствии с пространственными координатами.
Кстати, аналогичным образом можно объяснить возникновение карт моторной и сенсорной коры, известной как «человечек Пенфилда» (Penfield, W. & Rasmussen, T., The cerebral cortex of man: a clinical study of localization of function, Macmillan, New York, 1950). На заглавной картинке изображены человечки, у которых размеры частей тел соответствуют площади соответствующих участков сенсорной и моторной коры.
«Человечек Пенфилда» на коре
Как мы говорили ранее, для определения локального максимума в пространстве контекстов недостаточно учитывать только пространственную близость. Также требуется знание взаимной коррелированности контекстов. Собственно, пространственная близость – это только инструмент, позволяющий оптимизировать длину и количество связей, соединяющих близкие по смыслу контексты. Это хорошо соотносится с данными о том, что горизонтальные связи нейронов стриарной коры преимущественно объединяют нейроны с одинаковыми ориентационными предпочтениями (Gilbert C.D., Wiesel T.N. (1989) Columnar specificity of intrinsic horizontal and corticocortical connections in cat visual cortex. J Neurosci 9:2432–2442.) (Malach R, Amir Y, Harel M, Grinvald A (1993) Relationship between intrinsic connections and functional architecture revealed by optical imaging and in vivo targeted biocytin injections in primate striate cortex. Proc Natl Acad Sci USA 90:10469 –10473.).
На рисунке ниже видно, что структура горизонтальных связей реальной коры покрывает ближайшее пространство по линейным координатам и области, более удаленные по координатам, но близкие по параметру поворота.
Структура горизонтальных связей области с определенной ориентацией, наложенная на карту аналогичной ориентационной предпочтительности (Orientation Selectivity and the Arrangement of Horizontal Connections Tree Shrew Striate Cortex, William H. Bosking, Ying Zhang, Brett Schofield, and David Fitzpatrick, The Journal of Neuroscience, March 15, 1997, 17(6):2112–2127)
При моделировании гипотетическая структура связей, основанная на близости контекстов, может быть воспроизведена за счет подсвечивания контекстов, высоко коррелированных с выбранным (рисунок ниже). Полученная картина хорошо соответствует структуре горизонтальных связей в реальной коре. Она также показывает высокую плотность в непосредственном окружении и избирательную плотность с контекстами аналогичной ориентации в удалении.
Примеры распределение контекстов, коррелированных с выбранным. Выбранный контекст обозначен красной точкой (http://www.aboutbrain.ru/programs/).
В реальной зрительной коре области горизонтальных связей вытянуты вдоль определенных направлений (Orientation Selectivity and the Arrangement of Horizontal Connections Tree Shrew Striate Cortex, William H. Bosking, Ying Zhang, Brett Schofield, and David Fitzpatrick, The Journal of Neuroscience, March 15, 1997, 17(6):2112–2127) (рисунок ниже). Этот интересный факт можно объяснить в нашем подходе. Мы предполагаем, что горизонтальные связи отражают структуру корреляций контекстов. Корреляция контекстов проявляется при получении реального зрительного опыта, когда соответствующие контексты совместно показывают высокую активность. Но в реальном мире большая часть окружающих изображений содержит большое количество элементов с длинными прямыми линиями. За счет этого значительно повышается вероятность активации советующих контекстов, что может служить причиной описанного феномена.
Зависимость вытянутости облака горизонтальных связей от предпочитаемой ориентации (Orientation Selectivity and the Arrangement of Horizontal Connections Tree Shrew Striate Cortex, William H. Bosking, Ying Zhang, Brett Schofield, and David Fitzpatrick, The Journal of Neuroscience, March 15, 1997, 17(6):2112–2127)
Варианты пространственной организации зрительной коры
При построении модели работы неокортекса очень соблазнительно предположить, что общие принципы его работы, с одной стороны, одинаковы для разных зон коры, с другой стороны, едины у разных видов животных. Собственно, из такого предположения исходит и наша модель. Соответственно, принцип единообразия подразумевает, что в схожих условиях у разных животных одни и те же зоны коры будут проявлять одни и те же свойства. Однако, у грызунов свойства первичной зрительной коры сильно отличаются от того, что было описано выше. Хотя нейроны зрительной коры грызунов и проявляют ориентационные предпочтения, они не образуют никакой упорядоченной пространственной структуры, а располагаются случайно по принципу «соль и перец» (Ohki K, Chung S, Ch’ng YH, Kara P, Reid RC: Functional imaging with cellular resolution reveals precise micro-architecture in visual cortex. Nature 2005, 433:597-603.). На картинке ниже показано различие в распределении ориентационных предпочтений для кошек и крыс.
Слева — ориентационная «вертушка» в зрительной коре кошки (Ohki K, Chung S, Kara P, Hu¨ bener M, Bonhoeffer T, Reid RC: Highly ordered arrangement of single neurons in orientation pinwheels. Nature 2006, 442:925-928.), справа – распределение предпочитаемых ориентаций в зрительной коре крысы (Ohki K, Chung S, Ch’ng YH, Kara P, Reid RC: Functional imaging with cellular resolution reveals precise micro-architecture in visual cortex. Nature 2005, 433:597-603.)
В рамках нашей модели можно предположить, что это различие не говорит о принципиальной идеологической разнице в работе первичных зрительных зон у разных животных, а скорее является следствием различия неких свойственных этим зонам «параметров настройки». Так, можно предположить, что главное отличие заключается в количестве тех контекстных параметров, которые определяют структуру контекстов этих зрительных зон.
Определение предпочитаемой ориентации для нейронов, расположенных вертикально друг под другом в коре крыс, показывает отсутствие у них единого предпочтения (рисунок ниже) (Receptive Field Properties of Single Neurons in Rat Primary Visual Cortex, Sergej V. Girman, Yves Sauvé, Raymond D. Lund, Journal of Neurophysiology Published 1 July 1999 Vol. 82 no. 1, 301-311 DOI:). Отсутствие в миниколонках общего для нейронов предпочтения по ориентации и, соответственно, отсутствие какой-либо пространственной закономерности, связанной с ориентацией, в нашей модели означает, что в стриарной коре грызунов поворот отсутствует как контекстный параметр. При этом присутствует упорядоченность миниколонок по координатам, которую принято называть ретинотопичностью, и которая свидетельствует о наличии двух координатных контекстов.
Разброс предпочитаемой ориентации для нейронов одной миниколонки первичной зрительной коры крысы (Receptive Field Properties of Single Neurons in Rat Primary Visual Cortex, Sergej V. Girman, Yves Sauvé, Raymond D. Lund, Journal of Neurophysiology Published 1 July 1999 Vol. 82 no. 1, 301-311 DOI:)
Количество миниколонок в стриарной коре кошки составляет порядка 160 000 (The Cat Primary Visual Cortex, Bertram Payne, Alan Peters, Academic Press, 2001 г.). Если предположить, что это количество распределено между четырьмя параметрами: глазодоминантность, смещение по горизонтали, смещение по вертикали и поворот, то это приблизительно соответствует соотношению 2x43x43x43. Это очень грубая прикидка, скорее всего далекая от реальности. Совокупная зрительная кора кроме описаний, связанных с границами, обрабатывает много другой информации, например, информацию о яркости, цвете, глубине пространства и движении объектов. Все эти параметры распределяются между стриарной и экстрастриарной корой. Кора кошки, имеющая 160 000 контекстов, позволяет получить квантование по одному параметру с уровнем порядка 40-45. Для различных животных с уменьшением размеров коры физические размеры миниколонок сохраняются приблизительно неизменными. Соответственно, уменьшается общее число миниколонок. Это должно сопровождаться уменьшением числа уровней квантования контекста, что возможно и наблюдается при переходе от приматов к кошкам и от кошек, например, к тупайям. Но, когда уровень квантования достигает критически низкого значения то, похоже, происходит отказ на уровне стриарной коры от одного из параметров — параметра поворота. Это не означает, что исчезает обработка инвариантности к повороту. Видимо, контексты поворота переходят на другую зону зрительной коры и обрабатываются уже там. У грызунов стриарная кора где-то на порядок меньше по площади, чем у кошек. Можно предположить, что при таком размере и происходит отказ от контекстного параметра, связанного с поворотом.
Теперь попробуем более подробно объяснить природу вызванной активности нейронов зрительной коры, наблюдаемую при предъявлении стимулов определенной ориентации.
Можно предположить, что в стриарной коре выделяется некий набор признаков, удобный для дальнейшего описания изображений (принципы выделения признаков будут описаны позже). Это может быть что-то аналогичное признакам Хаара (рисунок ниже), используемым в компьютерном распознавании образов (Viola and Jones, «Rapid object detection using a boosted cascade of simple features», Computer Vision and Pattern Recognition, 2001). По сути, такие признаки описывают ориентированные фрагменты границ, линий и концов линий.
Пример примитивов Хаара (Viola and Jones, «Rapid object detection using a boosted cascade of simple features», Computer Vision and Pattern Recognition, 2001)
Работать с такими признаками можно двумя способами. Можно говорить о базовых образах (граница, линия, конец линии) и указывать, какая при этом у них ориентация и позиция. А можно на каждый базовый образ иметь столько примитивов в разных вариантах поворота, сколько возможно ориентаций при заданном уровне квантования, и указывать конкретные примитивы и их место на сетчатке. Если мы перенесем это на идеологию контекстов, то получим два варианта описания:
- Базовый образ (без учета поворота и координат). Поворот и координаты – параметры контекста;
- Примитив (вариант базового образа в одном из поворотов). Координаты – параметры контекста.
То есть для создания описания нам надо указать понятие и контекст его трактовки. В первом случае мы используем более общие понятия (базовые образы) и контекстом уточняем их поворот и координаты, а во втором случае используем более широкий набор понятий (каждая вариация по повороту базовых образов), а контекстом уточняем только координаты. Первый случай может соответствовать коре приматов и кошек, второй коре грызунов.
Прямое использование примитивов Хаара достаточно сильно «огрубляет» описание. Это удобно для нетребовательных к точности методов, которые в этом случае могут работать с грубым описанием без дальнейшего рассмотрения контекстных гипотез. Можно увеличить точность описания если использовать расширенный набор примитивов, который будет включать небольшие вариации сдвига базовых образов по горизонтали и вертикали. Будем исходить из того, что работает с таким расширенным набором.
В каждом из контекстов есть информация о том, как выглядят базовые образы. Это, предположительно, происходит за счет обобщения реальной зрительной информации и выделения из нее наиболее информативных факторов. Можно предположить, что в случае, когда кора имеет контекст поворота, эти образы оказываются выделены так, что их основные ориентации совпадают между собой.
В нашей концепции активность нейронов миниколонки – это формирование кода признака, обнаруженного в контексте миниколонки. Можно предположить, что признаки для первичной зрительной коры – это образы наподобие примитивов Хаара в различных вариациях сдвига. Для коры, где есть контекстный параметр поворота, признаки будут инвариантны к повороту. Для коры без контекста поворота признаков будет больше, они будут включать вариации, получаемые при вращении.
Для коры с контекстом поворота активность нейронов миниколонки будет проявляться, когда положение и ориентация стимула будет соответствовать контексту миниколонки. При этом каждый нейрон может участвовать в кодах разных признаков. Если для такого нейрона перемещать стимул подходящей ориентации по рецептивному полю, он будет давать ответ каждый раз, когда миниколонкой будет обнаруживаться признак, в коде которого этот нейрон присутствует. Возможно, что что-то подобное и наблюдается в реальных опытах. Можно предположить, что разнообразие типов выделяемых корой признаков порождают наблюдаемые варианты реакций нейронов стриарной коры.
Для коры без контекста поворота предпочитаемая реакция нейронов на ориентацию может быть следствием неравномерности участия этих нейронов в кодах признаков различных ориентаций. Такая неравномерность может возникать, например, когда количество признаков относительно невелико и на один нейрон приходится участие всего в нескольких кодах. Тогда велика вероятность, что возникнет смещение в сторону какой-либо ориентации. Либо неравномерность может возникать, если самим кодам присуща определенная закономерность. Например, если коды признаков обладают свойствами кодов Грея (F. Gray. Pulse code communication, March 17, 1953 (filed Nov. 1947). U.S. Patent 2,632,058), то есть похожим признакам соответствуют близкие бинарные коды. В любом случае такая реакция на ориентацию стимула будет индивидуальной для отдельных нейронов и не будет единой для всей миниколонки.
Пространственная организация аудиальной коры
Ранее мы говорили, что аудиальная информация может быть представлена через описание ее спектрального портрета. Для этого надо выбрать временной отрезок такой продолжительности, чтобы в него помещались интересующие нас звуковые образы. Разбить его на равные элементарные интервалы. Для каждого интервала получить спектр сигнала, который будет состоять из значений амплитуды и фазы для фиксированного набора частот. Произвести квантование значений амплитуды и фазы. Набор понятий, необходимый для описания сигнала произвольной формы, — это все возможные сочетания значений амплитуды, фазы, частоты и номера временного интервала. Чтобы получить описание звукового сигнала внутри выбранного временного отрезка можно отбросить значения амплитуды, величина которых близка к нулю, а остальные записать в виде перечисления соответствующих им понятий.
Для непрерывного звукового потока удобно использовать циклический идентификатор временных интервалов. Каждый новый временной замер получает идентификатор из упорядоченного последовательного набора идентификаторов. Когда последовательность идентификаторов заканчивается опять выдается первый идентификатор и начинается новый цикл. При этом один и тот же сигнал может иметь разное описание в понятиях в зависимости от того, на какой временной интервал пришлось его начало.
Основные параметры, определяющие контексты для звуковой информации – это общий уровень громкости, временной сдвиг, смещение по частоте и изменение временного масштаба. Пространственная самоорганизация этих контекстов должна привести к формированию карт с определенной внутренней упорядоченностью. По аналогии со зрительной корой эта упорядоченность в реальной звуковой коре должна появляться через появление карт распределения предпочтительной реакции нейронов на определенные характеристики звуковых стимулов. Достаточно хорошо исследованы два вида таких распределений. Первое распределение называется тонотопичностью (Tonotopy) и связано с тем, какая частота вызывает наиболее сильный ответ нейронов (рисунок ниже).
Карты частоты для трех разных обезьян. Верхний ряд: карта контраста между высокими и низкими тонами, нижний ряд: карта предпочитаемой нейронами частоты (The topography of frequency and time representation in primate auditory cortices, Simon Baumann Olivier Joly Adrian Rees Christopher I Petkov Li Sun Alexander Thiele Timothy D Griffiths, Newcastle University, United Kingdom; University of Oxford, United Kingdom, DOI: dx.doi.org/10.7554/eLife.03256)
Второй тип распределения принято называть периодотопичностью (Periodotopy). Это распределение связано с реакцией нейронов на звуковые сигналы, модулированные по амплитуде сигналом более низкой частоты. Предпочтения нейронов относительно периода модулирующего сигнала и составляет карту распределения (рисунок ниже).
Карты частоты амплитудной модуляции для трех разных обезьян. Верхний ряд: карта контраста между высокими и низкими частотами модуляции, нижний ряд: карта предпочитаемой нейронами частоты модуляции (The topography of frequency and time representation in primate auditory cortices, Simon Baumann Olivier Joly Adrian Rees Christopher I Petkov Li Sun Alexander Thiele Timothy D Griffiths, Newcastle University, United Kingdom; University of Oxford, United Kingdom, DOI: dx.doi.org/10.7554/eLife.03256)
По аналогии со зрительной корой эти карты могут быть истолкованы, как артефакты работы миниколонок при проверке соответствующих контекстных гипотез. При этом карта тонотопичности может быть следствием организации коры по параметру сдвига по частоте. А карта периодотопичности – результатом распределения контекстов по параметру временного масштаба. Временной масштаб подразумевает такое преобразование звукового сигнала, которое соответствует ускорению или замедлению скорости звучания. Примером может служить изменение темпа речи. Изменению темпа соответствует повышение или понижение частоты огибающих сигналов при сохранении частоты несущих сигналов.
Большинство результатов по картированию коры получается через измерение BOLD (Blood Oxygenation Level Dependent signal), то есть по анализу динамики уровня кислорода в крови, который напрямую связан с активностью нейронов. Соответственно, пространственное разрешение таких измерений относительно невелико и говорит не об активности отдельных нейронов, а об активности в определенном регионе. Это позволяет предположить, что в слуховой коре на малых масштабах могут быть «вертушки», аналогичные ориентационным «вертушкам» в стриарной коре, связанные с параметром временного сдвига, имеющего, как и ориентация, циклическую природу.
Динамическая перестройка контекстных карт
Способность миниколонок переключать контекст позволяет описать возможный механизм пространственной организации реальной коры. Кроме самоорганизации способность к переключению контекста может быть использована для создания достаточно продвинутых информационных алгоритмов.
Вычислительная сложность алгоритмов оценивается по двум критериям: «временная сложность» и «пространственная сложность». Временная сложность оценивает ожидаемое время работы алгоритма. Иногда оценивается время работы в худшем случае. Если вычисления допускают распараллеливание, то временная сложность начинает зависеть от количества доступных нам вычислительных модулей. При этом ускорение возможно только до того момента пока количество доступных вычислительных модулей не сравняется с количеством требуемых алгоритму параллельных потоков. Модули, для которых не хватило потоков будут простаивать и не окажут влияния на ускорение. В нашем случае потоки вычислений – это контексты. Если количество миниколонок достаточно для покрытия всего пространства контекстов, то вычисление смысла может быть произведено за один такт.
Пространственная сложность – это требуемое алгоритму пространство памяти. Во многих случаях, можно значительно ускорить время работы алгоритма за счет увеличения его пространственной сложности. При этом приходится учитывать не просто требования к размеру памяти, требуемому для хранения данных, но и возможности вычислительного модуля быстро обратиться к этой памяти. В нашем случае мы уже столкнулись с тем, что для эффективного определения смысла каждой миниколонке требуется иметь собственную копию памяти предыдущих событий, а для быстрой пространственной организации им приходится хранить правила преобразований не только своего, но и всех остальных контекстов. Такие требования к памяти не являются универсальными догмами, а связаны с особенностями используемой вычислительной архитектуры.
В случае с реальной корой возможности по распараллеливанию вычислений какой-либо зоны коры связаны с количеством миниколонок на ней. Один квадратный миллиметр коры содержит порядка 400 миниколонок. Условная зона коры размером 40 на 40 миллиметров будет содержать 640 000 миниколонок (приблизительно столько миниколонок в среднем содержат зоны коры у человека). Это значит, что за один такт эта условная зона сможет проверить 640 000 контекстных гипотез. Настройка миниколонок на определенные контексты создает карту контекстов. Эти контексты могут перемещаться, приобретая оптимальную пространственную структуру. При этом сам набор контекстов остается неизменным. Возможности коры в такой схеме ограничены числом миниколонок, а определение смысла сводится к однотактной операции вычисления трактовок и определения наиболее подходящих из них. Можно значительно повысить возможности коры, если отказаться от однотактной схемы и пойти на значительное увеличение используемой памяти.
Процедура определения смысла создает множество возможных трактовок. Каждая трактовка – это описание исходной информации в соответствующем контексте и описание самого контекста. Например, глядя на рисунок ниже, мы можем сказать, что одна из трактовок – это буква A в левом нижнем углу, а другая трактовка – буква B в правом верхнем. Для каждой такой трактовки буква – это описание в контексте, а указание места – указание контекста.
Изображение с двумя буквами
Указание на контекст можно заменить идентификатором соответствующего контекста. Таким образом, контекст является одновременно и вычислительной схемой, которая связана с правилами трансформации понятий, и понятием, дающим «название» этой схеме. Это хорошо соотносится с нашим жизненным опытом, когда мы, например, можем использовать и правила математической трактовки понятий, и само понятие «математика» для обозначения системы этих правил.
Предположим, что мы имеем сформированный и упорядоченный в пространстве набор контекстов. Допустим, что количество контекстных модулей меньше, чем число контекстов, свойственных информации. В таком случае нам придется объединять похожие контексты вместе для того, чтобы уложиться в отведенное нам количество модулей. При объединении нам придется из конфликтующих правил выбирать, например, наиболее распространенные. Такое объединение будет отрицательно влиять на точность наших вычислений. Вероятность корректного вычисления нужного контекста и наиболее подходящей трактовки будет снижаться. Но зато мы сможем уложиться в отведенное нам количество вычислительных модулей.
Так как контексты пространственно упорядочены и корреляционные связи между ними настроены соответствующим образом, то потенциально возможно выделить области похожих между собой контекстов. Такие области контекстов, объединенные общим смыслом, можно назвать контекстами, относящимися к одной теме, или просто темой информации.
Если в «дефицитной» контекстной схеме произошло определение предположительного смысла, то можно говорить о том, что, возможно, удалось определить тему информации. Когда известна тема информации можно произвести дополнительное уточнение ее смысла. Вопрос уточнения – это вопрос того, какой свободной памятью на контекстные преобразования мы располагаем. Предположим, что такой памяти у нас достаточно много. Тогда возможен следующий подход. Можно на той же зоне коры создать новую карту контекстов, на которой основной акцент будет сделан на контексты, относящиеся к выбранной теме.
Предположим, что кора может выделять контекстов значительно больше, чем имеет свободных миниколонок. Также предположим, что каждая миниколонка может иметь память преобразований для всех обнаруженных контекстов и контекстов, являющихся их «загрублениями». Тогда можно попытаться составить начальную «нулевую» карту контекстов таким образом, чтобы с наибольшей вероятностью либо сразу определять смысл описаний, либо хотя-бы определять их тему (рисунок ниже).
Граф контекстных карт
При подаче информации, смысл которой не определяется сразу, можно определить возможные темы. Затем, перестраивая карту коры на такие возможные темы, можно пытаться на них определить смысл.
Совокупность начальной карты и карт тем образует граф контекстных карт. Потенциально, каждая из карт может содержать контексты, позволяющие определить другие темы. Тогда несложно представить механизм перехода от темы к теме напрямую, минуя начальную карту. Можно представить и многоуровневые карты, когда уточнение информации происходит не за два, а за большее число шагов.
Чтобы карты тем могли работать по описанным ранее принципам, кроме перестроения идентификаторов контекстов должны перестраиваться и корреляционные связи между ними. То есть связи должны быть управляемыми и иметь возможность принимать разные значения в зависимости от выбранной темы. Такое поведение связей похоже на концепцию трехсторонних синапсов (R. D. Fields, B. Stevens-Graham, 2002). Согласно ей астроциты способны разными механизмами модулировать работу синапсов, что подразумевает изменение силы связей. Ранее мы говорили, что, скорее всего, плазматические астроциты являются носителями памяти, как и нейроны. Астроциты имеют наборы мембранных рецепторов, аналогичные рецепторам нейронов и, потенциально, могут каким-либо способом фиксировать и воспроизводить волновую информацию. Возможно, что на долю астроцитов приходится та память, что связана с манипуляцией контекстной информацией.
На рисунке ниже показана схема контекстного модуля, учитывающего работу с темами. При задании текущей темы из памяти тем извлекается идентификатор контекста, который задает настройку правил преобразования. Также в зависимости от темы происходит перестройка корреляционных связей.
Схема контекстного модуля, учитывающая возможность перестройки контекстных карт при изменении темы
Основной довод в пользу того, что перестройка контекстных карт может быть свойственна реальному , заключается в возможности овладевать новыми сложными знаниями без ущерба для старых. Это не касается распределения функций между зонами коры. Есть много примеров, когда новый опыт совмещается со старым, по-видимому, на одних и тех же зонах коры. Например, за овладение игрой на пианино отвечает моторная кора. Обучение игре приводит к фиксируемым пространственным изменениям (Pascual-Leone, A., Nguyet, D., Cohen, L. G., Brasil-Nieto, J. P., Cammarota, A., and Hallett, M. (1995). Modulation of muscle responses evoked by transcranial magnetic stimulation during the acquisition of new fine motor skills. J. Neurophysiol. 74, 1037–1045.). При этом старый опыт нисколько не страдает. Если бы при накоплении новых навыков и, соответственно, появлении новых контекстов приходилось «ужиматься» в ограниченном наборе миниколонок, то это должно было привести к их перераспределению и, соответственно, ухудшению каких-либо старых способностей.
Так же сомнительно, чтобы природой были предусмотрены специальные зоны коры, зарезервированные под различные сложные интеллектуальные навыки. Скорее всего, овладение различными науками, мастерской игрой в шахматы или какой-либо иной интеллектуальной способностью не связано с обучением неких новых ранее незадействованных зон коры. Можно предположить, что при овладении новой тематикой имеет место не тотальное изменение базовой карты контекстов, а только небольшая ее перестройка. И при этом формируется новая тематическая карта контекстов, учитывающая все особенности изучаемой предметной области.
Алексей Редозубов
Логика сознания. Часть 1. Волны в клеточном автомате
Логика сознания. Часть 2. Дендритные волны
Логика сознания. Часть 3. Голографическая память в клеточном автомате
Логика сознания. Часть 4. Секрет памяти мозга
Логика сознания. Часть 5. Смысловой подход к анализу информации
Логика сознания. Часть 6. Кора мозга как пространство вычисления смыслов
Логика сознания. Часть 7. Самоорганизация пространства контекстов
Логика сознания. Пояснение «на пальцах»
Логика сознания. Часть 8. Пространственные карты коры мозга
Автор: AlexeyR
