— мой давний сосед. Учитывая то, сколько времени мы провели, и сколько нам еще предстоит быть вместе, не интересоваться им — полнейшая бестактность.
Ходишь с черным ящиком внутри черепной коробки, и этот ящик понимает, что он сам себе дает такое описание. Это же очень любопытно. Если бы мне дали железку с такими возможностями, я бы все свободное время убил на то, чтобы понять, как она работает. Собственно, я и убиваю. Объект исследования всегда при мне — очень удобно. Жаль только, внутри покопаться нельзя.
записывает и обрабатывает информацию. Но как? Почему что-то хранится долго, а что-то забывается за пару дней? Как это связано с нейронами?
Можно ли, основываясь на информации из нейробиологии, построить модель дающую похожее на реальный поведение?
А что гадать? Давайте просто попробуем.
DISCLAIMER:
Здесь не будет полного объяснения того, как работает . Это краткое описание основных принципов. Цель этой статьи — создать приблизительную модель. Иногда она не будет работать. Но это лучше, чем не иметь никакой модели.
Можно провести аналогию с формулой трения в физике. Она получена эмпирически, и не является совсем точной. Но она достаточно точна, чтобы делать оценки и использовать ее в рассчетах.
Все ссылки далее — для углубленного изучения. Они не понадобятся для прочтения статьи. И почти все — на английском. Рунет беден на актуальную информацию по интересующим нас вопросам.
С чего начать?
Давайте пока отложим модели памяти из психологии. Все описания вроде: «кратковременная — долговременная», «Working Memory», «теория уровней обработки», «магическое число 7+-2» сейчас нас только запутают. Пытаться с их помощью понять — все равно что пытаться угадать устройство компьютера, смотря в монитор из под учетки с родительским контролем. Для нас они станут полезны только после того, как мы разберемся с основными принципами.
Мы пойдем снизу и начнем путь с нейронов.
Нейроны и связи
from: wiki
Существует много типов нейронов. Они отличаются по количеству дендритов, используемыми нейротрансмиттерами, и кучей других параметров, по которым их можно классифицировать. Мы не будем уходить в дебри имплементации. Давайте займемся основным — передачей сигналов.
Если очень грубо описывать процесс, то он выглядит так:
1. Есть заряженный нейрон, содержащий ионы. Когда его заряд перешел порог активации (мы накопили очень много заряженных частиц), ионы начинают двигаться по аксону.
from: wiki
2. Дойдя до конца аксона ионы попадают в синапс. В синапсе хранятся нейротрансмиттеры, и ионы выпускают их на свободу.
from: wiki
3. Внизу находится другой нейрон, у которого есть рецепторы. Они принимают выпущенные нейротрансмиттеры и открывают каналы для зарядки ионами следующего нейрона. Короче, нейротрансмиттер — это ключ. Попав в соответствующий замок-рецептор он открывает нейрон для зарядки.
Самые интересные и мощные штуки — структурные аналоги, которые умеют активировать соответствующий рецептор. В отличие от естественных собратьев, они не собираются покидать его быстро, и вызывают «короткое замыкание». Нейрон, в который попало такое вещество активируется даже при слабом воздействии на него.
Антидепрессанты — влияют на обратный захват нейромедиаторов. Например, СИОЗС — Селективный Ингибитор(Подавитель) Обратного Захвата Серотонина. Т.Е. они не втыкаются в рецептор напрямую, а делают так, что естественный нейромедиатор дольше уходит из области между синапсом и дендритом. Поэтому интересных ощущений от них меньше.
А различные вещи вызывающие тормоза — блокируют рецепторы, не давая их активировать, или уводят естественные нейромедиаторы из синаптической области.
И да, не играйтесь с серотонином! Серотониновый синдром — очень опасная штука.
Один нейрон может получать сигналы от нескольких, через дендриты. А один аксон может быть связан с несколькими нейронами.
А теперь давайте все это сожмем:
- Нейрон умеет активироваться и передавать сигналы другому нейрону.
- Другой нейрон, получив сигнал — заряжается, и приближается к активации.
- Один нейрон может принимать сигналы от нескольких нейронов.
- Когда нейрон активируется, он передает сигнал всем связанным с ним нейронам.
Или, в терминах кружков и стрелочек:
Это все очень познавательно, но, где здесь данные? Как хранить информацию в нейронах, как читать и как записывать?
Хранение и чтение
Для хранения и записи существует механизм, называемый синаптической пластичностью.
На пальцах его можно объяснить так: связи между нейронами имеют разную «силу». Чем сильнее связь, тем сильнее заряжается нейрон-ресивер при ее активации.
А теперь момент, который может быть немного сложен для понимания. Сила связей — это и есть наши данные. Вы видите этот текст — это активация нейронов в вашем . «Узор активации», который он производит в нашей нейросети и есть то, что мы называем «вижу». А так же слышу, чувствую, представляю, вспоминаю и прочее. Все это — активация определенной последовательности нейронов.
Иными словами, если найти в зрительной коре участок, который активируется, когда мы видим ложку, подвести туда провода и врубить ток — увидит ложку, и никуда от этого не денется. «Вижу ложку» = активация нейронов в зрительной коре, за счет сигналов от фоторецепторов в глазу.
Добро пожаловать в реальный мир, Нео. Ложка существует, фоторецепторы существуют, нейроны существуют, и все попытки развидеть что-то мысленным усилием обречены на провал. Хотя, нет — глаза можно закрыть.
Какие конкретно участки будут активироваться зависит от того, как пойдут сигналы по связям. Это определяется силой связей.
Дополним нашу картинку:
Информация в хранится в виде связей разной силы между нейронами.
Чтение этой информации осуществляется с помощью активации нейронов. То, как будет выглядеть «узор активации» — зависит от связей и их силы.
Любой человек, занимавшийся дискретной математикой, узнает в этой картинке взвешенный орграф.
Ладно, а как изменить силу связей и записать данные?
Запись
Есть такая вещь, называется теория Хебба, или правило Хебба:
Нейроны которые вместе включаются — вместе соединяются. (Neurons that fire together — wire together).
На нижнем уровне это обеспечивается механизмом E-LTP (Early Long-Term Potentiation или LTP1).
Переформулировать можно так:
Если мы активировали один нейрон и за ним активировался следующий — связь станет сильнее.
За счет того, что мы можем активировать нейроны извне, например с помощью зрения или слуха — мы можем записывать на них информацию. Они будут активироваться вместе, сила связи будет меняться. В следующий раз информацию можно будет достать, активировав начало «цепочки» из сильных связей.
Но все не так просто. Проблема в том, что мы склонны что-то забывать. А это значит, что связи не только усиливаются, но и ослабевают. И при этом деградация связей происходит неравномерно — какие-то из них истончаются быстрее, другие — держатся очень долго. Как иначе объяснить то, что я не помню экзамен по химии в 11 классе, но помню свой день рождения в этот же период?
Можно придумать хитрую систему из замкнутых контуров активаций, и получить постоянно поддерживающуюся связь. Но у реального есть способ намного проще, он называется Late Long-Term Potentiation, или L-LTP.
Вместо того, чтобы заниматься поддержанием связей через постоянную активацию, просто фиксирует ее текущее состояние.
Ладно, с «просто» я переборщил. Есть исследования говорящие в пользу того, что процесс запускается с помощью синтеза специальных белков. Есть другие исследования, которые утверждают, что подавление синтеза белков не влияет на L-LTP. Почитав об этом, я сделал вывод, что в гипотезе о фиксации состояния на долгий период — никто не сомневается. Но в деталях процесса разобраться не смог.
К счастью, в нашем простом мире из стрелочек и кружочков этих деталей нет. Пока мы просто запомним, что связи умеют сохранять состояние и не ослабевать со временем.
Summary
Давайте подведем промежуточные итоги нашей короткой экскурсии в мир нейробиологии:
- Есть нейроны. На нашей картинке они — шарики. Они накапливают заряд, и активируются, когда он превысит определенный порог.
- Есть связи. Их мы обозначили стрелочками. Когда нейрон, из которого выходит связь — активируется, связь передает сигнал нейрону-получателю и он заряжается. Один нейрон может иметь много входных и выходных связей.
- У связей есть сила. На нашей картинке — это толщина линии. Чем сильнее связь, тем больше зарядится ее нейрон-получатель, при передаче сигнала.
- Силу связей можно менять. Для этого надо, чтобы после передачи сигнала нейрон-получатель активировался. Процесс, который за это отвечает, называется E-LTP.
- Усиление связи по предыдущему правилу можно зафиксировать. На нашей картинке — усиленная связь, которая прошла фиксацию — синяя, а не прошедшая — красная. За фиксацию связей отвечает L-LTP.
На эту часть исследования ушло 4 месяца. Я читал статьи и прорывался через десятки непонятных мне терминов, сворачивал не в те области и натыкался на устаревшую информацию по моему вопросу.
Уровнем выше. Подсети и объекты
Мы получили модель процессов, происходящих в с нейронами. К сожалению, подробного описания более крупных структур, «подсетей» нашего у нас нет. Но у нас появилась база, на которой можно надстроить его самостоятельно. Теперь мы будем проводить эксперименты и собирать информацию о поведении . А затем будем на основе базовой модели строить объяснение результатов экспериментов. Если мы построим его правильно, оно не только объяснит то, что мы уже знаем, но и предскажет результаты дальнейших экспериментов.
Первое на что я обратил внимание — у нас есть понятие объекта. Или целого. Ну, в общем все то, что можно посчитать натуральными числами: столы, стулья, дома, деревья, листья, мозги… эта концепция явно нравится, она интуитивно понятна. Но мы знаем, что мир не состоит из объектов, как мы их видим. Монитор, с которого вы читаете этот текст, не цельный объект. Мы можем разложить его на составляющие. У него есть пиксели, есть рамка… Разбивая его дальше мы дойдем до молекул и атомов. Но атомы и молекулы — тоже не целое, они состоят из других частиц.
Но почему так нравится концепция частицы? Серьезно, лучший способ сломать егоru — заставить обрабатывать задачиru, не выражаемые в целых числахru.
И я подумал — а что если существование объектного восприятия мира объясняется самой структурой нашей нейросети? Что если «объект» — это слово, которое описывает активацию связной области? Это объясняет почему мы воспринимаем стул или стол, как целое — они имеют один контур, выделяющийся на общем фоне. Возможно это вызывает одновременную активацию целой подсети в зрительной коре?
Точно так же можно распознавать слова и буквы. Если очень упрощать, то на нашей картинке это будет выглядеть так:
Я сформулировал гипотезу: В существуют области, с сильными связями между нейронами. Их активация дает ощущение «цельности» или «наличия объекта». Теперь нужно проверить ее на прочность.
Первое следствие, которое можно получить — если у нас есть сильно связная подсеть, то она активируется даже при неполной инфрмции. Мы должны уметь самостоятельно завершать знакомый паттерн. И наоборот — если такого шаблона нет, не сможет его восстановить. Здесь мне попалась пара интересных статей про оптические иллюзии и сбои в обработке информации зрением. Вот одна из них. Я так же провел кучу времени, заставляя моих друзей и коллег заполнять опросники, с пропущенными буквами. Слова с пропусками я разбил на 3 категории:
- Общие понятия.
- Специальные термины, которые известны человеку проходящему опрос.
- Cпециальные термины, из узкой области неизвестной испытуемому.
Например, коллегам программистам я давал опросник, в который входили повседневные слова, вроде «столов» и «стульев», слова из IT домена, вроде "паттернов" и "хештаблиц", и слова из области биологии и генетики, вроде "полиаденилирования" или "аденозинмонофосфата".
Выяснилось, что люди успешно заполняют пробелы в знакомых словах и не могут этого сделать с незнакомыми. Это хорошо согласовывалось с прочитанным в других источниках и с моей гипотезой.
Для слуха это тоже работало. Люди отлично распознавали знакомую им речь, даже при плохом сигнале, но не справлялись, если встречали малознакомый шаблон.
Потом я заметил, что иногда люди говорят странные вещи, которые я проверить не могу. Вернее, я их проверяю, но они не работают всегда. И когда они не работали, люди объясняли, что я недостаточно в них верил. Но мячик то всегда падает примерно одинаково! И я не прилагаю усилий, чтобы поверить в гравитацию. Если бы мячик в половине случаев улетал вверх, потому что я недостаточно верю в него — это было бы чертовски странно.
Даже умные и авторитетные люди допускали такие ошибки. Поэтому, мне показалось разумным, что любую информацию которую я могу легко проверить — надо проверять самостоятельно. Если у меня нет возможности провести эксперимент, то я пытаюсь найти результаты других экспериментов и читаю как они проводились. Если я не нахожу странных ошибок, и результаты согласовываются с другими частями «картины мира» — я проверяю теорию, которая построена на его результатах. На формальные ошибки, магически взявшиеся термины и числа и прочие вещи такого рода. Чем больше согласующейся информации — тем лучше.
Мне кажется, что разумнее выглядеть в глазах других людей неучем, задающим «очевидные вопросы» и проверяющим «очевидные вещи», чем ничего не проверять. Иначе потом может оказаться, что все это время ты не выглядел идиотом, зато вел себя как идиот, да еще и с негативными последствиями для себя. И свои выводы — тоже надо перепроверять. С особой тщательностью.
Я тестировал свое предположение 3 месяца, и оно работало на удивление хорошо.
Подаешь на вход сильно-связный шаблон — люди говорят, что он вызывает чувство целого, определяют его как 1 объект. Ломаешь порядок, пытаясь создать другой узор активации — целое разбивается на части и становится несколькими объектами.
Например: «Поля», «Теория», «Единая» / «Единая», «Теория», «Поля» (7 минут пытался найти пример на русском. Кто придумал синхронизировать восприятие слов через их форму? С английским все проще: Special Relativity/Relativity Special, Einstein Field Equations/Field Equations Einstein)
Так я пришел к Гипотезе 1:
В существуют сильно-связные сети нейронов. Активация такой сети рождает чувство «одного объекта» или «целого». Запись новых объектов в память происходит через создание новой сильно-связной области.
Иными словами, я считаю что возможность различать объекты обеспечивается связностью и временной задержкой активации.
P.S.
Оговорюсь, что скорее всего есть ограничение на размер подсети. Сколько не учи стих, одним объектом весь его текст не станет, это будет последовательная активация по цепочке.
Плюсы:
- Объясняет восстановление информации на основе неполных данных и существование оптических иллюзий, через механизм активации подсети как целого.
- Объясняет обучение чтению в порядке буквы -> слоги -> слова -> устойчивые выражения, через создание сильных связей между существующими подсетями. Таким образом создаются новые подсети, для распознавания более сложных объектов.
- Согласуется с тем, что нейронные связи имеют направление, т.к. смена порядка нарушает шаблон активации. Другой порядок -> другое направление связей -> другой паттерн активации.
- Отлично согласуется с принципами гештальта в UX-дизайне.
- Объясняет почему мы часто нарушаем SRP. Когда мы долго работаем, в нашем ответственности связываются, и мы пишем один «менеджер всего». Для того, чтобы не писать Один Класс Чтоб Править Всеми приходится приложить дополнительные усилия. Примерно, как для того, чтобы увидеть стул как композицию объектов.
- Список можно продолжать.
Минусы:
Непонятно, как именно появляется «чувство цельности». Откуда приходит сообщение в часть , которую мы воспринимаем как Себя, о том, что другая часть «закрыла гештальт»?
Критерии фальсификации:
Эта гипотеза будет выкинута на помойку, если:
- Нейроны не образуют устойчивые сильно-связные подсети.
- Найдется способ доказать экспериментально, что возможность «выделять отдельные объекты» не связана с активацией сети из пункта выше.
- Найдется объяснение всем пунктам из списка «плюсы», использующее меньшее количество сущностей. При этом, оно должно сводиться к нейронам, или другим достоверно существующим в объектам.
- Любой другой способ формального или экспериментального опровержения. Логические противоречия, следствия, которые не подтвердятся, и т.д.
Falsification bounty programm:
Гипотеза участвует в программе поощрения критического : 50$ за опровержение.
Дополнительное описание под спойлером ниже:
Вы должны доказать один из критериев фальсификации, или составить свой. И фальсифицировать мою гипотезу. Если ваш критерий хорош, и я не найду изъянов в логике опровержения — вы молодец. Спорить, чтобы просто доказать свою правоту я не буду (ладно, я не говорю, что совсем не буду, но очень постараюсь).
Пример хорошего опровержения:
Из описанного механизма объединения нейронов в подсети следует, что…, тогда мы должны наблюдать ..., но это противоречит тому, что мы видим в реальности.
Пример плохого:
«Ты что, самый умный?» — без комментариев.
«А вот я смотрел видео одного психолога, и он сказал...» — аналогично, если он не сказал что-то подходящее под шаблон хорошего опровержения.
«И где в этой гипотезе объяснение рефлексов?» — рефлекс срабатывает до того, как сигнал достигнет . Это не та память, которую мы ищем.
«А где же эмоции?» — В амигдале. Мы еще поговорим об этом. Сегодня про память.
«А я вот знаю человека, который говорит, что видит на картинке с квадратом 4 объекта»:
1 — говорит, не значит, что не воспринимает как целое.
2 — если человек умеет считать, то он точно умеет группировать объекты. То что у него другой способ группировки говорит лишь о том, что у него очень интересно устроена схема связей.
3 — Вообще это один из признаков расстройства. Интересные личности, например с манией, имеют такую особенность, как восприятие по-часть-Я-ммм… За счет этого, они находят скрытый смысл или отсылки, которые у «нормального» чело-века фильтр-уют-с-Я.
4 — Нет, если вы иногда играетесь с тем, что разбиваете слова на компоненты — это не проблема. Проблема, это когда вы начинаете использовать смысл своего разбиения как основной, и отнюдь не в целях повышения выразительности.
«Сильно-связные подсети нейронов» я буду называть просто «объектами». Мне лень писать 3 слова. Все психологические теории памяти оперировали именно этим понятием, да и в обиходе оно имеет смысл «то, что можно выделить как целое».
Я знаю, что у некоторых слов есть много смыслов, и я рассказал почему я выбрал именно это.
«Шашка» тоже приобретает разную форму на шахматной доске и в руках гусара. Мне не кажется продуктивным об этом спорить.
Как вы понимаете, объекты связываются с другими объектами. Если в результате получилась подсеть, которая активируется моментально, мы будем считать, что у нас образовался новый объект. Если связь недостаточна сильна или подобъектов слишком много для моментальной активации — я буду называть такую конфигурацию «моделью».
Всю совокупность объектов и связей между ними я предлагаю назвать Графом Знаний (Knowledge Graph) и обозначить его на КДПВ.
Summary
Мы посмотрели на то, как устроены нейроны, и составили их математическую модель (да, да стрелочки и кружочки — это теория графов). Слегка коснулись того, как работают в антидепрессанты и антипсихотики — они регулируют уровни нейромедиаторов и таким образом влияют на активацию нейронов (по сути — меняют силу связей). Узнали о правиле Хебба (нейроны которые вместе включаются — вместе соединяются), и механизме E-LTP, который отвечает за кратковременную память. Посмотрели на то, как решил задачу долговременного запоминания — с помощью фиксации силы связи через L-LTP.
На основе нашей модели мы предсказали существование подсетей нейронов с сильными связями.
С помощью этого предположения мы попробовали объяснить некоторые эффекты, наблюдаемые нами: оптические иллюзии, додумывание и угадывание объектов на основе неполной информации, существование ощущения «одного объекта». Как ни странно — получилось. Тот же механизм мы смогли использовать и для составления более сложных структур — моделей и комплексных объектов. И это тоже работает.
Мне кажется, это неплохой промежуточный результат, но пока у нас больше вопросов, чем ответов:
- Почему память не используется «целиком»? Где мгновенный доступ ко всему, что мы знаем? Иными словами — почему нам приходится вспоминать, и как это работает?
- В какой момент включается L-LTP и информация переходит в долговременную память?
- Какие задачи решает , и как он определяет, что у него вообще есть задача? Я говорю о задачах в широком смысле: «Где пообедать сегодня?» и «Что сказать этой милой девушке у барной стойки?» — тоже задачи, требующие неплохих вычислительных ресурсов.
- Как решает, что надо прекратить выполнение задачи? Как он вообще их решает?
- При чем тут эмоции?
О них мы поговорим в следующих статьях.
P.S.
Если у вас возникли вопросы по какой-либо части — я могу изложить что-то более детально в комментариях или написать уточняющую статью. Эта и так тянет на лонгрид, если излагать еще подробнее — получим целую книгу. Не уверен, что это соответствует формату Хабра.
Если у вас есть пожелания по стилю изложения — буду рад услышать их.
License: CC BY-NC-ND 4.0
Автор: LonelyDeveloper97
