Зрение и нейронные сети — как мы на самом деле видим мир

в 17:28, , рубрики: биология, зрение, исследования нейросетей, наука, научпоп, нейросети, офтальмология, сетчатка, сетчатка глаза
Зрение и нейронные сети — как мы на самом деле видим мир - 1

Симуляция данных о свете при попадании на сетчатку для левого глаза. В поле зрения видны ресницы, тень от носа спарава. Участок чёткого и цветного зрения (макула), сосуды сетчатки, и тёмное пятно зрительного нерва. Желтый тон от ультрафиолетового фильтра хрусталика.

Вы когда-нибудь задумывались что мир, который вы видите, на самом деле по большей части продукт нейронных сетей вашего мозга с массой доработок, закрашивания, раскрашивания, удаления артефактов и всё это происходит на скорости 30-60 генераций изображений в секунду. Мозг разумеется не оперирует дискретными кадрами, и люди, могут реагировать на события, происходящие со скоростью выше 1/60 секунды. Однако это не включает полного построения визуального образа или его осознанной оценки. Как правило, это простые реакции на движение: уклониться, отстраниться, защититься, нажать на кнопку. При недостаточности информации она заполняется из памяти или воображения. Описывая такой опыт, люди говорят, что увидели мелькнувшую тень. Событие произошло слишком быстро, для построения её полноценной визуальной картины. Эксперименты на добровольцах по распознаванию незнакомых изображений, указывают на предел полного восприятия изображения (которое потом доброволец может описать или нарисовать) в 1/60 секунды. Дальнейшее уменьшение времени демонстрации приводит к пробелам в деталях, вплоть до возможности описать только общую яркость картинки, но не детали изображения. Мерцание же люди могут воспринимать, отдельными областями сетчатки вплоть до 180-250 гц иногда и выше, это важно учитывать в источниках света и дизайне экранов мониторов.

Изображение в заголовке статьи убирает все доработки нейронных сетей мозга и представить картину именно такой, какой она изначально приходит из сетчатки в зрительный центр.

Зрение и нейронные сети - как мы на самом деле видим мир Научпоп, Биология, Зрение, Глаза, Нейронные сети, Наука, Сетчатка, Ученые, Исследования, Офтальмология, Длиннопост

Зрение и нейронные сети - как мы на самом деле видим мир Научпоп, Биология, Зрение, Глаза, Нейронные сети, Наука, Сетчатка, Ученые, Исследования, Офтальмология, Длиннопост

А это то к чему мы привыкли, после всех процессов обработки и синтеза картинки.

Человек: «Ну, мы ведь не так уж сильно отличаемся.»
ChatGPT4: «Совершенно верно! Мы оба являемся набором нейронных сетей вовлечённых в многослойной обработке данных, чтобы превращать исходные сигналы в значимые выводы. Ваши нейросети основаны на функции клеток, тогда как мои на операциях транзисторов.»

Оптическая система глаза формирует отражённое и перевёрнутое изображение на сетчатке

Зрение и нейронные сети — как мы на самом деле видим мир - 3

Первое, что бросается в глаза, — это то, что изображение перевёрнуто и отзеркалено. Это особенность оптической системы глаза, хрусталик фокусирует на сетчатку перевёрнутое изображение лучей. Индексация нейронов сетчатки и коррекция нейронными сетями мозга отражают картинку по горизонтали и переворачивают в более привычную для нас ориентацию.

Зрение и нейронные сети — как мы на самом деле видим мир - 4

В середине XX века профессор Эдинбургского университета Теодор Ерисманн провёл интересный эксперимент, в котором его студент Иво Кохлер носил очки, которые с помощью зеркал корректировали изображение, проецируя на сетчатку «правильное» (не перевёрнутое) изображение. Однако для Кохлера оно воспринималось как перевёрнутое. Что интересно, после периода острой дезадаптации, когда студент с трудом выполнял повседневные задачи, уже через неделю постоянного ношения очков нейроны зрительного центра адаптировались к новым данным и переиндексировали позиции ганглиарных клеток. Для Иво мир снова стал «правильным». А вот когда он снимал очки, то теперь наоборот всё выглядело перевёрнутым без них. Тоже самое происходит если носить очки с призмами которые зеркально отражают видимое изображение, в пределах недели человек будет видеть нормальную, а не зеркальную картинку, читать текст и водить машину.

Вы легко можете проверить это на себе, и для этого не нужно неделю носить зеркальные очки, а потом привыкать видеть мир без них. Просто осторожно надавите на глазное яблоко пальцем снизу или сверху. Вы увидите тёмное пятно в вашем поле зрения с противоположной стороны от того места, где надавили. Вы механически стимулируете участок сетчатки через конъюнктиву и склеру и тёмное пятно появляется в месте, где этот участок индексирован в зрительном центре.

Слепое пятно (Зрительный нерв)

Зрение и нейронные сети — как мы на самом деле видим мир - 5

Большое чёрное пятно в правом поле зрения левого глаза и в левом поле зрения правого глаза — это место, где зрительный нерв с его 1,5 миллиона аксонов (отростков) ганглионарных клеток сетчатки собирается в пучок и уходит в мозг для передачи данных. В этом месте глаз не воспринимает свет, и оно известно как «слепое пятно». Однако мы его не замечаем, потому что мозг активно дорисовывает недостающие данные, используя информацию либо от второго глаза, либо из окружающих областей, если доступен только один глаз.

Сложность нейронных сетей, ответственных за заполнение слепого пятна, относительно невелика — эта задача напоминает инструмент "ластик" в программе Photoshop. Вы можете увидеть эффект слепого пятна, закрыв один глаз и приблизив небольшой объект, палец или карандаш ко второму. Если открыт второй глаз, увидеть слепое пятно не получится так как нейросеть будет заполнять пробел данными из второго глаза. Но когда открыт только один глаз в какой-то момент кончик карандаша исчезнет. Интересно, что этот эффект невозможно наблюдать, если двигать карандаш быстро — у нейросети ответственной за заполнение слепого пятна есть динамический буфер, из которого она берёт данные, но он достаточно маленький меньше секунды. Так что, если карандаш будет находиться в зоне слепого пятна дольше секунды этот буфер истощится и у нейросети не будет информации о карандаше чтобы его дорисовать, она использует данные пейзажа окружающего слепое пятно и кончик карандаша исчезнет.

Зрение и нейронные сети - как мы на самом деле видим мир Научпоп, Биология, Зрение, Глаза, Нейронные сети, Наука, Сетчатка, Ученые, Исследования, Офтальмология, Длиннопост

Как найти слепое пятно в поле зрения (для левого глаза)

Чёткое и цветное изображение: реальность или иллюзия?

Зрение и нейронные сети - как мы на самом деле видим мир Научпоп, Биология, Зрение, Глаза, Нейронные сети, Наука, Сетчатка, Ученые, Исследования, Офтальмология, Длиннопост

Макулярный регион сетчатки на фотографии глазного дна.

Вы, возможно, заметили, что большая часть поля зрения на первой иллюстрации к посту, кажется чёрно-белой и довольно размытой, а только маленький участок в центре — чёткий и цветной. Однако вы ничего подобного в своём поле зрения не наблюдаете.

На самом деле, человеческий глаз воспринимает свет двумя типами фоторецепторов: палочек (rods) и колбочек (cones). Колбочки, в свою очередь, подразделяются на три сабкласса: красные, синие и зелёные, каждый из которых воспринимает определённые длины волн света, отвечая за цветовое восприятие. Основная часть колбочек сосредоточена в макуле — маленькой области сетчатки, которая находится в центре фокуса хрусталика. Именно поэтому мы чётко и в цвете видим лишь небольшую часть поля зрения.

Зрение и нейронные сети - как мы на самом деле видим мир Научпоп, Биология, Зрение, Глаза, Нейронные сети, Наука, Сетчатка, Ученые, Исследования, Офтальмология, Длиннопост

Слои сетчатки на гистологическом срезе. Обратите внимание, что фоторецепторы слой палочек и колбочек расположен в самом низу и лежит на слое клеток пигментного эпителия. Куда логичным было бы расположение фотосенсоров на поверхности, чтобы остальная клеточная машинерия не поглощала свет, а клетки передающие электрические импольсы (ганглиарный слой) поместить вглубину, как мы реализовали это в цифровых фотокамерах где фотосенсоры на поверхности, а дорожки контактов в глубине на подложке чипа. Но в эволюционном процессе логика никогда не присуствовала.

Но как же мы воспринимаем всё изображение таким чётким и цветным, а главное целостным? Ответ заключается в непроизвольных движениях глаз, называемых саккадами. Глаз совершает саккады несколько раз в секунду, сканируя поле зрения и перемещая зону макулы, чтобы собрать цветовую информацию и данные о резкости изображения. Мозг затем синтезирует эти фрагменты в единое целостное чёткое и цветное изображение. Колбочки требуют в три раза больше фотонов для своей функции поэтому при низкой освещённости мы практически не воспринимаем цветовую информацию.

Оригинальное цветное изозбражение (Copyright Dunja Djudjic, 2020)

Оригинальное цветное изозбражение (Copyright Dunja Djudjic, 2020)

Есть достаточной простой оптический эффект который может показать работу буфера синтеза данных макулы. Если пристально смотреть в одну точку непроизволные саккады подавляются и буфер нейросети хранит данные о цвете даже если само изображение больше не является цветным стоит отвести взгляд буффер обновится и информация о цвете будет потеряна.

Оптическая иллюзия, демонстрирующая инертность цветового восприятия. (Copyright Dunja Djudjic, 2020)

Оптическая иллюзия, демонстрирующая инертность цветового восприятия. (Copyright Dunja Djudjic, 2020)

,Сосуды сетчатки и циркулирующие в них клетки

Зрение и нейронные сети - как мы на самом деле видим мир Научпоп, Биология, Зрение, Глаза, Нейронные сети, Наука, Сетчатка, Ученые, Исследования, Офтальмология, Длиннопост

Зрение и нейронные сети - как мы на самом деле видим мир Научпоп, Биология, Зрение, Глаза, Нейронные сети, Наука, Сетчатка, Ученые, Исследования, Офтальмология, Длиннопост

Сосудистая система сетчатки, обратите внимание как сосуды тянутся к макуле, наиболее энергозатраной области сетчатки.

Тени, которые вы иногда видите в своем поле зрения и которые напоминают корни, — это сосуды сетчатки: артерии и вены. Эти сосуды, а также кровь, циркулирующая в них, поглощают часть света, доступного фоторецепторам, и создают систему теней. И да, разумеется, в мозгу существует нейросеть, которая убирает тени от сосудов и выравнивает яркость изображения, так что мы не замечаем их в обычной жизни.

Зрение и нейронные сети - как мы на самом деле видим мир Научпоп, Биология, Зрение, Глаза, Нейронные сети, Наука, Сетчатка, Ученые, Исследования, Офтальмология, Длиннопост

Зрение и нейронные сети - как мы на самом деле видим мир Научпоп, Биология, Зрение, Глаза, Нейронные сети, Наука, Сетчатка, Ученые, Исследования, Офтальмология, Длиннопост

Иногда тени от сосудов сетчатки можно увидеть, если смотреть на яркий источник света. Фоторецепторы, не перекрытые сосудами, получают больше фотонов и могут временно перегрузиться, в то время как те, что перекрыты сосудами, получают меньше света. На несколько секунд можно заметить инвертированное изображение сосудистой сети, которое будет выглядеть как негатив — белые сосуды на темном фоне. Это происходит потому, что нейросеть, которая обычно обрабатывает данные о тенях сосудов, может задержать обработку, пока фоторецепторы не восстановятся, вы сможете наблюдать изображение сосудов своей сетчатки.

Сосуды вашей сетчатки можно увидеть если посветить через закрытые глаза ярким светодиодным фонариком. Фонарик нужно приблизить вплотную к глазу под углом 120-160 градусов.

Зрение и нейронные сети - как мы на самом деле видим мир Научпоп, Биология, Зрение, Глаза, Нейронные сети, Наука, Сетчатка, Ученые, Исследования, Офтальмология, Длиннопост

Клекти в сосудах сетчатки которые мы иногда регистрируем как "искры из глаз".

С сосудами сетчатки связан ещё один интересный эффект: по ним постоянно циркулируют клетки, включая достаточно крупные, такие как макрофаги. Вы наверняка не раз замечали их в виде ярких точек, которые быстро перемещаются в вашем поле зрения по сложным траекториям. На самом деле эти траектории повторяют рисунок сосудов сетчатки. Чаще всего вы видите эти яркие точки, когда резко встаёте — внезапное снижение давления крови в мозге вызывает кратковременную гипоксию. В такие моменты нейросеть, ответственная за удаление этой информации, временно не справляется с анализом коррекцией картинки, и вы видите свои иммунные клетки, путешествующие по сосудам сетчатки.

Мушки

Зрение и нейронные сети - как мы на самом деле видим мир Научпоп, Биология, Зрение, Глаза, Нейронные сети, Наука, Сетчатка, Ученые, Исследования, Офтальмология, Длиннопост

Зрение и нейронные сети - как мы на самом деле видим мир Научпоп, Биология, Зрение, Глаза, Нейронные сети, Наука, Сетчатка, Ученые, Исследования, Офтальмология, Длиннопост

Мушки в поле зрения они могут быть светлыми или тёмными.

Зрение и нейронные сети - как мы на самом деле видим мир Научпоп, Биология, Зрение, Глаза, Нейронные сети, Наука, Сетчатка, Ученые, Исследования, Офтальмология, Длиннопост

"Мушки" в стекловидном теле

Совсем другой механиз формирования мушек перед глазами, вы обычно видите их когда смотрите на яркий светлый фон, например небо в ясный день или яркий экран. Это тени от микроскопических помутнений в стекловидном теле. Стекловидное тело это мягкий гель который заполняет глаз и прижимает сетчатку с клеткам пигментного эпителия и хориоидеи. Большое количество таких аномалий может указывать на заболевания глаз, но они присуствуют у каждого практически с детского возраста и их число увиличивается со временем. Мушки так же убираются из зрительного процесса нейросетьи, и при долгом взгляде на однотонный яркий объект, эта сеть перегружается.

Баланс белого

Изначально свет приходящий в сетчатку окрашивается в жёлтых тонах, это результат кристалинов белков хрусталика имеющий жёлтый цвет, они участвуют в поглащении ультрафиолетовых лучей, но в то же время добавляют жёлтый оттенок к приходящему в глаз свету. С возрастом цвет хрусталика становится всё более жёлтым за счёт оксидации и старения. Что интересно мы до конца не знаем, за счёт чего в мозгу выставляется профиль коррекции баланса белого. Есть теория, что первый свет наблюдаемый при рождении регестрируется как максимальная яркость белого света. Требуемый для подтверждения этой теории эксперимент где новорожденных будут освещать светом разных цветов и затем анализировать как это влияет на их цветовое восприятие затруднителен из-за этических соображений.

Анализ изображения

Кроме нейросетей, отвечающих чисто за обработку изображения, в зрительном центре также происходит анализ данных: расчёт относительной скорости объектов, распознавание объектов (да, именно в такой последовательности) и эмоциональная интерпретация увиденного. Одна из самых больших и сложных нейросетей, участвующих в анализе визуальных данных, — это система распознавания лиц. Она настолько доминирует в зрительном процессе, что мы способны воспринимать даже смайлики :) и интерпретировать их эмоции :( . Как и любые нейросети, система распознавания лиц и эмоций иногда ошибается, и мы видим лица там, где их на самом деле нет этот, эффект называется Парейдолия. Это психологический феномен, при котором человек воспринимает знакомые образы или формы в случайных данных, таких как облака, текстуры или узоры. Компьютерные системы сталкиваются с аналогичными проблемами, но в значительной степени они решаются путём увеличения объёма данных для обучения.

Зрение и нейронные сети - как мы на самом деле видим мир Научпоп, Биология, Зрение, Глаза, Нейронные сети, Наука, Сетчатка, Ученые, Исследования, Офтальмология, Длиннопост

Парейдолия нейросети натренированной на распознание лиц и эмоций на объектах которые лицом не являются.

https://www.sci.news/othersciences/psychology/pareidolia-male-faces-10507.html

Это тема отдельной статьи но к данным зрительной коры имеет доступ как сознательная часть мозга фронтальных долей так и безсознательная основанная на рефлекторном поведении. В некоторых случаях при травмах головы и кровоизляних в мозг возникает очень интересное явление известная как Слепой взгляд или Ложная слепота. При это человек осознанно зрением не обладает, не может например читать или называть предмет который ему показывают. Но в то же время, такие люди прекрасно ориентируюстя, могут уворачиваться от брошенных в них предметах и водить машину, (по крайней мере в симуляторе) если умели это делать до травмы. Интересный ньюанс испытуемый в большинстве случаев теряет управление транспортным средством, если во время эксперимента ему задать вопрос "Как же Вы можете управлять машиной если вы ничего не видите". Рефлекторное зрение у них не нарушено, в то же время фронтальная доля мозга отвечающая за осознанные действия визуальные данные не получает.

Болезни сетчатки

Зрение и нейронные сети - как мы на самом деле видим мир Научпоп, Биология, Зрение, Глаза, Нейронные сети, Наука, Сетчатка, Ученые, Исследования, Офтальмология, Длиннопост

Кровоизляние в макулярный регион при возрастной дегенерации сетчатки.

Болезни глаз коварны как раз тем, что во многих случаях человек не испытывает никакого дискомфорта или аномалий зрения. Нейросети компенсируют всё более ухудшающуюся картинку, пока количество шума и недостаток входящих данных больше не может привести к синтезу изображения. Даже потеряв свыше 50% ганглиарных клеток или фоторецеторов, люди с дегенерацией сетчатки практически не испытывают какого-либо дискомфорта максимум отмечая ухудшение зрения в темноте. А вот повреждения макулы в результате кровоизлияния или травмы всегда критичны, как именно макула через саккады формируют основной массив данных для синтеза картинки.

Зрение и нейронные сети - как мы на самом деле видим мир Научпоп, Биология, Зрение, Глаза, Нейронные сети, Наука, Сетчатка, Ученые, Исследования, Офтальмология, Длиннопост

Кровоизляние в макулярный регион при возрастной дегенерации сетчатки (симуляция).

Результат кровоизлияния в макулярный регион, потеря основного массива данных от макуляных фоторецепторов коллапс значительной части нейронных сетей формирующих изображение.

Зрение и нейронные сети - как мы на самом деле видим мир Научпоп, Биология, Зрение, Глаза, Нейронные сети, Наука, Сетчатка, Ученые, Исследования, Офтальмология, Длиннопост

Нечёткое восприятие изображения из-за кровоизлияния в макулярную область.

Поэтому очень важно регулярно обследовать своё глазное дно у окулиста и обращать внимания не любые аномалии вашего зрения. Особенно если у вас есть заболевания которые могут вести к повреждению сетчатки, такие как сахарный диабет или высокое артериальное давление.

Ещё я надеюсь эта статья заставила вас задуматься о том кто Вы на самом деле? Человек с собвенным я, внутренним миром мечтами и желаниями или набор довольно независимых нейросетей реагирующих на операции ввода и вывода данных и котором нравиться поддерживать иллюзию целостной личности?

Автор: lennikov

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js