В начале 2000-х годов с помощью фМРТ были предприняты первые попытки «обратной ретинотопии» (ретинотопия — это упорядоченная проекция сетчатки на зрительной зоне коры головного ). Сначала попытки были довольно робкими: испытуемым показывали изображения и одновременно снимали данные об активности различных областей с помощью фМРТ. Набрав необходимую статистику, исследователи пробовали решить обратную задачу — по карте активности угадать, на что смотрит человек.
На простых картинках, где основную роль играла пространственная ориентация, расположение предметов или их категория, все вполне работало, но до «технической телепатии» было еще очень далеко. Но вот в 2008 году ученые из Института нейронаук Калифорнийского университета в Беркли под руководством профессора психологии Джека Гэлланта попытались проделать такой фокус с фотографиями. Они разделили изучаемую область на небольшие элементы — вокселы (элементы объемного изображения) — и отслеживали их активность в то время, когда испытуемым (в их роли выступили два автора работы) показывали 1750 различных фотографий.
Удачная комбинация
На основе этих данных ученые построили компьютерную модель, которую «обучили», показав 1000 других фотографий и получив на выходе 1000 различных паттернов активации вокселов. Оказалось, что, показывая эти же 1000 фотографий испытуемым и сравнивая снимаемые с их паттерны с предсказанными компьютером, можно с достаточно высокой точностью (до 82%) определить, на какую именно фотографию смотрит человек.
Движущиеся картинки
В 2011 году коллектив исследователей под руководством того же профессора Гэлланта из Калифорнийского университета в Беркли добился значительно более интересных результатов. Показывая испытуемым «тренировочные» отрывки из кинофильмов общей продолжительностью 7200 секунд, ученые изучали активность множества вокселов с помощью фМРТ. Но здесь они столкнулись с серьезной проблемой: фМРТ реагирует на поглощение кислорода тканями — гемодинамику, которая является значительно более медленным процессом, чем изменение нервных сигналов. Для исследования реакции на неподвижные изображения это не играет особой роли — фотографию можно показывать несколько секунд, а вот с динамичными видеороликами возникают серьезные проблемы. Поэтому ученые создали двухступенчатую модель, которая связывает медленную гемодинамику и быстрые нейронные процессы зрительного восприятия.
Построив первоначальную компьютерную модель «отклика» на различные видео, исследователи обучили ее с помощью 18 млн односекундных видеороликов, случайно выбранных на YouTube. Потом испытуемым показывали «тестовые» фильмы (отличные от «тренировочных»), изучая активность с помощью фМРТ, и компьютер выбирал из этих 18 млн сотню роликов, которые вызывали наиболее близкий паттерн активности, после чего усреднял изображение на этих роликах и выдавал «средний результат». Корреляция (совпадение) между изображением, которое видит человек, и тем, которое сгенерировано компьютером, составила около 30%. Но для первого «чтения мыслей» это очень неплохой результат.
Сон в руку
Но достижение японских исследователей из Лаборатории нейронаук Института телекоммуникационных исследований в Киото, Института науки и технологии в Наре и Национального института информации и коммуникационных технологий в Киото представляется гораздо более значительным. В мае 2013 года они опубликовали в журнале Science работу «Нейронное декодирование зрительных изображений во время сна». Да, ученые научились видеть сны. Точнее, не видеть, а подсматривать!
Записывая с помощью фМРТ сигналы активности , трех испытуемых будили (около 200 раз) на стадиях неглубокого сна и просили описать содержание последнего сновидения. Из отчетов выделяли ключевые категории, которые с помощью лексической базы данных WordNet объединяли в группы семантически близких терминов (синсеты), организованные в иерархические структуры. Данные фМРТ (за девять секунд перед пробуждением) отсортировали по синсетам. Для тренировки модели распознавания бодрствующим испытуемым показывали изображения из базы ImageNet, соответствующие синсетам, и изучали карту активности в зрительной коре. После этого компьютер оказался способным по активности различных областей предсказывать с вероятностью 60−70%, что именно видит человек во сне. Это, кстати, свидетельствует о том, что человек видит сны с помощью тех же областей зрительной коры, которые используются для обычного зрения в бодрствующем состоянии. Вот только почему мы вообще видим сны, ученые пока сказать не могут.
Статья «Заглянуть в чужой сон» опубликована в журнале «Популярная механика» (№8, Август 2013).
