Раз уж идеология нейросетей в IT строилась с оглядкой на реальный прототип, о нем тоже иногда полезно вспомнить. Предлагаем посмотреть или почитать лекцию Ильи Захарова, выпускника кафедры психофизиологии факультета психологии МГУ. Илья объясняет, как можно анализировать сети в , какие данные для этого нужны, какие подводные камни могут возникать при анализе, а главное — что нового позволили узнать подобные исследования.
Под катом — расшифровка и большинство слайдов.
То, о чем я буду рассказывать, меня скорее интересует с содержательной, а не с технической точки зрения и не в смысле деталей, которые касаются анализа данных. Я буду больше говорить о том, что нужно содержательно учитывать, когда вы обращаетесь к электроэнцефалографическим (ЭЭГ-) данным, но постараюсь по максимуму ответить и на более технические вопросы.
Я буду стремиться рассказать о таком большом и очень продуктивном, перспективном направлении в изучении , как анализ нейросетей в нем. Процессы анализируются с точки зрения того, что в происходит и как происходящее связано с характеристиками наших психических процессов.
Некоторые вводные слова, чтобы у нас был общий контекст. Принципиальная сложность заключена в связях внутри него. Вы знаете, что внутри огромное количество нервных клеток — навскидку их примерно 86 млрд. Каждая контактирует примерно с 1 тыс. других нервных клеток. Получается значительная сеть из связей. Попытка понять, что происходит в этой сети хотя бы на глобальном уровне, — тренд последних 15 лет, то, чем активно занимаются исследователи.
Картинки справа — вы их часто видите где-то в интернете — не очень точные. Если бы нейроны были расположены настолько разрежено, как на картинках справа, наш раздулся бы как минимум до размеров слона, если не больше. Все упаковано очень плотно, потому что поместить 86 в некоторой степени связей в — огромная задача.
Какие успехи есть сейчас у людей, которые стараются изучать на таком целостном уровне, пытаясь понять, что, как и с какими процессами связано? Например, идет активное развитие с появляющимся инструментарием. Есть, наконец, нейробиологические теории интеллекта — их суть в том, что более умными из нас с вами оказываются те люди, у которых нервные связи работают эффективнее, по связям которых лучше течет информация.
Или наблюдаются некоторые различия в типах связей внутри между людьми с разными типами заболеваний. Например, благодаря различиям в том, как происходит активация сетей в , можно отличать болезнь Альцгеймера от деменций с тельцами Леви.
Любопытно, что недавно появилась статья, показавшая, что паттерн работы с точки зрения того, как организована сеть, — это в некотором смысле настолько же уникальная штука, как отпечатки пальцев. И потенциально можно определить человека не только при помощи отпечатков, но и — с точностью выше 99% — при помощи записей его .
Люди с разными моральными качествами отличаются друг от друга по тому, как у них в работают сети. Люди по-разному реагируют на конфликты.
Анализ неких сетевых характеристик становится невероятно общей областью для исследователей, что позволяет легко научиться классифицировать людей. Возможно, классификация никогда не шла успешнее, чем сейчас. Из сетей в действительно можно вытащить много параметров. Это еще называется связностью в — как калька с английского connectivity. Связность в можно изучать на очень разных уровнях.
Сначала связи возникают в нервных клетках. Нервные клетки генерируют потенциалы действий. Потенциал действий — электрический заряд, который возникает в нервной клетке и благодаря которому из нее выделяется нейромедиатор. Он попадает в другую клетку, в ней генерируется разряд и т. д. Базово все связано электрохимической цепью. Снизу вы видите, как возникают эти одиночные потенциалы и потенциалы действия. Регистрируя активность достаточно большого числа нервных клеток и отслеживая то, когда в клетках возникают потенциалы действия, можно предсказывать, когда они будут возникать в других клетках. Все это делается статистически, верхние точки на рисунке слева — активность наличия потенциала действия в одном из нейронов какого-то из участков . Из таких одиночных нейронов возникают уже более синхронизованная активность. Как раз она и объединяет описанную работу.
Это не как такты в компьютере, но в некотором смысле речь идет о синхронизованной активности, которая точно существует в и помогает ему обрабатывать информацию.
Обработка на уровне отдельных нервных клеток — безумно интересная вещь, но я в ней совершенно не разбираюсь. Это довольно большой отдельный мир, я буду говорить не о нем.
Другой существующий уровень. Наверняка вы видели такие картинки, или это предпоследний альбом группы Muse, где из разных областей тянутся друг к другу различные ниточки. Перед вами попытка сначала оценить связи в не на уровне нервных клеток и даже не только на уровне крупной анатомии, больших отделов , — но и на уровне того, какие пучки волокон в какие места идут и как по этим пучкам передается информация в локальных областях.
Исследователи делают всё перечисленное с помощью МРТ — и делают уже довольно долго. Уже есть некоторая любопытная информация, как работает. Например, мы знаем, что существуют очень богатые связями хабы в . Это называется организацией сетей по типу rich club. Есть некоторые узлы, крупные красные точки, через которые проходит вся информация.
Людей с разными патологиями и тому подобным чаще всего характеризует именно распределение данных узлов или набор каких-то изменений. Я буду говорить, опять же, о другом, но перед вами еще один из уровней того, как это можно изучать.
Крайне интересной мне кажется другая область. Она обладает плюсами подхода, связанного с регистрацией отдельных нейронов или больших групп нейронов, а также плюсами крупного подхода, когда мы смотрим на весь сразу. Но при этом она лишена минусов указанных подходов.
В чем минусы первого случая, когда мы работаем только с нейронами? Основной минус — мы не можем посмотреть нейроны сразу во всем . Мы не можем вскрыть череп у человека и поставить электроды на всех нейронах. Тут мы в наших исследованиях очень сильно ограничены областью, которую мы уже взялись изучать.
Одновременно такой подход позволяет смотреть на очень быстрые и детальные процессы, связанные с обработкой информации в на очень тонком уровне. Минус второго подхода, когда мы смотрим на анатомические сети в , состоит в том, что особенности метода позволяют нам смотреть только на изменения, происходящие в масштабе 2-3 секунд, а не на быстрые изменения. 2-3 секунды — ужасно много для , учитывая, что частота потенциала действия может составлять сотни и даже тысячи герц.
Я буду рассказывать, как сети в изучают на электрофизиологическом уровне. Речь идет о чем-то среднем между изучением отдельных нейронов. Скорость процессов, на которые мы можем смотреть, тоже очень велика. В зависимости от того, насколько муторно вы подходите к эксперименту, она составляет от 0,001 Гц и примерно до 100 Гц. Это действительно быстрые процессы в . И одновремено указанная активность связана со всем целиком.
Как все устроено? В первую очередь работают методы электроэнцефалограммы (ЭЭГ) и магнитоэнцефалограммы — к ней всё описанное тоже применимо. Наверняка в поликлинике кому-то делали ЭЭГ. Вам на голову ставят какое-то количество электродов. Сейчас в нейронаучных исследованиях ставят 64 или 128 электродов, довольно крупно покрывая вашу голову точками, отдельными отведениями, с которых регистрируется некоторая суммарная электрическая активность. Мы не знаем детально, откуда она берется. У нас есть модели, но мы не можем воссоздать рождение этой активности на уровне нервных клеток. Однако мы точно знаем, что она связана с какими-то функциональными процессами в .
С каждой точки мы регистрируем некую колебательную активность. Вы наверняка слышали про мозговые ритмы — они как раз и являются составными частями указанной активности. Ритмы — это просто отдельно взятые частотные диапазоны общего колебательного процесса. На основании частотных характеристик выделяют альфа-, бета-, тета-ритм.
Мы говорим про анализ сетей в , и нужно понять, связана ли колебательная активность хотя бы между двумя точками на голове. Чтобы понять, связаны ли в какие-то области, мы берем некоторое количество электродов, одновременно регистрирующих активность в , и пытаемся понять, насколько активность в разных отведениях связана между собой в общем виде. В итоге — пытаемся на основе информации о парах электродов построить что-то типа сети. Нам нужна такая же сеть, какую строят с помощью МРТ.
Тот факт, что электроды будут между собой коррелировать, связан с передачей информации. Почему мы так думаем? Это кажется логичным, но когда речь заходит о , все подобные мелочи лучше проверять. Теоретические модели, не подтвержденные никакими экспериментами, часто оказываются недостаточно точными. Речь идет о хорошей тренировке для математика — но она не всегда имеет физиологический смысл. Чуть позже я скажу, какие тонкости могут иметь место с точки зрения физиологии или технических особенностей получения сигнала.
В данном случае мы из каких-то более детальных клеточных экспериментов знаем: если у нас в есть два участка и между ними есть анатомическая связь, то между ними течет информация и на самом деле сигналы, которые мы будем регистрировать в соседних точках, будут очень похожи.
Если мы перережем связи между этими двумя участками — мы идем по рисунку сверху вниз, вертикальные линии означают, что мы перерезали связи, — то они сначала ухудшатся. А если мы вообще отодвинем волокна друг от друга — связи пропадут. Мы потеряли ритмическую колебательную активность в . И только когда мы всё, пусть и не целиком, восстановим, позволим хоть какой-то информации течь между клетками — тогда восстановится и синхронизованная активность.
Мы небезосновательно считаем, что синхронизация между двумя точками — действительно показатель связи между двумя областями в , показатель того, насколько активно между ними идет процесс передачи информации.
При этом нужно учитывать, что даже на таком уровне возникают некие физиологические детали. Я расскажу про некоторые типы измерений, но сразу предупрежу: они принципиально делятся на два больших класса. Первый класс — non-directed-измерения, которые не делают никаких предположений относительно направленности связей между двумя точками. В данном случае мы совершенно не рассматривали, откуда и куда течет информация. В есть такие связи, о которых мы знаем, что они существуют и в одну, и в другую сторону — просто есть некоторая постоянная цепь передачи информации, и всё. Для такого типа связей мы можем использовать методы, никаким образом не зависящие от направления связей.
Одновременно мы знаем, что вообще — и это достаточно логично — устроен иерархически. Значит, есть некоторый поток информации. Возьмем, как минимум, зрение: есть информация от глаза через зрительный нерв в первичную зрительную кору, оттуда во вторичную зрительную кору и т. д. Вообще-то, в общем виде говорить, что связи в просто текут между собой в разные стороны — не совсем правильно. Следовательно, крайне важным оказывается следующее: должны существовать методы, которые позволяют нам оценивать направления связей.
На картинке видно, что есть примеры, где связи расположены в одну и в разные стороны. Перед вами мышки и некоторые основные области обработки информации. У нас в этом смысле все области, которые есть у мышки, тоже есть в , и связь между ними передается примерно так же.
Оценивать можно в основном две характеристики электроэнцефалографического сигнала. В первую очередь мы оцениваем, насколько существует общий колебательный процесс. И тут, учитывая, что речь идет о колебательном процессе, крайне важным оказывается оценить то, насколько в нем совпадают фазы сигнала.
Простое совпадение фаз для нас — как раз крайне важный показатель. В данном случае можно оценивать фазы…
Если кто-то интересуется деталями, хочет подробнее посмотреть — в конце будет список литературы. Там есть очень внятный обзор — очень внятный для человека даже без какого-то предварительного опыта.
У нас может быть некоторое количество вариантов происходящего с фазами в . Понятно, что могут совпадать фазы между сигналами и что тогда у нас будет один паттерн. Связи могут иметь какую-то временную задержку — тогда у нас возникнет другой паттерн. И, наконец, связи могут быть обратны друг другу. Тогда в итоге будем получать, что никакой зависимости нет. Понятно, что такого не бывает. Нуля никогда не бывает, так же как и единицы никогда не бывает, но тем не менее.
Базово фазовую синхронизацию оценивают с помощью разложения сигнала на комплексные числа и выделения действительной и мнимой части. В первую очередь оценивают как раз мнимую часть. В этом я разбираюсь довольно плохо, это далеко от того, что делаю как раз. Так что тут я скорее адресую вас к ссылкам.
Другая важная вещь, которую можно делать, — оценивать не столько фазовые характеристики сигнала, сколько амплитудные или частотные характеристики безотносительно фазы.
Тут в первую очередь существует метод анализа когерентности. По сути, речь идет просто о подсчете корреляций между парой электродов с некоторой небольшой поправкой. Ну и еще нужно принимать во внимание довольно серьезные фазовые изменения в разных частотных диапазонах, возникающие за счет того, что у нас длина волны получается разной. С учетом указанных изменений образуются некоторые усложнения процедуры phase locking value, когда мы еще нормализуем частотные спектры на длину волны.
Здесь мы — и в случае оценки фазовой синхронизации, и в случае оценки когерентности — получаем сигналы, которые на самом деле не чувствительны к направлению передачи информации. Мы просто оцениваем то, что сигналы между собой взаимосвязаны.
Понятно, что данные методы были разработаны еще в 60-70-х годах и что сейчас существуют некоторые чуть более усложненные характеристики. Например, если имеется большое количество сигнала, мы можем не просто брать фазу, а смотреть распределение фаз одного и другого сигнала и оценивать сходство между ними. Речь идет о важном сравнении, которое помогает нам производить более точную оценку, но все равно не решает проблемы направленности связей.
Другой большой тип — методы, основанные на изначальных предположениях о том, что сигнал течет из одной стороны в другую. В первую очередь к таким относится метод granger causality. Указанные методы были разработаны для экономики, но они активно применяются и в нейронауке. Мы пытаемся на основании активности в одном месте предсказать, что будет происходить в другом электроде, узнать, насколько велика предсказательная сила, чтобы это понять. И можно делать некоторый временной сдвиг, смотреть, насколько происходящее в одном месте приводит к происходящему где-то еще.
Я больше хотел рассказать, что еще нужно учитывать, когда мы анализируем вещи подобного рода. Когда мы говорим о связи между точками, нужно принимать во внимание, что эта связь имеет некоторые технические характеристики и некоторые особенности того, как информация от точек поступает к нам. Например, крайне важным оказывается помнить, что когда мы смотрим на какую-то электрическую активность, речь всегда идет о разности потенциалов. А если имеется разность потенциалов, то одна точка уже есть. Одновременно есть и другая точка на голове, которая называется референтной. Относительно нее мы смотрим разность сигнала. В этом смысле, взяв некоторую общую точку для всех имеющихся в сигналов, мы поймем, что искусственно увеличиваем сходство просто за счет технических характеристик. У нас уже есть нечто общее, где действительно нет нулевой активности, и мы это используем для получения разности потенциалов. Я описал первую проблему. Ее можно решать, детально анализируя и постоянно выбирая разные точки для референса и подсчета активностей.
Другая проблема связана вот с чем: когда мы видим связь между двумя точками, мы не знаем, что это, может быть, результат связи их обоих с третьей точкой.
В первую очередь дело в том, что мы смотрим активность на поверхности черепа, хотя источник активности в — некий электрический диполь, распространяющееся поле, приходящее в разные участки головы. Существуют методы, позволяющие из активности, которую мы видим на скальпе, получать активность источников в . И тогда нужно пытаться понять связь не между точками на голове, а между источниками в .
Указанные методы подсчета активностей — при которых мы правильно учитываем, что активности идут из каких-то общих источников, учитываем технические характеристики сигнала — вполне понятны. Описано, о чем нужно думать. Принимая во внимание теоретические вещи, касающиеся того, куда должен или не должен течь сигнал, мы приходим к задаче, которая может оказаться гораздо ближе всем вам. Или не всем, но, говоря об этом в Яндексе, я думаю, что здесь больше специалистов именно в данном вопросе.
На самом деле мы в итоге получаем некоторую сеть, граф связей между парой точек. Плюс мы можем количественно оценить силу этих связей с помощью уже описанных мной методов. Речь идет об области, которая исследована еще недостаточно активно. Можно в нее гораздо сильнее вложиться и придумать, что интересного сделать, когда мы уже получили некоторое количество связей между точками. И тут начинается все самое интересное. Эта область совершенно открыта для вас.
Вот список литературы.
Если что, можно мне написать, я всё перечисленное вышлю. Если у вас есть какой-то интерес к данной области, мы в лаборатории всегда открыты к сотрудничеству. Спасибо.
Автор: Яндекс
