Психовизуализация как новое направление в изучении психической деятельности: нарративный обзор

Богданов Я.В.

ГБУЗ Кузбасская клиническая психиатрическая больница, Кемерово, Россия

Резюме.

Психовизуализация — это перспективное междисциплинарное направление, объединяющее методы нейровизуализации, анализа биометрических данных и искусственного интеллекта (ИИ) для визуальной реконструкции и декодирования внутреннего психического содержания человека. Данный нарративный обзор посвящен анализу современного состояния и перспектив развития методов психовизуализации с использованием ИИ в контексте психиатрической практики. В работе рассматриваются различные подходы к психовизуализации, включая анализ данных электроэнцефалографии (ЭЭГ), электрокардиографии (ЭКГ), функциональной магнитно-резонансной томографии (фМРТ) и других биометрических показателей. Особое внимание уделяется методам машинного обучения и глубоких нейронных сетей для распознавания эмоций, психических состояний и реконструкции визуальных образов. Обзор показывает значительный прогресс в области распознавания эмоций и психических состояний на основе различных биометрических данных. Достигнуты впечатляющие результаты в реконструкции визуальных образов из данных фМРТ, что открывает новые возможности для понимания процессов восприятия и воображения. Мультимодальные подходы, объединяющие различные источники данных, демонстрируют повышенную точность в оценке эмоционального и психического состояния. Однако внедрение методов психовизуализации в клиническую практику сопряжено с рядом технических, методологических и этических проблем. Ключевые вызовы включают интерпретацию сложных данных, учет индивидуальных различий, обеспечение конфиденциальности и разработку этических норм использования этих технологий. Несмотря на эти вызовы, потенциальные преимущества психовизуализации огромны. Она может значительно повысить точность диагностики психических расстройств, обеспечить более глубокое понимание механизмов психических процессов и открыть новые возможности для персонализированной терапии. В заключение обзора определяются ключевые направления дальнейших исследований, включая разработку более точных и надежных моделей ИИ, создание методов объяснимого ИИ, изучение долгосрочных эффектов применения психовизуализации и интеграцию этих методов в существующие протоколы диагностики и лечения. Подчеркивается необходимость междисциплинарного подхода и тесного сотрудничества специалистов в области психиатрии, нейронаук, информатики и этики для дальнейшего развития этого перспективного направления.

Ключевые слова: «искусственный интеллект в психиатрии»,  «нейронные сети в психиатрии», «компьютерное зрение в психиатрии», «психовизуализация в психиатрии с использованием машинного обучения», «распознавание эмоций с помощью искусственного интеллекта», «диагностика психических расстройств с использованием машинного обучения», «персонализированная психиатрия с использованием искусственного интеллекта».

Информация об авторе:

Богданов Ярослав Вячеславович – e-mail: yarik@yabogdanov.ru; https://orcid.org/0009-0002-3880-7152

Как цитировать: Богданов Я.В., Психовизуализация как новое направление в изучении психической деятельности: нарративный обзор

Введение

Актуальность

Актуальность исследования методов психовизуализации с использованием ИИ обусловлена несколькими важными факторами: 1. Распространенность психических расстройств во всем мире, что создает огромную нагрузку на системы здравоохранения и общество в целом. Разработка новых методов диагностики и лечения становится критически важной задачей. 2. Ограничения традиционных методов диагностики: существующие методы диагностики психических расстройств часто субъективны. Объективные методы оценки психического состояния крайне необходимы для повышения точности и эффективности диагностики. 3. Потребность в персонализированной медицине: современная психиатрия стремится к более индивидуализированному подходу в лечении. Психовизуализация может предоставить уникальные данные о психических процессах конкретного пациента, что позволит разрабатывать более эффективные персонализированные стратегии терапии. 4. Прогресс в области ИИ и нейровизуализации: быстрое развитие технологий ИИ, машинного обучения и методов нейровизуализации открывает новые возможности для анализа и интерпретации сложных данных о работе мозга и психических процессах. 5. Потенциал для фундаментальных открытий: психовизуализация может помочь в углублении нашего понимания механизмов работы психики и мозга, что может привести к революционным открытиям в области нейронаук и психологии. 6. Социально-экономический аспект: психические расстройства связаны с огромными экономическими затратами для общества. Разработка более эффективных методов диагностики и лечения может значительно снизить эти затраты и улучшить качество жизни миллионов людей. 7. Этические вызовы: развитие технологий психовизуализации поднимает важные этические вопросы, связанные с приватностью и конфиденциальностью личных данных. Исследования в этой области необходимы для разработки этических норм и правовых рамок использования этих технологий. Таким образом, исследование методов психовизуализации с использованием ИИ представляется крайне актуальным и перспективным направлением, способным существенно повлиять на развитие психиатрии, психологии и нейронаук в целом.

Цель исследования: провести комплексный анализ современных методов психовизуализации с использованием ИИ, оценить их потенциал для диагностики и лечения психических расстройств, а также выявить ключевые направления дальнейших исследований в этой области.

Задачи исследования: 1.Систематизировать и обобщить существующие подходы к психовизуализации с применением ИИ, включая методы анализа ЭЭГ, ЭКГ, фМРТ и других биометрических данных. 2. Проанализировать эффективность различных алгоритмов машинного обучения и глубоких нейронных сетей для распознавания эмоций и психических состояний на основе биометрических данных. 3. Оценить текущие возможности и ограничения методов реконструкции визуальных образов и психического содержания на основе данных нейровизуализации. 4. Исследовать потенциал мультимодальных подходов, объединяющих различные источники данных, для повышения точности психовизуализации. 5. Выявить основные технические, методологические и этические проблемы, связанные с применением методов психовизуализации в клинической практике. 6. Рассмотреть перспективы интеграции методов психовизуализации в существующие протоколы диагностики и лечения психических расстройств. 7. Оценить потенциал психовизуализации для развития персонализированной медицины в психиатрии. 8. Определить ключевые направления дальнейших исследований в области психовизуализации, которые могут привести к значительному прогрессу в понимании и лечении психических расстройств. 9. Сформулировать рекомендации по развитию междисциплинарного сотрудничества между специалистами в области психиатрии, нейронаук, информатики и этики для продвижения исследований в сфере психовизуализации.

Материал и методы: поиск русскоязычных источников произведен: электронный каталог ГБУЗ КНМБ на основе автоматизированной информационно-библиотечной системы «ИРБИС», база данных Центральной научной медицинской библиотеки Сеченовского университета "Медицинские журналы и статьи" (RusMed) на базе платформы "Российская медицина", научная электронная библиотека eLIBRARY.RU, научная электронная библиотека КиберЛенинка. Поиск иностранных источников был произведен: PubMed, Springer Nature, Wiley Online Library. Поисковые запросы формировались комбинацией ключевых слов: «искусственный интеллект в психиатрии»,  «нейронные сети в психиатрии», «компьютерное зрение в психиатрии», «психовизуализация в психиатрии с использованием машинного обучения», «распознавание эмоций с помощью искусственного интеллекта», «диагностика психических расстройств с использованием машинного обучения», «персонализированная психиатрия с использованием искусственного интеллекта», «риски использования ИИ в психиатрии», «этические вопросы использования искусственного интеллекта в психиатрии», «конфиденциальность данных при использовании искусственного интеллекта в психиатрии», «диагностика психических расстройств с использованием искусственного интеллекта в психиатрии», «персонализированная терапия с использованием машинного обучения в психиатрии», «neural network в психиатрии», «machine learning в психиатрии», «deep learning в психиатрии», «artificial intelligence в психиатрии», "распознавание эмоций с помощью функциональной магнитно-резонансной томографии", "распознавание эмоций с помощью ЭЭГ", "распознавание эмоций с помощью ЭКГ". В обзор включены оригинальные работы, опубликованные с 2016 по 2024 год. Для обобщения полученных данных использовался описательный анализ.

Результаты

По результатам поиска в обзор включены 44 работы. Проанализирована информация о текущем состоянии достижений и представлений по вопросам применения ИИ в визуализации психических процессов.

По мнению автора обзора под «психовизуализацией» можно понимать междисциплинарный подход, объединяющий методы нейровизуализации, регистрации биометрических данных, ИИ и анализа психических процессов для визуальной реконструкции и декодирования (раскрытия) внутреннего психического содержания человека, переведения его в визуальную форму. Понятие "психовизуализация" позволяет объединить и систематизировать разрозненные исследования в этой области, подчеркивая их общую цель - декодирование и визуальную репрезентацию внутренних психических процессов человека. Термин  отражает роль методов ИИ (компьютерного зрения, нейросетей) в реализации этих задач. Психовизуализация - перспективное и актуальное направление на стыке нейронаук, психологии, психиатрии и информатики, открывающее новые возможности в понимании, диагностике и визуализации психических функций, что может иметь большое прикладное значение в психиатрии.

Современные возможности визуализации представлений и восприятия. Использование предсказания на основе нейровизуализации и МО становится все более распространенным в психиатрических исследованиях [34,44]. Успешные исследования в области декодирования зрительного восприятия из данных фМРТ включают модель SC-GAN для реконструкции естественных изображений [15], а также структуру глубокого обучения с использованием свёрточного автокодировщика, LSTM и C-PG-GAN [16]. Модели реконструируют изображения, воспроизводящие семантические категории и текстурные характеристики зрительных стимулов. Другие исследования изучали нейронные представления эмоциональных выражений лица и тела. Использование многомерного анализа паттернов функциональной связности позволило успешно декодировать как лицевые, так и телесные эмоциональные выражения [22, 23]. Выявлена вовлеченность распределенных сетей в обоих полушариях, включая области от первичной зрительной коры до более высоких уровней, в обработку эмоциональной информации. Есть обзоры методов глубокого обучения для реконструкции изображений из фМРТ-данных [30, 32]. Эти методы, основанные на иерархических нейронных представлениях, показывают многообещающие результаты в визуализации восприятия. Однако отмечаются проблемы, связанные с необходимостью больших объемов данных, сложностью интерпретации и этическими вопросами [9]. Перспективным является применение методов самообучения для реконструкции изображений и крупномасштабной семантической классификации по фМРТ-данным [11]. Эти подходы демонстрируют беспрецедентные возможности в задачах, ранее ограниченных размером и разнообразием данных. Кроме того, исследования показывают, что иерархические визуальные представления могут быть переданы между людьми с использованием функционального выравнивания, что позволяет выполнять межиндивидуальную реконструкцию изображений [14]. Shen G. Et al., [31] представили новый метод восстановления изображений из активности мозга человека с использованием глубокого обучения, он отличается от сложившихся методов восстановления изображений из фМРТ, которые обычно используют предобученные модели и фокусируются на декодировании отдельных визуальных признаков. Авторы предложили обучать глубокую нейронную сеть непосредственно на парах данных "активность мозга - соответствующее изображение". Они построили генеративно-состязательную сеть, которая была обучена на данных, состоящих из натуральных изображений и соответствующих ответов активности мозга. Авторы протестировали модель на новых, неиспользованных данных и показали, что она успешно реконструирует изображения, основываясь только на паттернах активности мозга. Точность реконструкций улучшалась по мере увеличения объема обучающих данных. Наконец, глубокие нейронные сети применяются для прогнозирования эмоциональных реакций человека по данным фМРТ [19, 20, 24]. Эти модели способны успешно классифицировать базовые эмоции, используя паттерны функциональной коннективности в распределенных сетях мозга. Эти исследования демонстрируют значительный прогресс в использовании ИИ и нейровизуализации для расшифровки и реконструкции психических процессов, включая зрительное восприятие, эмоциональные реакции и «ментальную визуализацию» [43], что может иметь очень большое значение для клинической психиатрии.

Распознавание эмоций с использованием биометрических данных и методов машинного обучения. Благодаря развитию ИИ, наблюдается значительный прогресс в автоматическом распознавании эмоций. У психиатров растет интерес к объективным методам оценки эмоционального состояния, выходящим за рамки субъективных отчетов. Есть исследования, посвященные распознаванию эмоций по речи. Chernykh et al. [5] предлагают алгоритм распознавания эмоций из речевого аудио с использованием рекуррентных нейронных сетей (RNN). Подход учитывает нейтральные фрагменты в эмоциональной речи, предсказывает последовательность эмоций в высказывании. Авторы заявляют об эффективности модели. Другие исследования посвящены распознаванию эмоций по изображению. Washington et al. [37] исследуют обучение моделей компьютерного зрения для распознавания эмоций по изображениям лиц. Они предлагают использовать "мягкие" вероятностные метки, полученные через краудсорсинг, для учета субъективности восприятия эмоций. Модели, обученные на "мягких" метках, лучше отражают реальное распределение мнений людей. Cîrneanu A.L. и соавторы [7] рассматривают новейшие разработки в области распознавания эмоций по лицевым выражениям с применением глубоких сверточных нейронных сетей. Pise et al. [29] рассматривают методы распознавания выражений лица (FER) с использованием глубокого обучения. Авторы выделяют два основных типа признаков: на основе положения органов лица и текстуры кожи, а также геометрические признаки, основанные на ключевых точках и движениях лица. Работа подчеркивает потенциал FER для обеспечения эффективного общения человека и машины. Даже общедоступные большие языковые модели (генеративный ИИ) пытаются использовать для распознавания эмоций. Elyoseph et al. [10] оценивают способность генеративных моделей ИИ (GPT-4, Google Bard), интерпретировать эмоции по визуальным и текстовым данным. GPT-4 «демонстрирует выдающиеся результаты» в распознавании эмоций по изображениям, сопоставимые с человеческими, в то время как Bard отстает в этой области. Оба ИИ «демонстрируют превосходные способности» в интерпретации эмоций по тексту. Не могли обойти исследователи такой распространённый биометрический метод как  ЭЭГ для распознавания эмоций [2, 6, 17, 25, 28, 38, 41, 42]. Внедряются различные методы извлечения признаков и классификации для определения эмоционального состояния на основе ЭЭГ. Предлагаются гибридные модели, такие как FCAN-XGBoost [42], демонстрирующие высокую точность и эффективность. Cai J. и соавторы [3] обобщают применение МО с использованием ЭЭГ для распознавания эмоций. Авторы рассматривают основные этапы такого подхода: получение сигналов ЭЭГ, предобработка, извлечение эмоционально-значимых признаков и классификация эмоций с использованием различных алгоритмов машинного обучения. Другие исследования сосредоточены на применении методов глубокого обучения для распознавания эмоций по ЭЭГ. Jafari M. и соавторы [17] рассматривают различные подходы с использованием глубоких нейронных сетей, отмечая их способность автоматически извлекать информативные признаки из сигналов ЭЭГ. Аналогичный обзор представлен в работе [25] Liu H. и др., где описываются общие этапы алгоритма распознавания эмоций по ЭЭГ и оцениваются существующие методы. Ряд работ предлагает новые подходы к распознаванию эмоций на основе ЭЭГ. Например, в статье [38] Xia Y. и Liu Y. описывают модель, учитывающую индивидуальные различия пользователей, что позволяет повысить точность распознавания эмоций до 96,43% для бинарной классификации и 98,92% в сценариях с большими индивидуальными различиями. Zong J. и соавторы в работе [42] представили гибридную модель FCAN-XGBoost, достигающую точности 95,26% и 94,05% в разных наборах данных. Jung et al. [18] предлагают структуру МО для классификации эмоций, вызванных взаимодействием с виртуальной реальностью (VR). Используя ЭЭГ, они выявили различия в активности мозга при разных эмоциональных состояниях, таких как низкое возбуждение, высокое возбуждение и социальная тревожность. Их результаты подтверждают потенциал ЭЭГ для объективной оценки эмоционального состояния и могут быть полезны для исследований ПР, таких как ПТСР, ОКР и СДВГ. Yuvaraj et al. [40] сравнивают эффективность различных методов извлечения признаков из ЭЭГ для распознавания эмоций. Исследование показало, что «признаки фрактальной размерности, отражающие сложность сигнала ЭЭГ», являются наиболее информативными для различения валентности (положительная/отрицательная) и возбуждения (высокое/низкое). Отмечается связь между более высокой валентностью и возбуждением и меньшей фрактальной сложностью в лобных областях мозга. Taran and Bajaj [33] предлагают новый метод фильтрации ЭЭГ-сигналов для распознавания эмоций, основанный на двухэтапной обработке. Метод позволяет очистить сигнал от шума и выделить информативные признаки для классификации эмоций с помощью «машины опорных векторов». Авторы отчитываются о высокой точности распознавания эмоций, таких как счастье, страх, грусть и спокойствие. Даже ЭКГ находит своё место для оценки эмоционального состояния. Исследования [1, 4, 12, 13, 36] анализируют возможность использования ЭКГ для распознавания эмоций на основе вариабельности сердечного ритма (ВСР). Предлагаются различные методы извлечения признаков и классификации, подчеркивается потенциал ЭКГ-систем в связи с доступностью носимых устройств. Vazquez-Rodriguez et al. [35] предлагают подход к распознаванию эмоций, используя ЭКГ и модель Transformer. Авторы обосновывают выбор ЭКГ как источника данных, подчеркивая ее способность отражать изменения в активности вегетативной нервной системы, связанные с эмоциональными состояниями. Исследования [21,39] рассматривают использование других физиологических сигналов, таких как мимика лица и сердечные тоны, для распознавания эмоций. Claret et al. [8] проводят систематический обзор литературы, посвященный автоматической классификации эмоций на основе сердечных тонов. Ими анализируется 27 исследований, посвященных использованию сердечных сигналов, полученных с помощью недорогих и носимых устройств, для распознавания эмоций. Работа подтверждает потенциал сердечных сигналов для распознавания эмоций, подчеркивает важность разработки доступных и ненавязчивых методов сбора данных. Ряд исследований посвящен распознаванию эмоций по  интегрированным физиологическим сигналам, таким как электрокардиограмма (ЭКГ) и электроэнцефалограмма (ЭЭГ) с использованием мультимодального подхода. В работе [4] Chen Y.C. и соавторы показали, что с помощью искусственных нейронных сетей можно достичь точности более 75% в классификации четырех эмоций (удовольствие, счастье, страх, гнев) на основе данных вариабельности сердечного ритма, полученных с использованием браслета. В статье [26] Marín-Morales J. и др. разработали систему распознавания эмоций, использующую ЭЭГ и ЭКГ, которая достигает точности 75% для классификации уровней возбуждения и 71% для классификации валентности. Liang et al. [22] исследуют нейронные представления для распознавания эмоций по лицевым и телесным выражениям с использованием фМРТ и многомерного анализа паттернов. Существующие исследования демонстрируют впечатляющий прогресс в разработке систем распознавания эмоций с использованием ИИ. Мультимодальные подходы, объединяющие данные из различных источников позволяют повысить точность распознавания и учесть субъективность восприятия эмоций, как отмечают Monteith et al. [84]. Важно обеспечить конфиденциальность данных и защиту от дискриминации при использовании «Emotion AI»,  особенно для людей с психическими заболеваниями, необходимо участие психиатров в регулировании этих технологий [27]. Существуют ограничения каждого подхода. Например, ЭЭГ-сигналы могут быть подвержены артефактам и индивидуальным различиям, а распознавание эмоций по лицу может быть затруднено при наличии препятствий или выраженной индивидуальной вариабельности [27].

Обсуждение

Развитие методов психовизуализации открывает новые горизонты в изучении и понимании психических процессов. Подобно тому, как нейровизуализация произвела революцию в неврологии, психовизуализация может стать переломным моментом в психиатрии и психологии. Однако, внедрение этих технологий сопряжено с рядом вызовов и ограничений, которые необходимо учитывать: 1. Интерпретация данных: в отличие, к примеру, от полиграфического исследования, где интерпретатором является исследователь, в психовизуализации ключевую роль играют модели ИИ. Это создает проблему "черного ящика", когда процесс принятия решений ИИ не всегда понятен и объясним. Разработка методов объяснимого ИИ (Explainable AI) является критически важной задачей для повышения доверия к результатам психовизуализации. 2. Этические вопросы: возможность "заглянуть" в мысли и чувства человека поднимает серьезные этические вопросы о приватности и конфиденциальности. Необходимо разработать строгие этические нормы и правовые рамки для использования технологий психовизуализации. 3. Индивидуальные различия: психические процессы характеризуются высокой степенью индивидуальной вариабельности. Создание универсальных моделей психовизуализации, учитывающих эти различия, представляет собой сложную задачу. 4. Комплексность психических процессов: психика человека - чрезвычайно сложная система. Существует риск чрезмерного упрощения при попытке визуализировать психические процессы, что может привести к неверным интерпретациям. 5. Интеграция с клинической практикой: внедрение методов психовизуализации в повседневную клиническую практику потребует значительных усилий по обучению специалистов и адаптации существующих протоколов диагностики и лечения. 6. Технологические ограничения: современные методы психовизуализации часто требуют сложного и дорогостоящего оборудования, что ограничивает их широкое применение.

Несмотря на эти вызовы, потенциальные преимущества психовизуализации огромны. Она может значительно повысить точность диагностики психических расстройств, обеспечить более глубокое понимание механизмов психических процессов и открыть новые возможности для персонализированной терапии. Однако важно помнить, что психовизуализация, как и нейровизуализация в неврологии, не может полностью заменить клиническую оценку и традиционные методы в психиатрии и психологии. Скорее, она должна рассматриваться как мощный дополнительный инструмент, расширяющий возможности специалистов.

Дальнейшие исследования должны быть направлены на решение проблемы интерпретации данных, разработку более точных и надежных моделей ИИ, а также на изучение долгосрочных последствий применения методов психовизуализации. Особое внимание следует уделить этическим аспектам и разработке руководств по ответственному использованию этих технологий.

 Заключение

Психовизуализация представляет собой перспективное направление на стыке нейронаук, психологии, психиатрии и информатики. Объединяя методы нейровизуализации, анализа биометрических данных и ИИ, она открывает беспрецедентные возможности для визуальной реконструкции и декодирования внутреннего психического содержания человека. Проведенный обзор литературы показывает значительный прогресс в области распознавания эмоций, реконструкции визуальных образов и анализа психических состояний с использованием различных биометрических данных (ЭЭГ, ЭКГ, анализ лицевой экспрессии) и методов машинного обучения. Достигнутые результаты демонстрируют потенциал психовизуализации для революционных изменений в понимании и лечении психических расстройств. Однако внедрение методов психовизуализации сопряжено с рядом технических, этических и практических проблем, требующих дальнейшего изучения и решения. Ключевыми направлениями будущих исследований должны стать: разработка более точных и надежных моделей ИИ для интерпретации психофизиологических данных; создание методов объяснимого ИИ для повышения прозрачности и доверия к результатам психовизуализации; исследование долгосрочных эффектов применения методов психовизуализации в клинической практике; разработка этических норм и правовых рамок для использования технологий психовизуализации; интеграция методов психовизуализации в существующие протоколы диагностики и лечения психических расстройств; изучение возможностей применения психовизуализации для персонализированной терапии и профилактики психических заболеваний. Дальнейшие междисциплинарные исследования в этой области имеют потенциал для существенного прогресса в науках о психическом здоровье и могут привести к значительному улучшению качества жизни людей с психическими расстройствами.

 Благодарности: исследование проведено без спонсорской поддержки. Автор выражает благодарность заведующей научным отделом Кузбасской областной научной медицинской библиотеки Карасёвой Юлии Сергеевне за помощь в поиске источников и подготовке списка литературы.

Конфликт интересов: автор заявляет об отсутствии конфликта интересов

Сведения об авторе: Богданов Ярослав Вячеславович, врач психиатр высшей категории, стаж работы 27 лет, заведующий приёмным отделением ГБУЗ Кузбасской клинической психиатрической больницы; 650036, Кемеровская область, город Кемерово, Волгоградская ул., д.41, e-mail: 05-guz-kokpb@kuzdrav.ru

Литература

1.      Alam A, Urooj S, Ansari AQ. Design and Development of a Non-Contact ECG-Based Human Emotion Recognition System Using SVM and RF Classifiers. Diagnostics (Basel). 2023;13(12):2097. https://doi.org/10.3390/diagnostics13122097

2.      Algarni M, Saeed F, Al-Hadhrami T, Ghabban F, Al-Sarem M. Deep Learning-Based Approach for Emotion Recognition Using Electroencephalography (EEG) Signals Using Bi-Directional Long Short-Term Memory (Bi-LSTM). Sensors (Basel). 2022;22(8):2976. https://doi.org/10.3390/s22082976

3.      Cai J, Xiao R, Cui W, Zhang S, Liu G. Application of Electroencephalography-Based Machine Learning in Emotion Recognition: A Review. Front Syst Neurosci. 2021;15:729707. https://doi.org/10.3389/fnsys.2021.729707

4.      Chen B, Jiao Z, Shen T, Fan R, Chen Y, Xu Z. Early antidepressant treatment response prediction in major depression using clinical and TPH2 DNA methylation features based on machine learning approaches. BMC Psychiatry. 2023;23(1):299. https://doi.org/10.1186/s12888-023-04791-z   

5.      Chernykh V, Sterling G, Prihodko P. Emotion Recognition From Speech With Recurrent Neural Networks. arXiv:1701.08071v1 [cs.CL]. 2017. https://doi.org/10.48550/arXiv.1701.08071

6.      Cimtay Y, Ekmekcioglu E. Investigating the Use of Pretrained Convolutional Neural Network on Cross-Subject and Cross-Dataset EEG Emotion Recognition. Sensors (Basel). 2020;20(7):2034. https://doi.org/10.3390/s20072034

7.      Cîrneanu AL, Popescu D, Iordache D. New Trends in Emotion Recognition Using Image Analysis by Neural Networks, A Systematic Review. Sensors (Basel). 2023;23(16):7092. https://doi.org/10.3390/s23167092

8.      Claret AF, Casali KR, Cunha TS, Moraes MC. Automatic Classification of Emotions Based on Cardiac Signals: A Systematic Literature Review. Ann Biomed Eng. 2023;51(11):2393-2414. https://doi.org/10.1007/s10439-023-03341-8

9.      Eitel F, Schulz MA, Seiler M, Walter H, Ritter K. Promises and pitfalls of deep neural networks in neuroimaging-based psychiatric research. Exp Neurol. 2021;339:113608. https://doi.org/10.1016/j.expneurol.2021.113608

10.  Elyoseph Z, Refoua E, Asraf K, Lvovsky M, Shimoni Y, Hadar-Shoval D. Capacity of Generative AI to Interpret Human Emotions From Visual and Textual Data: Pilot Evaluation Study. JMIR Ment Health. 2024;11:e54369. https://doi.org/10.2196/54369

11.  Gaziv G, Beliy R, Granot N, Hoogi A, Strappini F, Golan T, Irani M. Self-supervised Natural Image Reconstruction and Large-scale Semantic Classification from Brain Activity. Neuroimage. 2022;254:119121. https://doi.org/10.1016/j.neuroimage.2022.119121

12.  Hasnul MA, Ab Aziz NA, Abd Aziz A. Augmenting ECG Data with Multiple Filters for a Better Emotion Recognition System. Arab J Sci Eng. 2023;48:10313–10334. https://doi.org/10.1007/s13369-022-07585-9 

13.  Hasnul MA, Aziz NAA, Alelyani S, Mohana M, Aziz AA. Electrocardiogram-Based Emotion Recognition Systems and Their Applications in Healthcare-A Review. Sensors (Basel). 2021;21(15):5015. https://doi.org/10.3390/s21155015

14.  Ho JK, Horikawa T, Majima K, Cheng F, Kamitani Y. Inter-individual deep image reconstruction via hierarchical neural code conversion. Neuroimage. 2023;271:120007. https://doi.org/10.1016/j.neuroimage.2023.120007

15.  Huang W, Yan H, Wang C, Li J, Zuo Z, Zhang J, Shen Z, Chen H. Perception-to-Image: Reconstructing Natural Images from the Brain Activity of Visual Perception. Ann Biomed Eng. 2020;48(9):2323-2332. https://doi.org/10.1007/s10439-020-02502-3

16.  Huang W, Yan H, Wang C, Yang X, Li J, Zuo Z, Zhang J, Chen H. Deep Natural Image Reconstruction from Human Brain Activity Based on Conditional Progressively Growing Generative Adversarial Networks. Neurosci Bull. 2021;37(3):369-379. https://doi.org/10.1007/s12264-020-00613-4

17.  Jafari M, Shoeibi A, Khodatars M, Bagherzadeh S, Shalbaf A, García DL, Gorriz JM, Acharya UR. Emotion recognition in EEG signals using deep learning methods: A review. Comput Biol Med. 2023;165:107450. https://doi.org/10.1016/j.compbiomed.2023.107450

18.  Jung D, Choi J, Kim J, Cho S, Han S. EEG-Based Identification of Emotional Neural State Evoked by Virtual Environment Interaction. Int J Environ Res Public Health. 2022;19(4):2158. https://doi.org/10.3390/ijerph19042158

19.  Kim HC, Bandettini PA, Lee JH. Deep neural network predicts emotional responses of the human brain from functional magnetic resonance imaging. Neuroimage. 2019;186:607-627. https://doi.org/10.1016/j.neuroimage.2018.10.054

20.  Koide-Majima N, Nishimoto S, Majima K. Mental image reconstruction from human brain activity: Neural decoding of mental imagery via deep neural network-based Bayesian estimation. Neural Netw. 2024;170:349-363. https://doi.org/10.1016/j.neunet.2023.11.024

21.  Lee JP, Jang H, Jang Y, Song H, Lee S, Lee PS, Kim J. Encoding of multi-modal emotional information via personalized skin-integrated wireless facial interface. Nat Commun. 2024;15(1):530. https://doi.org/10.1038/s41467-023-44673-2

22.  Liang Y, Liu B, Ji J, Li X. Network Representations of Facial and Bodily Expressions: Evidence From Multivariate Connectivity Pattern Classification. Front Neurosci. 2019;13:1111. https://doi.org/10.3389/fnins.2019.01111     

23.  Liang Y, Liu B. Cross-Subject Commonality of Emotion Representations in Dorsal Motion-Sensitive Areas. Front Neurosci. 2020;14:567797. https://doi.org/10.3389/fnins.2020.567797

24.  Liu C, Wang Y, Sun X, Wang Y, Fang F. Decoding six basic emotions from brain functional connectivity patterns. Sci China Life Sci. 2023;66(4):835-847. https://doi.org/10.1007/s11427-022-2206-3

25.  Liu H, Zhang Y, Li Y, Kong X. Review on Emotion Recognition Based on Electroencephalography. Front Comput Neurosci. 2021;15:758212. https://doi.org/10.3389/fncom.2021.758212

26.  Marín-Morales J, Higuera-Trujillo JL, Greco A, Guixeres J, Llinares C, Scilingo EP, Alcañiz M, Valenza G. Affective computing in virtual reality: emotion recognition from brain and heartbeat dynamics using wearable sensors. Sci Rep. 2018;8(1):13657. https://doi.org/10.1038/s41598-018-32063-4 

27.  Monteith S, Glenn T, Geddes J, Whybrow PC, Bauer M. Commercial Use of Emotion Artificial Intelligence (AI): Implications for Psychiatry. Curr Psychiatry Rep. 2022;24(3):203-211. https://doi.org/10.1007/s11920-022-01330-7

28.  Muhammad F, Hussain M, Aboalsamh H. A Bimodal Emotion Recognition Approach through the Fusion of Electroencephalography and Facial Sequences. Diagnostics (Basel). 2023;13(5):977. https://doi.org/10.3390/diagnostics13050977

29.  Pise AA, Alqahtani MA, Verma P, Purushothama K, Karras DA, Prathibha S, Halifa A. Methods for Facial Expression Recognition with Applications in Challenging Situations. Comput Intell Neurosci. 2022;2022:9261438. https://doi.org/10.1155/2022/9261438

30.  Rakhimberdina Z, Jodelet Q, Liu X, Murata T. Natural Image Reconstruction From fMRI Using Deep Learning: A Survey. Front Neurosci. 2021;15:795488. https://doi.org/10.3389/fnins.2021.795488

31.  Shen G, Dwivedi K, Majima K, Horikawa T, Kamitani Y. End-to-End Deep Image Reconstruction From Human Brain Activity. Front Comput Neurosci. 2019;13:21. https://doi.org/10.3389/fncom.2019.00021

32.  Shen G, Horikawa T, Majima K, Kamitani Y. Deep image reconstruction from human brain activity. PLoS Comput Biol. 2019;15(1):e1006633. https://doi.org/10.1371/journal.pcbi.1006633

33.  Taran S, Bajaj V. Emotion recognition from single-channel EEG signals using a two-stage correlation and instantaneous frequency-based filtering method. Comput Methods Programs Biomed. 2019;173:157-165. https://doi.org/10.1016/j.cmpb.2019.03.015

34.  Tejavibulya L, Rolison M, Gao S, Liang Q, Peterson H, Dadashkarimi J, Farruggia MC, Hahn CA, Noble S, Lichenstein SD, Pollatou A, Dufford AJ, Scheinost D. Predicting the future of neuroimaging predictive models in mental health. Mol Psychiatry. 2022;27(8):3129-3137. https://doi.org/10.1038/s41380-022-01635-2

35.  Vazquez-Rodriguez J, Lefebvre G, Cumin J, Crowley JL. Transformer-Based Self-Supervised Learning for Emotion Recognition. arXiv:2204.05103v2 [q-bio.NC]. 2022. https://doi.org/10.48550/arXiv.2204.05103

36.  Wang L, Hao J, Zhou TH. ECG Multi-Emotion Recognition Based on Heart Rate Variability Signal Features Mining. Sensors (Basel). 2023;23(20):8636. https://doi.org/10.3390/s23208636

37.  Washington P, Kalantarian H, Kent J, Husic A, Kline A, Leblanc E, Hou C, Mutlu C, Dunlap K, Penev Y, Stockham N, Chrisman B, Paskov K, Jung JY, Voss C, Haber N, Wall DP. Training Affective Computer Vision Models by Crowdsourcing Soft-Target Labels. Cognit Comput. 2021;13(5):1363-1373. https://doi.org/10.1007/s12559-021-09936-4

38.  Xia Y, Liu Y. EEG-Based Emotion Recognition with Consideration of Individual Difference. Sensors (Basel). 2023;23(18):7749. https://doi.org/10.3390/s23187749

39.  Xiefeng C, Wang Y, Dai S, Zhao P, Liu Q. Heart sound signals can be used for emotion recognition. Sci Rep. 2019;9(1):6486. https://doi.org/10.1038/s41598-019-42826-2 

40.  Yuvaraj R, Thagavel P, Thomas J, Fogarty J, Ali F. Comprehensive Analysis of Feature Extraction Methods for Emotion Recognition from Multichannel EEG Recordings. Sensors (Basel). 2023;23(2):915. https://doi.org/10.3390/s23020915

41.  Zhang Y, Ji X, Zhang S. An approach to EEG-based emotion recognition using combined feature extraction method. Neurosci Lett. 2016;633:152-157. https://doi.org/10.1016/j.neulet.2016.09.037 

42.  Zong J, Xiong X, Zhou J, Ji Y, Zhou D, Zhang Q. FCAN-XGBoost: A Novel Hybrid Model for EEG Emotion Recognition. Sensors (Basel). 2023;23(12):5680. https://doi.org/10.3390/s23125680

43.  Васильченко К.Ф., Чумаков Е.М. Современное положение, вызовы и перспективы развития вычислительной психиатрии: нарративный обзор. Consortium Psychiatricum. 2023;4(3):CP11244. https://doi.org/10.17816/CP11244

44.  Гашкаримов В.Р., Султанова Р.И., Ефремов И.С., Асадуллин А.Р. Использование методов машинного обучения в диагностике и прогнозировании клинических особенностей шизофрении: нарративный обзор литературы. Consortium Psychiatricum. 2023;4(3):CP11030.