Команда нейроинженеров из Калифорнийского университета в Беркли и Сан-Франциско представила систему, которая преобразует нейронные сигналы в синтезированную речь с задержкой менее секунды. Технология впервые позволила 47-летней Энн, лишившейся речи из-за инсульта в 2005 году, общаться с помощью голоса, почти мгновенно воспроизводящего её мысли. Это достижение открывает путь к восстановлению коммуникации для пациентов с тяжёлыми формами паралича.
Основой разработки стал алгоритм, аналогичный тем, что используются в голосовых помощниках вроде Siri. Однако вместо обработки звука он декодирует активность моторной коры — области , управляющей артикуляцией. «Мы перехватываем сигналы в момент, когда планирует движение речевых мышц, ещё до того, как человек попытается издать звук», — пояснил Чхоль Джун Чо, соавтор исследования и аспирант UC Berkeley.
В ходе клинических испытаний Энн носила имплантированные электроды, которые фиксировали активность её , пока она мысленно повторяла фразы с экрана. Нейросеть, обученная на записях её голоса до травмы, преобразовывала эти сигналы в аудиоречь. Система не только воспроизвела 80% тренировочных предложений точно, но и корректно синтезировала редкие слова из фонетического алфавита NATO, такие как «Альфа» и «Браво». «Модель научилась распознавать базовые элементы речи, а не просто запоминать шаблоны», — подчеркнул Гопала Ануманчипалли, соавтор проекта.
Ключевым прорывом стала ликвидация задержки: предыдущие системы требовали до восьми секунд для генерации фразы, что делало диалог неестественным. Новая технология сократила этот промежуток до одной секунды. «Мы видим, как первый звук появляется практически синхронно с нейронным сигналом», — отметил Ануманчипалли. Пациентка Энн описала этот опыт как «возвращение ощущения себя», подчеркнув, что немедленная обратная связь кардинально отличается от прежних методов с поэтапным преобразованием мыслей в текст и голос.
Система совместима с разными типами сенсоров: инвазивными микроэлектродными массивами (MEA), которые внедряются в ткань , и неинвазивными поверхностными датчиками (sEMG), считывающими активность лицевых мышц. Это расширяет её применение для пациентов с различными формами паралича.
Сейчас учёные работают над добавлением эмоциональной окраски в синтезированную речь — интонации, громкости и тембра. «Даже малейшие изменения тона радикально меняют смысл. Например, слово “хорошо” может звучать как одобрение или сарказм», — объяснил Кейло Литтлджон, аспирант UC Berkeley. Для решения этой задачи команда анализирует нейронные паттерны, связанные с паралингвистическими особенностями.
Технология остаётся экспериментальной, но исследователи уверены, что при поддержке фондов она станет доступна в клиниках в течение десятилетия. Проект уже получил финансирование от Национального института глухоты и коммуникативных расстройств (NIDCD), японской программы Moonshot и частных организаций.
