Нейросети, блокчейны, ИИ, летающие машины, самозавязывающиеся шнурки — все это, конечно, круто, но в самый большой трепет меня повергает мысль об идеальном нейроинтерфейсе. Размышления о работе и устройстве сознания обычно заводят в самые жесткие тупики, религиозные споры и плодят триллионы домыслов. Поэтому я решил поискать человека, который знает о работе с и нейроинтерфейсом непонаслышке.
Мой собеседник — Александр Смирнов, основатель минского стартапа CleverPoint.
В юности он выучился на врача, получил диплом хирурга. После университета пошел на кафедру биологической химии и защитил кандидатскую диссертацию. На тот момент Александр начал свой бизнес — производство стоматологических имплантатов — и занимается им уже 20 лет.
Со школы его хобби было программирование. Друзья, с которыми он ходил в компьютерный кружок, остались на всю жизнь — сейчас они все серьезные инженеры. Вместе с ними, шутки ради, Александр и решил сделать носимый нейроинтерфейс, не отстающий от профессионального медицинского оборудования. Шутка зашла далеко, и теперь это амбициозный технологический стартап.
Перед разговором я попытался понять, для чего именно применяется их продукт. Целей оказалось подозрительно много. Какие из них главные — мысленное управление девайсами? Контроль за состоянием ? Исследования, сбор данных?
В итоге наш разговор, как и шутка со стартапом, зашел слишком далеко. Мы залезли не только в , но и в противоречивые этические проблемы, и в будущее, где человечество, кажется, ждет пара-тройка нелегких испытаний.
Александр Смирнов
— Я видел, что вы недавно были в Сколково. Как все прошло?
— В общем, хорошо. Мы представили проект, нам рассказали, какие в Сколково есть возможности для стартапов в плане грантов, финансирования, площадки для общения. Мне очень понравилась встреча, было позитивно. Решили, что будем подавать заявку, попробуем стать резидентом. Наш проект достаточно обширный — мы делаем и технологическую платформу, и саму нейрогарнитуру, и алгоритмы. В настоящее время размышляем, с каким именно фрагментом будем заходить туда.
— Идея находит отклик?
— Большинство людей вообще не понимают, чем мы занимаемся. Хотя нейроинтерфейсы уже лет десять на слуху, они все равно остаются новой сферой. Приходится объяснять, рассказывать. Первая реакция — это удивление, потом некоторый скепсис, конечно. Но реагируют, в общем, позитивно.
— Правда, что инвесторы в первую очередь смотрят на команду?
— Команда в стартапе — это самое важное. С ней у нас все в порядке. Там и инженеры, и биофизики, и специалисты по радиоэлектронике, и физиологи с клиницистами. Пока у нас нет готового железа, медики нас просто консультируют, передают опыт нашим технарям, чтобы те понимали, на что обращать внимание, какие полезные сигналы надо выделять из общего шума, который генерирует наш . Когда мы изготовим альфа-версию продукта, тогда начнутся более серьезные и масштабные исследования.
В команде пять инженеров, они эксперты в своих областях. Занимаются цифровой обработкой радиосигналов, структурными и функциональными компонентами, программированием логических интегральных схем, работают в MatLab, пишут на C. Есть специалисты по машинному обучению, промышленному дизайну. Команда достаточно серьезная для своей области.
— Как такую команду удалось собрать в Минске?
— Это связи, которые остались ещё со школьных времен. Я тогда увлекался программированием. И с тех пор мы дружим много лет — уже семьями. Они мне рассказывают, как делают свои проекты в области радиоэлектроники, я им рассказываю про медицину. Однажды у меня появилась идея, и они загорелись.
В начале всё казалось шуточным — ну попробуем и попробуем — но все зашло очень далеко. Мы сильно углубились в тему, набили шишек и наработали базу знаний.
— И как далеко вы зашли?
— Разработали прототип, подобрали железо, закупили его, собрали тестовый макет, протестировали его работоспособность. Оценили полученный сигнал, сколько там шума, сколько полезного сигнала. Протестировали известные электроэнцефалографические парадигмы на людях. Известно, что при определенных задачах реагирует определённым образом — все эти концепции мы подтвердили, то есть железо нашего прибора работает.
Помимо этого мы разрабатываем саму гарнитуру, условно говоря, шлем который надевается на голову. Бытовые гарнитуры на рынке, на мой взгляд, не удовлетворяют многим требованиям — начиная от удобства и заканчивая техническими специфическими требованиями. Дизайн нашей нейрогарнитуры прошел первую итерацию, и сейчас мы готовимся печатать прототип.
И третье направление, которым мы сейчас активно занимаемся — это тестирование алгоритмов, удаление артефактов, которые возникают в электроэнцефалограмме. В гарнитуре будет встроено аудио, поэтому тестируем, как идёт одновременная передача мозговых импульсов и аудио сигнала, насколько это друг другу мешает, и вообще, какова реальная пропускная способность нашего беспроводного канала.
— Аудио?
— Мы можем кодировать мозговую деятельность, логически привязывать ее к звуку — щелчкам или каким-либо сигналам — и транслировать их в наушники, чтобы человек слышал, что именно происходит у него в . Например, когда человек находится в состоянии стресса или умственной перегрузки, можно с помощью звуковых сигналов сообщать ему об этом. Частота и интенсивность сигналов может коррелировать со степенью стресса. Тогда человек предпринимает усилие, осознанно успокаивается — и звуки пропадают.
Другой пример — во время управления автомобилем водитель начинает засыпать. Нейрогарнитура предупреждает, что следует остановиться и отдохнуть.
С помощью аудионаушников можно еще давать нейрофидбэк — это тренировка по принципу обратной связи. Если посылать в аудиоканал звук или музыку определенной ритма и эмоциональной окраски, то реагирует на аудиосигнал и меняет свои ритмы. Повторяя такие тренировочные сессии регулярно можно научиться управлять своим мозговыми ритмами без аудиоподдержки. Например быстро переходить из состояния релаксации к состоянию концентрации и наоборот.
— А что за железо вы используете?
— Мобильная гарнитура — это, по сути, носимый мобильный энцефалограф. В классической энцефалографии сигнал записывается, потом в офлайн-режиме очищается от артефактов и шумов. Сессия обрабатывается различными алгоритмами, и из сигналов вычленяется полезная информация.
В отличие от классических энцефалографов, у нас стоит задача обрабатывать мозговые сигналы в реальном времени. Когда это делается онлайн, растут требования к самому устройству. Поэтому в нем будет стоять аналогово-цифровой преобразователь высокой точности, который снимет сигнал с электродов и преобразует их в цифру.
В девайсе будет программируемая логическая интегральная схема (FPGA). На FPGA мы можем запаралелить обработку нескольких потоков данных, можем написать предварительные алгоритмы очистки шума, фильтрацию или даже логику принятия решений. Наше устройство в двух различных базовых версиях будет иметь 6 и 12 электродов. Теоретически, мы можем масштабироваться и увеличивать количество каналов до 16 или 32. Но это уже выходит за рамки бытовой нейрогарнитуры.
Попутно мы разрабатываем собственную плату. Изначально она будет достаточно громоздкая — большой starter kit с множеством различных вариантов подключения и поддержкой нескольких схем монтажа электродов.
— То есть сейчас это макет гарнитуры, распечатанный на 3D принтере, и от него идут провода к плате?
— Да, пока что это не очень носимое устройство — оно будет помещаться в нагрудный карман и подключаться проводами к гарнитуре. Потом мы выпустим более миниатюрную версию, встроим плату в шлем и опять все будем тестировать. Сколько в конечном счёте пройдет итераций, я пока не знаю.
Обычно носимые нейрогарнитуры — это либо шапочка, либо каркас из пластика с дугами, которые подводят к голове электроды на определённые позиции. У людей разные по размерам головы, а позиция электродов на голове должна быть чётко выставлена. Если нейрогарнитура одного размера и для детей, и для взрослых, для женщин и мужчин, то электроды располагаются на разных головах абсолютно по-разному. Тонко настроить работу алгоритмов не получится — алгоритмы ожидают, что электроды стоят правильно. Эту проблему на сегодняшний день ни один производитель немедицинских нейрогарнитур не решил.
Мы как раз пытаемся выставлять электроды в любую точку головы, делаем систему различных крепежей. При этом постоянно себе напоминаем — это не профессиональное устройство, а бытовое, оно должно быть удобным.
В итоге мы сможем расшифровать сигнал прямо на FPGA и тут же выдавать пользователю данные о его мозговой активности в виде звуковых сигналов в наушники — минуя любые другие устройства, выходящие за пределы гарнитуры.
Большинство существующих сегодня устройств для онлайн обработки электроэнцефалограммы передают сигнал либо в компьютер, либо в смартфон, и уже там занимаются его расшифровкой. У нас все базовые вещи будут реализованы в носимом устройстве, а в десктопном или мобильном приложении — только более сложная логика. Например, взаимодействие со специалистом по неврологии.
— Между устройством и приложением будет сервер?
— Нет, сигнал будет обрабатываться непосредственно процессором телефона или любой рабочей станции. В дальнейшем мы планируем создать облачный сервис, у него уже обрисовываются первые черты. Но еще не решили, как и в каком объеме будем хранить биоданные пользователя, и каким образом он сможет взаимодействовать со специалистом, проводить лечебные онлайн сессии.
— И как далеко вы зашли в разработке программного обеспечения?
— Мы написали драйверы к основным программным продуктам для электроэнцефалографии и сконцентрировались на алгоритмах удаления различных артефактов, загрязняющих сигнал. Например, когда человек моргает, импульсы, которые передаются на глазодвигательные мышцы, намного сильнее по амплитуде, чем мозговые волны, но находятся в том же диапазоне полезных нам частот. Надо, чтобы сигнал стал чистым, и при этом мы не потеряли на фильтрах часть полезной информации. В классической многоканальной электроэнцефалографии эта проблема решается. А для бытовой нейрогарнитуры с реал-тайм обработкой и небольшим количеством электродов пока хороших решений нет.
Какие проблемы есть у нейроинтефрейсов
- Качество сигнала. Человеческая голова абсолютно не приспособлена для того, чтобы с неё снимали электрические сигналы. Кожа обладает высоким сопротивлением, а есть еще и волосы — через них надо как-то закрепить электрод на коже.
Большинство производителей предлагают влажные электроды. Они используют специальный токопроводящий гель, обеспечивающий плотный контакт электрода и кожи головы, минуя даже волосистую часть. Некоторые делают электроды активными, в них встраивается дополнительная микроэлектроника.
Мы пытаемся разработать гарнитуру на сухих полимерных электродах. Они будут сделаны в виде расчесок или плоских кнопочек, которые мы тоже будем тестировать на разных головах. Создадим фокус группу, и будем смотреть, насколько удобна гарнитура для практического применения.
- Время монтажа. Когда медицинское устройство надевается на голову для какого-то эксперимента, время монтажа занимает от 10 до 45 минут. Каждый электрод надо закрепить, впрыснуть гель, на каждом проверить сопротивление, потом увязать все провода вместе и подсоединить к измерительному прибору.
Для потребителя это абсолютно неприемлемо. В идеале человек должен надеть нейрогарнитуру на голову, и она сходу должна начать работать. Может с минимальной подтяжкой и калибровкой, чтобы получился качественный сигнал. Эту задачу по сути никто ещё не решил. Пока не решим, не имеет смысла двигаться дальше.
- Отсутствие надёжных алгоритмов для определения эмоций, для определения производительности работы и других электроэнцефалографических парадигм.
- Неподготовленность обычных пользователей. В настоящее время человек без специальной подготовки в принципе не может работать с нейроинтерфейсами. Технологии требуют высокой мотивации. Очень высоко мотивированы сейчас разве что люди с инвалидностью. Они готовы учиться, проходить бесконечные калибровки приборов. Для обычного пользователя все это кажется странным и страшным — он быстро теряет интерес.
Надо провести гигантскую работу, чтобы превратить научный гаджет в прибор, без которого нельзя обходиться в обычной жизни, каким, например, стал смартфон.
— Вам не кажется нечестным, что разработчики пользуются высокой мотивацией инвалидов и отрабатывают все на них, чтобы потом использовать на остальных?
— Для инвалидов нейрогарнитура иногда является единственным окном в мир. Поэтому они готовы участвовать в экспериментах, иногда очень сложных. Порой даже в таких, где никто больше не согласится. Они готовы рисковать своим здоровьем, делать инвазивные интерфейсы. Эти люди двигают науку вперёд.
На сегодняшний день в ожидании мозгового интерфейса застыло много технологий. Это новый канал взаимодействия с внешним миром и новый инструмент познания человеком самого себя. Если появится более-менее дешёвое устройство, которое позволит надежно регистрировать и интерпретировать мозговые ритмы — то случится мгновенный старт и серьезный прорыв.
— Может ли ваше устройство развивать науку?
— Популяризации науки оно точно поможет. Цена на носимые медицинские устройства измеряется тысячами долларов, в среднем хороший прибор стоит 600-800 долларов за один канал информации, то есть более 7 тысяч за 12 каналов. Если мы сделаем прибор дешёвым, удобным и при этом достаточно точным, то внесем свой вклад в развитие науки.
— Создается впечатление, что вы не изобретаете нейроинтерфейс, а пытаетесь сделать носимыми существующие медицинские образцы.
— Отчасти это так. В нашем приборе не такие дорогие компоненты, как в профессиональных медицинских системах. У нас более простой аналоговый фронт-енд, хотя по научным публикациям проверено, что он сравним с медицинскими по качеству полученного сигнала.
— Вы себя ощущаете как коммерческий проект или как научный?
— Пока нам просто интересно. У нас есть ощущение, что мы делаем научно-исследовательскую конструкторскую работу с большими коммерческими перспективами. Тут должна быть золотая середина. Все мы люди. В команде всем уже за сорок, мы не молодые ребята, которые готовы работать за идею. Мы все понимаем, что надо кормить семьи, жить. Поэтому изначально рассчитывали, что устройство должно стать коммерчески применимым.
Мы осознаем сложность проблемы. Семь-восемь лет назад нейроинтерфейсы резко стартовали, им пророчили огромные перспективы. Но несовершенство изделий не позволяет применять их полноценно. И мы пока еще не знаем, в какой точно сфере наше устройство займет свое место.
— А вам это дорого обходится?
— Мы потратили около 18 тысяч долларов только на железо и всякие экспериментальные работы. Я не считаю время, потраченное на разработку, на программирование, на поиск научной информации, поездки. То есть — уже недёшево.
— И вы все это делаете на свои?
— Да, пока мы делаем все на свои.
— Последнее время много новостей о применении алгоритмов машинного обучения в медицинских устройствах. Вы смотрите в эту сторону?
— Нам приходится решать задачи классификации выделенных признаков, используя машинное обучение. Мы применяем разные методы, которые уже прошли апробацию в области электроэнцефалографии — дискриминантный анализ, метод опорных векторов, метод главных компонент, регрессионный анализ.
Насчет нейронных сетей — их применяют но пока что надежность не выше, в сравнении с другими методами машинного обучения.
— Но есть перспективы.
— Перспектива огромная, однако им ещё предстоит пройти длинный экспериментальный путь. Мы также работаем в этом направлении.
Вокруг передовых и модных технологий, о которых все говорят, витает куча мифов. Кажется, что они могут больше, чем есть на самом деле.
Есть хороший анекдот. «Если все пойдут прыгать с обрыва ты тоже пойдёшь? Да — отвечает нейросетевой интеллект, построенный на машинном обучении». Невозможно предсказать, когда алгоритм ошибется. Мне кажется, это одна из главных проблем, от которой не застрахованы нейронные сети. Они нуждаются в глубоком тестировании, серьезной научной проработке. Подходить к этому надо осторожно.
— У вас, наверное, нет мифического ощущения и иллюзий от технологии, с которой работаете?
— Когда в 2012-м году я впервые увидел нейро-устройство, было ощущение колдовства. Технология казалась волшебной. Но чем больше я изучал этот вопрос, тем быстрее пришло отрезвление, потом разочарование, переосмысление и, наконец, заново появился интерес.
Мы далеко не первый стартап в этой области, есть много лабораторий, которые, вероятно, опережают нас на много шагов. Но нам интересно, мы хотим тоже попробовать.
— Не думали, что когда мы также хорошо изучим наш , точно также развеется мифическое представление о нём — это окажется просто легко объясняемый механизм.
Ну… не думаю. Даже у самых простейших нейронных сетей никто не может предсказать, какой результат выдаст после обучения алгоритм. Это всегда экспериментальная работа. А ведь простейшие нейросети можно на одном листочке бумаги нарисовать, весь принцип их действия — и при этом результат непредсказуемый.
А представьте когда у вас в голове то же самое, только масштабированное в триллион раз. Не думаю, что это будет скоро.
— А расскажите поподробнее про работу ?
— Это сложно. Я расскажу кратко об особенностях , которые вообще делают электроэнцефалографию возможной.
Функционируя генерирует различные электрические потенциалы. Часть этих потенциалов, в основном от нейронов коры головного , можно зарегистрировать при помощи электродов с поверхности скальпа — кожи и волосистой части черепа.
Синхронизированная активность между ансамблями нейронов создает макроколебания электрического напряжения — мозговые ритмы, которые видны на электроэнцефалограмме. В зависимости от диапазона частот ритмы условно делят на интервалы и обозначают буквами греческого алфавита — альфа, бета, гамма, тета, дельта.
По изменению мозговых ритмов в разных областях мы можем судить о том, какие задачи сейчас решает . Например, ритмы меняются при переходе от бодрствования к засыпанию, при умственном напряжении и расслаблении, при испытывании различных эмоций, при решении умственных задач любого типа, а также в ответ на сенсорную (слуховую, зрительную и другие) стимуляции.
Например, в ответ на фотостимуляцию с частотой 5-30 Гц у человека в затылочных долях появляется ритм с идентичной частотой. Это связно с тем, что в затылке находится корковый конец анализатора зрения. В норме у него есть ярко выраженный альфа-ритм. Если человек закроет глаза, то амплитуда волн возрастает. Когда глаза откроются, амплитуда снова упадет.
Другой пример десинхронизации ритмов связан с намерением человека совершить какое-либо движение. То есть мы представляем, что шевелим правой ногой, и у нас есть ответная реакция, которую можно зафиксировать на электродах, а потом научиться определять, тренируя различные классификаторы.
Мы фиксируем, какой паттерн изменения мозговых ритмов соответствует ментальному представлению о поднятии правой ноги, а какой — левой ноги. Так мы получаем простейший классификатор и можем запрограммировать взаимодействие с бытовыми внешними устройствами. Человек подумал о поднятии правой ноги, и его инвалидная коляска поехала вперёд.
Или пример из другой области. Когда человек испытывает какие-то эмоции, у него наступает рассинхронизация ритмов между полушариями. Сейчас построено несколько алгоритмов по определению эмоции человека — мы можем интерпретировать от четырех до шести видов эмоций.
На основе того, какую парадигму мы хотим оцифровать и какую программную логику построить — нужно подбирать разное количество и расположение электродов. Но все зависит от того, насколько человек мотивирован тренировать алгоритмы, повышать их точность и надёжность предсказания.
— Сначала я долго не мог понять, для чего же конкретно вы хотите применять свое устройство. И мне показалось, что у вас делается упор просто на сбор данных с .
— На сегодняшний день, пока мы тестируем начальное устройство, накапливаем базу знаний, и да — в первую очередь собираем данные и проводим стандартные эксперименты. Но уже готовим новые алгоритмы, которые будем научно апробировать и публиковать.
— Просто сбор данных сейчас — чувствительный вопрос.
С точки зрения персональных данных — да, конечно. Но такая работа должна осуществляться, потому что существующие в настоящее время базы данных мозговых паттернов разнородны и неполны. На сегодняшний день нет окончательно сформированного понятия нормы. И конечно нам интересно собирать и анализировать такие данные, чтобы совершенствовать свои алгоритмы. Естественно, все с согласия пользователей.
Я сам не люблю, когда мои данные собирают. Поэтому у каждого пользователя нашего программного продукта будет возможность отказаться от использования его личных биоданных в научных и статистических целях.
— Вот человек ходит с гарнитурой на , она его постоянно анализирует — когда он слушает музыку, бегает, смотрит телевизор, делает что-то ещё. Открывается слишком много сценариев, чтобы влиять на человека.
— Конечно, нейротехнологии, как потенциальный инструмент влияния, несут определенную опасность. Нужно хорошо подумать, какие гарантии безопасности мы должны предоставить человеку в том, что его данные не используют во вред или с целью манипулирования.
Мы рассматриваем различные варианты группового взаимодействия на наших нейрогарнитурах. Например, групповая эмоциограмма — такой термин еще особо не упоминался в русскоязычном сегменте интернета. Суть его в том, что мы можем записать эмоциональный отклик большой группы людей на какое-то событие, например, на фильм в кинотеатре. И человек, который ещё не смотрел фильм, сможет увидеть, где самый страшный момент или самый весёлый. Он будет понимать, как реагировал зал.
Или, например, эмоциональная реакция на речь политического деятеля. Тут, конечно, пользователю надо давать чёткие гарантии, что его данные не взломают и не используют против него. Мы рассматриваем различные варианты защиты информации от взлома и подмены с использованием аппаратного шифрования и блокчейна. Но пока что глубоко этот вопрос не прорабатывали.
— Допустим, всё, о чем вы говорите, пойдёт по идеальному сценарию. Наша жизнь станет легче, все будет безопасно и хорошо. Вы задумывались к чему будет вести постоянное улучшение мира?
— Я, конечно, задумывался об этом. Надо признать, что от нейроинтерфейсов не убежать. Когда-нибудь эта технология будет внедрена в любом случае. Канал, который мы с вами сейчас используем для общения — байты в минуту. Это очень мало на фоне каналов, которыми оперируют компьютерные сети и интернет — десятки гигабайт в секунду. Я даю вам интервью, и информация идет с очень низкой пропускной способностью.
Нам нужен какой-то дополнительный канал взаимодействия с , более быстрый и действенный. Если говорить конкретно о реализации, то, скорее всего, придётся влезать в анатомию и физиологию человека как биологического вида, менять его, генетически модифицировать, что-то дополнительно встраивать непосредственно на поверхность , ставить какие-то устройства, усиливающие электромагнитные сигналы — и тут я ухожу в область фантастики. Но то, что это, к сожалению, неизбежно — моя твёрдая уверенность.
Те же стоматологические имплантаты, которыми я занимаюсь — это же биомеханическое устройство, по сути мы делаем киборга из человека.
Грядет абсолютно новый мир, и пока непонятно на каких принципах он будет работать. Нас подстегивает научно-технический прогресс, мы стали его заложниками на данном этапе, и свернуть не можем — это неотвратимо. Уже через 30 лет мир будет не таким, как сейчас, и мы прикладываем к этому руку.
Звучит страшновато и непривычно, но такова тенденция. В наших силах сделать этот переход к «новому человеку» менее болезненным и избежать социальных потрясений.
— Я слышал, что если получится подключить электрод к участку, который отвечает за получение удовольствия, и дать человеку кнопку — он будет просто её жать и больше от жизни ничего не захочет.
— На людях такие эксперименты не проводились. Они проводились на крысах. И крысы себя убивали. Они умирали от истощения, потому что им больше ничего не было нужно. Они постоянно стимулировали так называемый центр удовольствия — можно сказать, испытывали хронический ментальный оргазм.
— Если человеку дать большой доступ к , не случится то же самое?
— Человечество всегда балансирует на грани катастрофы. Я думаю, мы придумаем какой-то механизм защиты, чтобы сохранить свое Я и свою человечность.
Человек уже становится лишним звеном в том социуме, который мы создали. Миром правят идеи, которые заставляют нас что-то делать и развиваться. Идеи закручивают новый виток научно-технического прогресса, а мы просто его обслуживаем. Все больше он начинает работать по законам, которых мы не понимаем. Человека нужно как-то модифицировать, чтобы он мог понимать, что происходит, чтобы мог быстро получать и передавать информацию, чтобы он не становился слабым звеном в этой системе.
Автор: Артем Малышев
