Возможно ли собрать данные по движениям глаз всех посетителей планетария, не имея в распоряжении специальной аппаратуры? Как изучить зрительное внимание во время активных действий нескольких человек, не конструируя сложную систему с очками-айтрекерами? Как достичь исключительной точности и записать движения глаз с частотой 8000 Гц? В нашей статье попытаемся ответить на эти вопросы.
В настоящее время хорошо известны айтрекеры, в основу которых положен метод видеорегистрации движений глаз: это и трекеры известных брендов вроде EyeLink, Tobii, а также разнообразные хенд-мейд решения и разработки на базе вебкамеры (об этом мы писали в предыдущей статье, посвященной айтрекингу). Однако есть еще немало интересных и необычных подходов для изучения зрительного внимания человека.
Тепловой айтрекинг
В 2016 году вышла работа Wang et al., представляющая новую систему отслеживания движений глаз на базе метода инфракрасной термографии. Efron et al., (1989) показали, что край роговицы на 0,45° теплее ee центра, подобное открытие и легло в основу разработки теплового айтрекинга.
Wang et al., 2016 для валидизации своей системы зарегистрировали одновременно движения глаз методами видеоокулографии (Eye Link, 500 Гц) и термографии (60 Гц) у десяти испытуемых. Медианная ошибка проверки составила 1,4° по сравнению с EyeLink, что показывает хороший потенциал указанного метода для его дальнейшего применения.
Любопытно, что термография успешно применяется также для распознавания эмоционального состояния человека (например, см. Park et al., 2013) и частоты дыхания (например, см. Al-Khalidi et al., 2011). Таким образом, тепловой айтрекинг становится перспективной методикой для получения мультимодальных данных.
Коллективный айтрекинг
Исследование зрительного внимания большого количества людей в один момент времени — задача очень заманчивая. Однако ее осуществление, на первый взгляд, кажется непростым и дорогостоящим процессом (как минимум, уже на этапе закупки, отладки или создания оборудования с его последующей синхронизацией).
Shillcock, Wase (2015) предложили оригинальную методику для регистрации зрительного внимания толпы людей, для реализации которой потребуется только коробка ручек, пачка бумаги и собственный стимульный материал. Эксперимент успешно воспроизвели Bielecki et al. (2017) при исследовании зрительного внимания посетителей планетария с применением 16-метрового полусферического экрана.
Суть методики заключается в том, что презентация периодически, на краткий промежуток времени, прерывается слайдом с сеткой, в каждой из ячеек которой находится буква или какой-нибудь другой символ. Задача испытуемых – записать символ, который они только что увидели. Таким образом удается получить тепловые карты зрительного внимания всей аудитории в целом, что позволяет проанализировать его распределение у участников лекции не только в зависимости от ее содержания, но и от расположения отдельного участника в зале.
Конечно, данная методика не применима для «полевых» экспериментов, когда отсутствует стимульный материал в виде видео или изображений. Однако и для естественных условий эксперимента тоже нашлись свои хитрые решения.
Регистрация движений глаз в натуральных условиях
Изучение глазодвигательного поведения в максимально естественных, повседневных, бытовых условиях — мечта многих исследователей зрительного внимания. Если с задачей регистрации движений глаз в случае активных действий относительно неплохо могут справиться очки-айтрекеры (например, вот Роналдо пинает мячик в очках-трекере), то для качественного изучения глазодвигательного поведения во время социальных взаимодействий такой экспериментальный дизайн не подходит, так как зрительный контакт, мимика всего лица – важные элементы невербальной коммуникации. На сегодняшний день доступных софтовых айтрекеров, которые бы получали траекторию взора приблизительно такую же, как и при использовании айтрекеров-приборов, пока не существует (а вот наша команда как раз в процессе разработки и тестирования первого софтового айтрекера EyeCatcher, способного заменить полноценный лабораторный трекер).
Проект G3E сфокусирован на извлечении данных зрительного внимания человека из видео, но его инициаторы ушли от идеи получения траекторий взора в виде изменения координат положения зрачка и сосредоточили свое внимание на получении направления взгляда в контексте задачи определения того, смотрит ли испытуемый на собеседника или нет. Эта система разработана на базе алгоритмов предсказания положения взора в зависимости от положения головы (Ba, Odobez, 2006) и gaze appearance model (данная модель включает в себя связанные в пары изображения с положением глаза в орбите и соответствующим ему направлением взгляда) (Mora, Odobez, 2013). Кроме того, для улучшения функциональных параметров системы были использованы данные размеченного аннотаторами видео (Siegfried R., Odobez, 2017).
Аннотирование видео нашло свое применение не только как эффективный инструмент для повышения качества работы алгоритмов, но и как самостоятельная методика изучения движений глаз.
Так в исследовании зрительного внимания и стратегий поведения в течение карточной игры Campos et al., 2015 записали каждого из двух игроков на камеры. После чего видео было размечено двумя аннотаторами в программе ELAN по трем категориям: look-at-game, look-at-other и look-elsewhere, согласованность аннотаторов посчитали при помощи Cohen’s kappa и сопоставили получившиеся результаты со стратегиями поведения (кооперация, конкуренция и избегание игры). Получилось, что при мотивации к кооперации время, уделяемое на просмотр лица собеседника, ощутимо больше, равно как и взаимные зрительные контакты. При мотивации к конкуренции, напротив, наблюдаются короткие, но частые взгляды на лицо собеседника, вычленяется тенденция к избеганию зрительного контакта.
Jarik, Kingstone, 2015 в исследовании динамики взаимного зрительного контакта после игры в условиях кооперации и конкуренции тоже обращались к методу аннотирования видеозаписи (в этом исследовании, как и в предыдущем, участвовали два аннотатора). Здесь же у испытуемых после кооперативной игры длительность зрительных контактов была меньше, чаще прерывалась по сравнению с другой группой участников эксперимента.
Старые добрые контактные методы
В плане альтернатив методу видеоокулографии следует еще упомянуть контактные методы (с них-то весь айтрекинг и начинался!). По истории айтрекинга можно написать отдельную статью (жутковатые присоски, прикрепляемые к глазному яблоку, или, положим, описание механических регистраторов размером с целый стол, требуют обстоятельного текста с пояснениями), поэтому остановимся только на современном этапе развития этой группы методов. Среди активно используемых в наши дни контактных методов регистрации движения глаз стоит выделить электромагнитные айтрекеры и метод ЭОГ.
Ярким примером электромагнитных трекеров являются швейцарские айтрекеры Primelec, которые умеют регистрировать движения глаз с чрезвычайно большой точностью – 0,0002° и частотой дискретизации 8000 Гц. Принцип их работы построен на индукции электрического тока, вызываемой при движении металлического контура в магнитном поле. Подвижный элемент представляет собой кольцо с двумя расположенными внутри контурами индуктивности, которое надевается на глаз испытуемому, словно контактная линза (как сообщают очевидцы, процедура установки этой волшебной «линзы» не из приятных). С помощью таких приборов получается изучать различные особенности микродвижений глаз, в том числе и их изменения у космонавтов в невесомости.
Электроокулограмма (ЭОГ) — это метод регистрации электрической активности, возникающей при движении глаз. Поскольку роговица глаза имеет положительный заряд относительно сетчатки, это создает постоянный (корнеоретинальный) потенциал. При изменении положения глаза происходит корректировка этого потенциала. ЭОГ регистрируется электродами, которые устанавливаются около носового и височного угла глазной щели (для регистрации горизонтальных саккад), а также над бровью и под глазом — для регистрации вертикальных саккад. Этот метод до сих пор широко применяется в медицинской практике, порой в сочетании с методом ЭЭГ.
Рабочая группа Neurodata Lab по айтрекингу и зрительной сенсорной системе продолжает свою работу.
Ba.S.O., Odobez J.-M. A Study on visual focus of attention recognition from head pose in a meeting room. 2006. 3rd Joint Workshop on Multimodal Interaction and Related Machine Learning Algorithms (MLMI).
Bielecki M., Potega vel Zabik K., Gochna M., Mikulski J. Mass measurement of eye-movements under the dome — proof of concept studies. 2017. ECEM 2017 Program and Abstracts Eds. Radach R., Deubel H., Vorstius C., Hofmann M.J. P.121.
Campos J., Alves-Oliveira P., Paiva A. Looking for conflict: gaze dynamics in a dyadic Mixed-Motive Game. 2015. Auton. Agent. Multi-Agent. Syst. 30(1). P.112-135.
Efron N., Graeme Y., Brennan N.A. Ocular surface temperature. 1989. Current eye research 8(9). P.901-906.
Funes Mora, K. A., Odobez, J.-M. Person Independent 3D gaze estimation from remote RGBD cameras. 2013. In International conference on image processing. IEEE.
Park K. K., Suk H. W., Hwang H., Lee J. A functional analysis of deception detection of a mock crime using infrared thermal imaging and the concealed information test. 2013. Frontiers in Human Neuroscience 7(70). P.1 – 17.
Shillcock R., Wase C. Mass measurement of fixation behaviours and audience nature in a realistic educational setting. 2015. ECEM 2015 Program and Abstracts Eds. Ansorge U., Ditye T., Florack A., Leder H. P.66.
Siegfried R., Odobez J.-M. Supervised gaze bias correction for gaze coding in interactions. COGAIN Symposium Wuppertal, August 21st 2017.
Wang Q., Boccanfuso L., Li B., Ahn A.Y., Foster C.E., Orr M.P., Scassellati B., Shic F. Thermographic Eye Tracking. 2016. Conference paper: Proceedings of the Symposium on Eye Tracking Research and Applications.
Окутин О.Л., Окутина Г.Ю. Основные характеристики и возможности применения аппаратного оборудования Primelec для исследования микродвижений глаз (Отчет о посещении кафедры и лаборатории неврологии Клиники Цюрихского университета). 2011. Экспериментальная психология 4(3).
Автор материала:
Мария Константинова, научный сотрудник в Neurodata Lab, биолог, физиолог, специалист по зрительной сенсорной системе, окулографии и окуломоторике.
Автор: IgorLevin
