Развитие науки и технологий начитается в лабораториях и являются результатом непосильного труда ученых умов из самых разных отраслей науки. В последствии изобретения становятся либо постоянными жильцами лабораторий и используются для дальнейших исследований, либо становятся достоянием общественности, облегчая наш быт и досуг. Но иногда эти технологии возвращаются в лаборатории для весьма необычных тестов. Ученые из Университета Флиндерса (Австралия) решили использовать технологию виртуальной реальности на мелких животных, дабы лучше понять их поведение. Как ученые адаптировали VR под маленьких подопытных, какие параметры были изучены, и что нового удалось узнать? Ответы на эти вопросы мы найдем в докладе ученых.
Основа исследования
Многие животные используют визуальную информацию для управления быстрым и динамичным поведением. Такое поведение включает в себя стабилизацию курса и избегание препятствий во время навигации, возвращение домой, взаимодействие с представителями своего вида и избегание хищников. Такое поведение часто изучают в лабораторных условиях, поскольку это обеспечивает лучший контроль над пространством параметров. Однако недостатком таких экспериментов является то, что они часто настолько ограничены, что экологическая значимость ставится под сомнение. В качестве альтернативы визуальное поведение можно изучать в совершенно естественных условиях, то есть в полевых условиях. Хотя это создает неограниченное, натуралистичное поведение, отсутствие экспериментального контроля затрудняет механистический анализ.
Благодаря недавним техническим достижениям в области виртуальной реальности (VR от virtual reality), эти технологии стали более популярными для количественной оценки поведения. Они с большей вероятностью будут воспроизводить более натуралистичное визуальное поведение, при этом оставаясь достаточно ограниченными для предоставления высокодетализированных количественных оценок поведения. В VR действия ограниченного животного приводят к изменению отображаемого пейзажа, тем самым обеспечивая восприятие движения в симулируемом мире. Поскольку животное привязано и, таким образом, физически не перемещается в пространстве, наблюдение за животным и количественная оценка его реакций значительно упрощаются. Кроме того, поскольку визуальный мир генерируется компьютером, им легко манипулировать, и, таким образом, обеспечивается систематический контроль над пространством параметров, что облегчает идентификацию визуальных триггеров поведения.
Популярным способом проектирования виртуальной реальности для насекомых является использование замкнутых арены для полетов на привязи (специальной камеры, в которой испытуемое насекомое зафиксировано в одном положении). Первоначально полет с фиксацией использовал измеритель крутящего момента для количественной оценки поворотов вокруг вертикальной оси, что оказалось полезным для изучения, например, памяти и распознавания образов. Современные камеры для полетов с фиксацией часто используют разницу между максимальным углом опускания левого и правого крыла или амплитуду взмаха крыла (WBA от wing beat amplitude), которая тесно связана с крутящим моментом рыскания. Альтернативные подходы включают отслеживание брюшка моли с помощью оптических датчиков, поскольку движения брюшка следуют за асимметрией передних крыльев.
Однако эти подходы часто фокусируются на вращательном движении рыскания и не улавливают надлежащим образом поступательное движение. Это важно, поскольку летающие насекомые выполняют как вращательное, так и поступательное поведение, такое как движение вперед и боковое скольжение. Было разработано несколько новых арен VR для более свободно движущихся животных, и, таким образом, они включают поступательное движение. К ним относятся, например, TrackFly и FreemoVR, проверенные на данио-рерио, мухах и мышах, где визуальное окружение обновляется на основе текущего положения животного. Когда насекомые выполняют поступательное поведение, это генерирует 3D-сигналы. Такие 3D-сигналы движения предоставляются в FreemoVR, а также в более ранней VR, разработанной для ходящей дрозофилы с фиксированной головой. В этом контексте Antarium является интересной платформой VR, где привязанный муравей, идущий по поддерживаемому воздухом шару, контролирует как вращательное рыскание, так и поступательное движение через виртуальную среду, созданную на Unity. Аналогично, недавно разработанная мультисенсорная летная арена MultiMoVR позволяет как вращательное рыскание, так и прямое перемещение через виртуальную среду.
Для того чтобы VR обеспечивала полноценный опыт, важно замкнуть цикл с минимальными задержками. Интересно, однако, что дрозофила, идущая к высококонтрастным объектам в виртуальной реальности, может выдерживать задержки до 2 секунд, но это не было количественно определено для поведения других насекомых. Важно, что существует нижний предел задержек при использовании обычных камер и визуальных дисплеев, поскольку они имеют встроенные задержки, к которым трудно получить доступ. Кроме того, при использовании WBA для полета с фиксацией, по крайней мере, один полный взмах крыла должен быть захвачен каждым видеокадром, что приводит к минимальной задержке в один период взмаха крыла. При измерении поведения при ходьбе на трекболе движение мяча теоретически может быть записано на более высокой временной частоте. Однако на практике трекбол часто снимается на частоте ниже 200 Гц.
Как отмечают ученые, одной из целей разработки было объединение нескольких надежных и легкодоступных программных пакетов для создания гибкой виртуальной реальности с короткими задержками. В то время как MultiMoVR был разработан для снижения затрат и использует игровой движок Panda3D с открытым исходным кодом, он использует Kinefly для отслеживания движений крыльев, который чувствителен к настройкам камеры и колебаниям освещенности. Последние достижения в области машинного обучения, и особенно разработка DeepLabCut (DLC), предоставляют альтернативный, эффективный и надежный метод отслеживания WBA. Действительно, DLC произвел революцию в поведенческой нейронауке, поскольку позволяет оценивать позу без маркеров после обучения на относительно небольших наборах данных. К примеру, FicTrac, который часто используется для экспериментов с трекболом, использует программное обеспечение с открытым исходным кодом для реконструкции фиктивного пути животного, идущего по узорчатой сфере, снятого на USB-камеру.
В рассматриваемом нами сегодня труде ученые показывают, что цикл может быть эффективно замкнут с использованием Unity вместе с машинным зрением. Ученые использовали DLC-live для полета с фиксацией журчалок (Syrphidae) с задержками около 50 мс и FicTrac для экспериментов с трекболом на крабах с еще более короткими задержками. Ученые проверили связь DLC-live-Unity, позволив журчалкам перемещаться к цветам, и интеграцию FicTrac-Unity, изучая фиксированных крабов, уклоняющихся от виртуальных крабов или птиц. Также был разработан интерфейс редактора Unity, CAVE, который позволяет пользователю определять усиление между WBA и рысканием и тягой фиксированного аватара животного через виртуальный мир, а также предоставляет возможность разрабатывать эксперименты и сохранять данные с небольшим количеством кода или без него.
Подготовка к опытам
В арене полета с фиксацией (1a) каждый из трех мониторов охватывал 118° × 142° (ширина × высота) поля зрения. В арене с трекболом (2a) каждый из четырех мониторов охватывал 90° × 49° поля зрения.
Изображение №1
Для поведенческого тестирования конфигурации полета с фиксациейбыли использованы самки (Eristalis tenax) в возрасте 14–24 дней. Журчалка была привязана к игле (BD Microlance 23G × 1 1/4″–0.6×30 мм, синие иглы для подкожных инъекций) под углом 32° с помощью смеси пчелиного воска и смолы. Чтобы побудить журчалку летать, ученые обеспечивали поток воздуха вручную. Как только журчалка летала стабильно, ее прикрепляли к шприцу (BD туберкулиновый шприц, 1 мл) и помещали его в центр арены (1a, 1b) на расстоянии 10 см от центра каждого монитора. Поощрение полета осуществлялось использованием пустой сцены с текстурированной землей и выцветшим небом, вращающуюся с частотой 0.33 Гц в открытом цикле.
Изображение №2
Для поведенческого тестирования конфигурации трекбола использовался краб-скрипач (Gelasimus dumpieri). Во время эксперимента крабы были привязаны к скользящему стержню из углеродного волокна с помощью магнита, приклеенного к панцирю краба. Затем их помещали на полистироловый шар. При первоначальном размещении на трекболе крабы демонстрируют поведение «поджимания конечностей», при котором ноги и клешни находятся близко к телу. Крабы считались акклиматизированными после того, как они начинали ходить или питаться.
Делалось видео зафиксированных самцов и самок Eristalis tenax, реагирующих на стимулы открытого цикла в зоне полета с фиксацией (1a), включая синусоидальную решетку (длина волны 20°, 5 Гц), стимул звездного поля (рыскание со скоростью 50°/с) и полосу (ширина 3°, высота варьируется от 0.8° до 142°). Ученые использовали DeepLabCut (DLC) версии 2.3.3 для обучения модели для отслеживания грудной клетки и пикового угла опускания, также называемого амплитудой взмаха крыла (WBA), каждого крыла. Для этого ученые вручную пометили следующие шесть мест: тегула и кончик левого и правого крыла, передняя часть груди и передняя часть брюшка (1c) для 16 извлеченных видеокадров каждое из видео четырех отдельных животных (2 самцов, 2 самок). Эти кадры включали примеры вращения вокруг вертикальной оси, перемещения вперед и отсутствия полета. Модель DLC была обучена, используя 300 000 максимальных итераций. Оцененные ошибки обучения и тестирования составили 1.2 пикселя и 1.16 пикселя соответственно.
Полученная модель использовалась в версии 1 DLC-live для отслеживания тех же шести точек в реальном времени. Ученые количественно оценили способность DLC-live выполнять оценку позы без маркеров для каждого уникального кадра при разных разрешениях видео (1d), снимая с двумя пространственными разрешениями (240 × 320 пикселей и 480 × 640 пикселей) и тремя временными разрешениями (10, 60 и 100 Гц, все ниже частоты взмахов крыльев журчалок Eristalis). Количественная оценка времени между последовательными уникальными кадрами осуществлялась посредством анализа DLC-live, после чего было выполнено преобразование его во временную частоту.
Видео №1
В конфигурации FicTrac-Unity краб был прикреплен к магнитному тросу, что позволяло ему свободно вращаться вдоль оси рыскания (2a). Вращение мяча в радианах, полученное из видеозаписи (видео №1), умноженное на радиус мяча, использовалось для обновления бокового скольжения и движения вперед аватара краба в виртуальном мире, созданном на Unity. Дрожание от шума отслеживания мяча FicTrac было уменьшено путем подавления движений ниже минимального расстояния с течением времени. Таким образом, положение аватара обновлялось только в том случае, если положение изменялось не менее чем на 0.1 см, что определялось визуально во время предварительного тестирования. Быстрое, случайное движение от ошибки отслеживания было аналогичным образом ограничено путем подавления движений выше максимального расстояния, где положение аватара в каждом кадре линейно интерполировалось в новое положение с максимальной скоростью 80 см/с. Поскольку ошибки FicTrac не являются кумулятивными, эти корректировки не повлияли на общую точность отслеживания. Эти отфильтрованные положения находятся в файлах журнала Unity, а необработанные значения отслеживания находятся в файлах журнала FicTrac. Видео были сняты с разрешением 544 × 638 пикселей при 60 Гц.
Изображение №3
В конфигурации DLC-live-Unity ученые использовали x-y-координаты шести точек, отслеживаемых в каждом кадре (1c), для расчета WBA и результирующих значений рыскания и тяги для контроллера аватара на основе информации об усилении из менеджера настроек, доступного в интерфейсе CAVE (схема выше).
В обоих случаях использовались сокеты UDP для получения координат x-y точек, отслеживаемых DLC-live, и их достоверности или вращения вперед и вбок мяча, предоставленного FicTrac (синий на схеме). После получения пакета скрипт C#, отвечающий за управление аватаром зафиксированного животного, обновляет его вращение и/или положение (зеленый на схеме), а требуемый основной поток обновляется с частотой обновления монитора (60 Гц для крабов, 165 Гц для журчалок; 1a и 2a). В конфигурации полета с фиксацией мониторы стимулов отображались с частотой 165 Гц, а видео снималось с частотой 100 Гц. Если не было нового пакета DLC-live, аватар продолжал выполнять тягу и рыскание, как определено предыдущим пакетом.
В CAVE менеджер объектов интереса (OOI от object of interest) отслеживает состояния объектов интереса, такие как расстояние до аватара фиксированного животного (пунктирная линия на схеме). Менеджер испытаний используется для определения испытаний, которые содержат компонент замкнутого цикла, окруженный интервалами до и после стимула в открытом цикле. Менеджер последовательностей используется для объединения испытаний и определения стимула открытого цикла, показанного между ними.
Для поведенческого тестирования конфигурации трекбола ученые подвергли шесть крабов-скрипачей (Gelasimus dumpieri) воздействию двух виртуальных объектов: краба, идущего по земле, и летящей птицы. Виртуальный краб был помещен около невидимой норы в 30 см от аватара зафиксированного краба. Норы обычно не видны с расстояния более 10–15 см из-за неровностей поверхности илистой поверхности. Нора была расположена в центре одного из четырех мониторов. Виртуальный краб двигался циклически на расстоянии 10 см, а затем возвращался в нору, проводя 9–12 секунд внутри норы и 21–35 секунд над ней, в зависимости от скорости движения. Направление и скорость движения (0.75–1.25 см/с) были случайными. Между циклами виртуальный краб ненадолго спускался в нору.
Виртуальная птица, представленная черной сферой диаметром 3 см, случайным образом появлялась на одном из четырех окружающих мониторов, а виртуальный краб случайным образом располагался либо слева, либо справа от птицы. Птица могла двигаться тремя различными способами, но всегда начинала движение в 200 см от аватара и на 15° выше визуального горизонта аватара (2b). Во время (1) «угрожающего» состояния виртуальная птица приближалась к крабу по прямой со скоростью 19/9 см/с от начальной позиции и прекращала движение на виртуальном расстоянии 1/5 см от позиции аватара краба в начале движения. В двух «неугрожающих» состояниях птица была либо (2) неподвижна в начальной позиции, либо (3) двигалась вперед и назад по дуге 30° вокруг начальной позиции, не приближаясь.
Эти стимулы отображались либо в открытом, либо в закрытом цикле. В открытом цикле движения крабов не влияли на появление виртуальных стимулов на мониторе, тогда как в закрытом цикле визуальная сцена корректировалась на основе положения крабов в сцене. Каждое испытание длилось 60 секунд. И виртуальный краб, и птица были неподвижны в начале. Через 5 секунд птица начала двигаться, и она продолжала двигаться в течение 12 секунд. Чтобы обеспечить достаточное время восстановления, между последовательными испытаниями была пауза не менее 5 минут. Было проведено шесть испытаний для каждого краба, представляя каждое условие движения птицы с виртуальными крабами, расположенными как с левой, так и с правой стороны. Порядок этих испытаний был рандомизирован с использованием латинских квадратов 3 × 3, чтобы предотвратить смещение порядка.
Для поведенческой проверки полета с фиксацией ученые использовали цветочную сцену с двумя растениями одуванчика, размещенными на равном расстоянии 45° и 2 м от стартовой позиции журчалки на текстурированной плоскости земли с небом. Каждое растение было приблизительно 20 см в высоту и имело 20 см в диаметре с листьями. Был использован критерий близости для завершения каждого испытания, определяемый как трехмерная сфера радиусом 40 см вокруг любого одуванчика, поддерживаемая в течение как минимум 1 секунды. Аватар журчалки был запрограммирован на полет на высоте 30 см над землей. На этой высоте радиус близости в горизонтальной плоскости составляет 26 см. Каждое испытание имело максимальную продолжительность 30 секунд. В качестве контроля использовалась пустая сцена без одуванчиков, но с той же текстурированной плоскостью земли и небом и длительностью 30 секунд. Для шести самок были проведены контрольные (C от control) и «одуванчиковые» (D от dandelion) испытания в следующем порядке: C-C-C-C-C-D-D-D-D-D-C-C-D-D-D-D-D-C-C-D-D-D-D-D-C-C-D-D-D-D-D-D-C. Первые шесть контрольных испытаний использовались для анализа данных, тогда как перемежающиеся контрольные испытания использовались для контроля обучения и усталости. Между каждым испытанием демонстрировалась пустая сцена, вращающаяся с частотой 0.33 Гц в открытом цикле. Испытания, в которых журчалка прекращала полет, исключались из дальнейшего анализа.
Разница WBA (WBAD, определяемую как |WBALeft − WBARight|) и сумму WBA (WBAS, определяемую как WBALeft + WBARight) была извлечена из файла DLC-data.csv. Извлечение данных о рыскании и положении аватара, было выполнено с помощью координаты поворота по оси y и координат x-z, указанных в файле Transform.csv. Эти файлы автоматически сохранялись в CAVE.
Для определения времени замыкания цикла DLC-live-Unity ученые использовали видео с маленьким белым квадратом, меняющим положение каждые 0.5 секунды. Изменение положения было связано с большим квадратом, чередующимся между белым и черным, на котором был размещен фотодиод. DLC-модель была обучена отслеживать изменение положения маленького квадрата. Используя опцию CAVE «тест задержки», движущийся маленький квадрат привел к соответствующему изменению с черного на белый на мониторе стимула, которое записывалось с помощью второго фотодиода, оба на частоте 10 кГц. Чтобы определить эффект использования редактора Unity для CAVE, ученые разработали упрощенную версию и сравнили задержку при отображении стимулов из редактора и при отображении стимулов из скомпилированной версии.
Кроме того, были извлечены данные, представленные в файле CAVE DLC-Data.csv. Время между каждым обновлением видеокадра определялось как разница между последовательными уникальными экземплярами «Time Frame was Captured». Время, необходимое DLC-live для выполнения оценки позы, указано в столбце «DLC_Latency» в файле DLC-Data.csv. Чтобы количественно оценить время, необходимое Unity для расчета WBA и необходимого обновления сцены, ученые использовали следующее уравнение, основанное на информации из файла DLC-Data.csv (автоматически сохраненного в CAVE):
Unitytime = FrameCreated − Time Frame was Captured − DLC_ Latency
Время замыкания цикла FicTrac-Unity было количественно оценено с помощью зеркала и камеры, что позволило одновременно записывать движения мяча и последующие обновления монитора вертикальной линии. Ученые использовали взаимную корреляцию между положением пикселя вертикальной линии на мониторе, отраженным зеркалом, и вращением мяча по оси x от FicTrac для оценки задержки. Видео записывалось с частотой 60 Гц, что давало разрешение 16.7 мс.
Результаты исследования
Изображение №4
Для тестирования замкнутого цикла FicTrac-Unity ученые использовали зафиксированных крабов-скрипачей, ходящих по трекболу, и сравнили их реакции на виртуального краба и птицу в замкнутом и открытом цикле. В обоих сценариях с открытым и закрытым циклом было обнаружено, что аватары фиксированных крабов убегали значительно дальше от птицы, когда она приближалась (4a, 4e; красный на 4d). Быстро движущаяся природа приближающейся виртуальной птицы снижала важность обратной связи, и не было никакой разницы в том, насколько далеко крабы убегали от приближающейся птицы между открытым и закрытым циклом.
Однако реакция на виртуального краба различалась между открытым и закрытым цикле. В закрытом цикле (4a–4c) попытка экспериментального краба отойти от виртуального краба приводила к тому, что виртуальный краб визуально удалялся вдаль, точно воспроизводя динамику неподвижного объекта в окружающей среде. Напротив, в открытом цикле зафиксированные крабы не могли увеличить расстояние до виртуального краба, который, таким образом, как будто бы следовал за ними по мере их движения (4e–4h). Следовательно, в открытом контуре подопытные крабы убегали примерно в два раза дальше от виртуального краба (4h), независимо от поведения виртуальной птицы. Действительно, подопытные крабы отходили от виртуального краба, даже когда возникла большая угроза в виде приближающейся птицы (4e). Эти данные свидетельствуют о том, что эксперименты с замкнутым циклом предлагают более точную симуляцию неугрожающих стимулов.
Изображение №5
Для опытов с фиксированным полетом шесть точек (1c) использовались для расчета амплитуды взмаха левого и правого крыла (WBAL и WBAR; 5a, 5e) относительно продольной оси (черная линия на 5a, 5e). Ученые отмечают, что важно, чтобы DLC-live надежно отслеживал две точки, лежащие в основе продольной оси, поскольку это используется в качестве наземной истины. Ученые предположили, что если одно крыло имеет больший WBA, чем другое (5a), это представляет собой попытку поворота вокруг вертикальной оси в противоположном направлении. Ученые разработали пользовательский интерфейс редактора Unity для полета с фиксацией, названный CAVE. В менеджере настроек CAVE пользователь может определить взаимосвязь между разницей WBA (WBAD, определяемой как |WBAL − WBAR|) и результирующим рысканием (5b), которая представляет неотъемлемый компромисс между маневренностью и устойчивостью. Например, если усиление высокое, насекомое может быстро поворачиваться, но это может привести к спиральному полету. Если пользователь хочет, чтобы WBAD выше или ниже определенного значения меньше влиял на результирующее рыскание, можно использовать настройку переменной (5c, 5d).
Сумма левого и правого WBA (WBAS; 5e) использовалась для определения тяги вперед зафиксированного животного-аватара как линейной (5f) или переменной (5h) зависимости. В качестве альтернативы тяга может быть постоянной (5g). Прирост между WBA и движением аватара должен в идеале воспроизводить динамику полета исследуемого вида, чтобы обеспечить натуралистичное поведение.
Видео №2
Для проверки того, что CAVE правильно выполняет расчеты рыскания и тяги для движения аватара в виртуальном мире, ученые создали видео (видео №2), в котором они варьировали WBAL и WBAR насекомого (5a, 5e). Графики показывают результирующие WBAD (5ii) и WBAS (5ji) как функцию времени. WBAD и WBAS, извлеченные CAVE (5i, 5jii), а также результирующие рыскание (5iiii) и прямая тяга (5jiii) аватара после использования линейных настроек, описанных выше (5b, 5f), подтверждают, что это было сделано правильно. Полученная траектория, видимая сверху (5k), подчеркивает, что из-за несоответствия частоты дискретизации входного видео (100 Гц) и частоты обновления мониторов (165 Гц) положения аватара не всегда равномерно распределены (вставка на 5k).
Изображение №6
CAVE предоставляет пользовательский интерфейс для проектирования экспериментов. Перед каждым экспериментом пользователь выбирает сцену и заполняет ее объектами (6a). Их можно масштабировать по желанию (здесь масштабирование до одинакового размера; 7a, 7b) и определять как объекты интереса (OOI; 6a), такие как неподвижный цветок (желтый и красный на 7a, 7b) или движущееся насекомое или хищник (коричневый и черный на 7a, 7b). Пользователь определяет начальное поведение OOI, поведение встречи и определяет встречу (6a). Например, цветок может появиться, когда аватар зафиксированного животного находится на определенном расстоянии, или хищник может следовать за движением аватара с определенной скоростью.
Изображение №7
Затем пользователь создает испытание, которое сопровождается определенными открытыми циклами времени до и после стимула (6b и 7c), которые можно использовать, например, для приучения насекомого к виртуальному окружению или для побуждения его летать с помощью оптомоторной реакции. Испытания сочетаются с вмешательствами, например, для перемещения OOI в новое место, если аватар животного находится на определенном расстоянии (6b). Каждое испытание заканчивается, когда выполняется критерий близости или по истечении фиксированной продолжительности.
Испытания можно объединить в последовательность (6c). Используя интерполяции, OOI можно, например, разместить на трех равноудаленных расстояниях внутри испытаний последовательности (цветок; 7c). Несколько последовательностей можно объединить перед экспериментом (7d). Пользователь определяет, что происходит между последовательностями, в этом примере это вращение открытого цикла (7d). Этот стимул открытого цикла заканчивается, когда пользователь нажимает кнопку «Next», чтобы инициировать следующую последовательность.
Во время эксперимента (6e) данные каждого испытания непрерывно сохраняются в виде списков. Когда испытание заканчивается, самые последние списки сохраняются в виде файлов CSV (6f), а предыдущие списки очищаются для экономии памяти. Файлы Sequence и Trial содержат все экспериментальные настройки, описанные выше. Файл DLC-Data содержит покадровые данные из DLC-live (6f). Файлы Transform содержат данные о вращении и положении для аватара журчалки (используется, например, на 5k), а также для каждого OOI. Это будет, например, включать данные о положении и вращении для динамических OOI (7d).
Изображение №8
Чтобы проверить, перемещаются ли журчалки в контролируемой CAVE виртуальной реальности, ученые использовали пустую сцену (7a без OOI), а также сцену с двумя OOI, каждый из которых был желтым одуванчиком (8a, 8b). Были использованы линейные настройки для рыскания и тяги (5b, 5f). Было обнаружено, что аватары журчалок летели к желтым одуванчикам со средним показателем близости 0.25 (темно-розовый на 8b, 8c; видео №3). При несоблюдении критерия близости испытания длились 30 секунд (например, бледно-розовый на 8b). В контрольной пустой сцене без одуванчиков после эксперимента проводился анализ, соответствовали ли журчалки критерию близости (закрашенный круг, темно-зеленый на 8a). Была установлена медианная скорость близости 0.1667 (8c).
Видео №3
Затем было количественно определено минимальное расстояние до одуванчика или его соответствующей позиции в пустой сцене из каждого испытания. Оказалось, что расстояние было значительно меньше, когда одуванчики присутствовали (0.44 ± 1.8 м) по сравнению с тем, когда их не было (0.77 ± 1.8 м; 8d). Длина пути в каждом испытании также была определена как функция продолжительности испытания. Было установлено, что она прямо пропорциональна продолжительности испытания (8e), что указывает на то, что журчалки не изменяли существенно скорость своего полета.
Затем ученые изучили положение аватара журчалки через 5 секунд после каждого испытания. Качественный анализ данных показывает, что в испытаниях с одуванчиками журчалки были ближе к ним (розовый на 8f) по сравнению с их соответствующим местоположением в пустой сцене (зеленый на 8f). Ученые количественно оценили это, определив местоположение журчалок в первые 5 секунд каждого испытания в пределах концентрических кругов с увеличивающимся диаметром 0.2 м (8f). Количественная оценка пути показала значения 0.43 ± 2.4 в контрольных испытаниях и 0.51 ± 5.5 в испытаниях с одуванчиками (розовый против зеленого на 8g). В совокупности (8a–8g) это говорит о том, что журчалки направлялись к цветам, когда они присутствовали, по сравнению с их соответствующими местоположениями в пустой контрольной сцене.
Чтобы проверить, отличались ли полеты при срабатывании критерия близости по сравнению с тем, когда он не срабатывал (бледно-розовый против темно-розового на 8b, 8d–8g), ученые рассмотрели испытания с одуванчиками. Ожидалось, что траектории будут прямее, если полет к цветам будет направленным. Было обнаружено, что траектории будут значительно прямее, когда критерий близости будет срабатывать, по сравнению с тем, когда нет (8h). Это говорит о том, что журчалки выполняли направленный полет к виртуальным одуванчикам при срабатывании настройки близости.
Изображение №9
Затем ученые исследовали, сколько времени занимает каждый шаг в процессе замыкания цикла полета с фиксацией (1a и 9a). Используя данные DLC-live, представленные в файле DLC-Data (6f), ученые извлекли время между каждым новым обновлением кадра с видеокамеры. Поскольку камера снимала с частотой 100 Гц, ожидалось, что это будет 10 мс. Однако было обнаружено, что 14% кадров имели задержку 20 мс, а 0.8% — задержку 30 мс (11.5 ± 3.8 мс; 9b). DLC-live потребовалось 15.9 ± 3.4 мс (9b), чтобы выполнить оценку позы без маркеров по шести точкам (1c). Unity использовала 3.7 ± 2.0 мс для расчета WBA и результирующих движений рыскания и тяги аватара.
Затем было измерено время, необходимое для замыкания цикла, от «журчалки» до мониторов (синий на 9a), используя фотодиоды. Было обнаружено, что оно составляет 47.6 ± 7.1 мс (9a, 9b), что больше суммы трех других компонентов. Это говорит о том, что видеокамера не сразу отправляет каждый кадр в DLC-live, что существует задержка между отрисовкой кадра Unity и его отображением на мониторах, или комбинация этих двух факторов (звезды на 9a). Поскольку CAVE предназначен для работы в редакторе, что может приводить к задержкам, ученые количественно оценили задержку уменьшенной версии и обнаружили, что скомпилированная версия была значительно быстрее (35.5 ± 5.2 мс против 47.6 ± 6.6 мс; 9c). Однако отслеживание большего количества точек, показ видео DLC-live на мониторе или одновременная запись видео не сделали процесс медленнее (9d).
Также ученые измерили время, необходимое для замыкания цикла Fictrac-Unity, используя видеозапись с частотой 60 Гц. Пик в кросс-корреляции между положением пикселя вертикальной линии на мониторе и вращением шара по соответствующей оси от FicTrac был одиночным кадром. Учитывая временное разрешение 16.7 мс при записи с частотой 60 Гц, это означает, что цикл был эффективно замкнут в течение одного-двух кадров, то есть в течение 16.7–33.3 мс.
Для более детального ознакомления с нюансами исследования рекомендую заглянуть в доклад ученых.
Эпилог
В рассмотренном нами сегодня труде ученые, дабы лучше понять аэродинамические особенности и моторику летающих насекомых и других мелких животных, решили использовать виртуальную реальность.
Группа ученых разработала программное обеспечение на базе Unity, которое создает виртуальную реальность для оценки перемещения подопытного животного. Используя алгоритмы машинного обучения и компьютерного зрения, ученые смогли наблюдать за животными, что позволило лучше понять их поведение в определенных сценариях: полет журчалки до цветка или маневры краба-скрипача, избегающего виртуальной птицы, летящей над головой. Далее программа адаптирует визуальную сцену в соответствии с производимыми животными движениями.
Важность данной разработки заключается в ее универсальности. Дело в том, что для более контролируемых опытов и, следовательно, более точно количественно оцениваемых результатов необходимо проводить подобные наблюдения в условиях лаборатории. Однако они не будут давать реальную картину. То есть требуются полевые испытания в условиях природной среды, однако такие опыты дают сложно оцениваемые результаты. Использование виртуальной реальности позволяет получить как контроль над средой эксперимента и ее параметрами, так и более природные ответы подопытных на стимулы, т. е. более реалистичные результаты.
Как отмечают сами ученых, их творение позволит с большей точностью определять какие триггеры (стимулы) влияют на те или иные поведенческие реакции животных. В будущем ученые намерены использовать свою программу для оценки и механизмов, лежащих в основе принятия решений у насекомых.
Немного рекламы
Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).
Dell R730xd в 2 раза дешевле в дата-центре Maincubes Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?
Автор: Dmytro_Kikot
