Фото david pacey / CC
3D- и VR-технологии охватывают все больше сфер. Самые популярные – это компьютерные игры и киноиндустрия. В одной из последних статей мы рассказывали о возможностях применения VR-технологий в киноиндустрии, а также говорили о 3D-звуке и его перспективах.
В этом материале вы узнаете об особенностях воспроизведения звука и музыки в VR, с какими проблемами сталкиваются аудиоспециалисты и как их можно решить.
«Реально то, что осознаешь»
Есть два способа передачи информации с помощью VR-технологий. В первом случае разработчики стремятся воссоздать картинку, максимально приближенную к реальности. Во втором – сгенерировать совершенно другой мир и атмосферу, создать иллюзию, в которой все происходящее логически связано.
Со вторым способом все просто: если обстановка, персонажи и их действия ненастоящие, значит, и законы этого мира отличаются от реальности. Гораздо сложнее воссоздать то, что само по себе реально. Трудность заключается в том, что в некоторых играх или видеосюжетах возникают странные моменты, которые «выдергивают» человеческое сознание из этой иллюзии.
Разработчикам игр и мультипликаторам знакома гипотеза, которая носит название эффекта «зловещей долины» (uncanny valley). Суть гипотезы в том, что персонаж, который выглядит или действует почти как человек, но все же немного от него отличается, вызывает у нас страх или неприязнь. Нечто похожее происходит и со звуком в VR.
В отличие от зрительного восприятия, определить, какой объект находится перед нами, на слух, гораздо сложнее. Узнать его приблизительные размеры и относительную дистанцию до него можно, только если объект издает звуки. Благодаря тому, что у нас есть богатый «слуховой» опыт восприятия мира, в виртуальной реальности сравнивает новую информацию с тем, что происходит с нами в действительности.
Человеческий голос в данном случае – наиболее «знакомый» для нас фактор: поэтому его наличие в звуковом оформлении игры заметно облегчает наше «слуховое погружение» в виртуальную реальность. Но голос, как и человекоподобный персонаж, подвержен эффекту «зловещей долины». Например, слишком высокая компрессия звука вызовет «недоверие» у нашего сознания.
Видео ниже помогает понять на что способен наш . Всю информацию о перемещении объектов получает только из звукового сигнала. Эту и следующие видеозаписи рекомендуется прослушивать в наушниках и с закрытыми глазами.
Звук в этом видео был создан с помощью метода бинауральной записи: она осуществляется через два микрофона, а итоговый фрагмент необходимо прослушивать в наушниках.
Помимо специального расположения микрофонов, в записи участвует либо манекен, имитирующий реальную голову, либо так называемый диск Джеклина (на фото ниже). Не путайте понятия «бинауральный» и «стерео». Обычная стереозапись не учитывает расстояние между ушами и отражение звука от головы и ушных раковин – факторы, влияющие на распространение звука.
В современных шлемах виртуальной реальности эти условия, к сожалению, не учитываются. Более того, такие компании, как Project Morpheus и HTC Vive, поставляют VR-шлемы без наушников, предлагая покупателям воспользоваться своей техникой. В комплекте Oculus Rift есть фирменные наушники, но и здесь предполагается замена на модель «более высокого качества».
У геймеров большой популярностью пользуются наушники с технологией Surround Sound 7.1. На сайте сообщества геймеров Kotaku проводилось голосование за лучшие игровые наушники. Самыми популярными моделями оказались беспроводные наушники Astro A50 и Logitech G930, поддерживающие эту технологию. Другими словами, само сообщество определило, что «высокое качество» подразумевает наличие эффекта объемного звучания.
Итак, бинауральное звучание отличается от стерео. Стерео (2.0), в свою очередь, отличается от объемного звука (7.1): Если для бинаурального и стереозвучания требуются специальные способы звукозаписи, то для того, чтобы добиться эффекта пространственного звучания, звук нужно проигрывать через большое количество источников звука. Именно за счет числа динамиков создается эффект погружения.
Однако для VR в первую очередь важно не погружение, а «реалистичность» звучания. Если бинауральную запись подвергнуть обработке через гарнитуры формата 7.1, то конечная запись вряд ли оправдает ожидания слушателя. Это значит, что стандартными методами эту проблему решить не удастся.
Главное – реалистичность
Чтобы добиться реалистичности звучания, нужно учитывать положение тела в пространстве, а также следить за взаимодействием с передаточной функцией головы (HRTF).
В VR у пользователя есть возможность перемещаться и совершать движения головой в любом направлении. Соответственно, если голова, а точнее уши, изменят свое положение, то входящий звуковой сигнал тоже должен измениться. Бинауральная запись может усилить эффект погружения в виртуальную реальность, подчеркнув глубину происходящих событий.
Помимо звуков, которые мы привыкли слышать – так называемых диегетических звуков, существуют также недиегетические звуки: мы не слышим их в повседневной жизни, но они могут быть частью компьютерной игры или фильма. Пример – фоновая музыка или речь повествователя.
В компьютерной игре нас не интересует, откуда исходит голос и музыка. Другое дело –виртуальная реальность. Чтобы вписать недиегетические звуки в виртуальный мир, необходимо использовать связующие объекты. К примеру, логично будет смотреться, если повествователь говорит по радио или в телефонную трубку.
Что касается музыки, то здесь возникают другие вопросы. Конечно, ее можно привязать к радиоприемнику, чтобы было понятно, откуда исходит звук. Но этого не достаточно: музыка, исходящая из него, будет звучать неравномерно.
Одно из возможных решений – применение динамической компрессии вместе с усилением нижних частот, вызывающие «эффект близости». На видео ниже Александр Джей Тернер (Alexander J Turner) подробно разбирает это явление. Оно тесно связано с устройством микрофона: чем ближе к нему говорящий, тем ярче на выходе нижние частоты и тем звук будет более насыщенным.
В играх зачастую используются композиции, записанные в студиях или других акустических пространствах. Эти пространства передают «живость» звучания благодаря тому, что звучание инструментов смешивается со звуковыми отражениями в помещении. Так, на концерте в консерватории не возникает ощущения, что музыка давит или вторгается в личное пространство. Наоборот, мы чувствуем, что она находится на расстоянии от нас.
Однако в VR не используются «слишком живые» записи: слушателю будет непонятно, откуда исходит звук. Альтернативным решением этой проблемы будет запись музыки в нейтральной среде с последующей обработкой, чтобы не нарушать органичность звучания. Также, возможно, стоит отказаться от стереозвучания и свести все к более центрированному звуку. Его можно немного сжать, а затем применить к нему настройки эквалайзера. Тогда музыка будет звучать так, будто она играет не «где-то там», а «у нас в голове».
Эффекта реалистичности можно также добиться за счет ненавязчивого акцента на окружающей ситуации. Например, в следующем видео чувствуется как визуальная, так и звуковая напряженность. Стоит отметить, что эффект от диегетических звуков в этой записи сильнее, чем от недиегетических, и больше акцента делается на обстановке, чем на звуке.
Еще один пример того же подхода. Всего несколько звуков создают нагнетающую и напряженную атмосферу.
Таким образом, звук, выверенный слишком чисто и аккуратно, может показаться искусственным. В то же время, даже если он «грязный», но создает реалистичную картину – с помощью дополнительных звуковых эффектов или динамичной окружающей среды – впечатление от прослушивания будет в разы сильнее.
Иными словами, не надо стремиться сделать звук идеальным. Нужно сделать его как можно реалистичнее, чтобы слушатель мог ощутить те эмоции, которые задумывал создатель того или иного произведения.
Мы постоянно разбираемся в новинках и просто изучаем интересные материалы о звуке. Совсем недавно мы начали готовить тематические дайджесты, пара примеров и других материалов по теме — по ссылкам ниже:
- Будущее VR-технологий в киноиндустрии
- «Сделай сам», интересное о звуке и аудиотехнологиях
- «Консервативный звук»: Обсуждаем Arslab и Penaudio
Автор: Аудиомания
