Почему от 3D болит голова – Часть 5: Геометрические искажения в стерео

S3D: No pain IS gain

Это пятая статья цикла, и речь у нас сегодня пойдет про геометрические искажения. Очень частая ситуация, когда человек покупает дешевый стереориг, радостно начинает снимать и сталкивается с тем, что у него не получается снять так, чтобы у зрителей не болела голова. Причем когда наш начинающий оператор глубже погружается в предмет — выясняется, что казалось простыми дешевыми камерами не обойтись. Почему так получается? Зачем нужны дорогие камеры? Можно ли как-то обойтись без них? Почему даже при использовании дорогих камер проблемные (в плане геометрических искажений) сцены попадают в 3D-фильмы? В каких фильмах в кинотеатрах больше всего таких сцен? Как меняется ситуация по годам? Какова ситуация для низкобюджетных и высокобюджетных фильмов? И, наконец, в каких ситуациях (в плане геометрии) можно исправить проблемно снятое на личный утюг стерео?

---

Краткий экскурс в устройство стереоригов

С точки зрения непрофессионала снимать стерео очень просто. Все, что нужно сделать, это взять две камеры, купить переходник, который позволяет закрепить на штативе рядом не одну камеру, а две и… вуаля, мы можем снимать стерео:

Подобные переходники, если покупать на всемирно известном AliExpress стоят от 100 USD, в их названии есть слово Professional (это самое главное для начинающего), дома есть телевизор, который показывает 3D. Главный расход — это на вторую такую же камеру. Счастье близко, как никогда.

Однако вскоре, как вы догадываетесь, начинается суровая реальность.

Как вы помните — я регулярно привожу в пример стереофестиваль, который собирает самые разные фильмы, начиная от очень профессиональных и заканчивая любительскими. В результате от просмотров конкурсной программы голова начинает болеть фактически у 100% зрителей, поскольку… Впрочем, по порядку.

Итак, геометрические искажения… Пусть мы снимаем самым дешевым стереоригом, где две камеры расположены рядом — он называется “side-by-side stereo rig”.

В кино по законам жанра операторского искусства нужно регулярно чередовать крупный план (например, лицо актера), средний план и общий план (вся сцена). Когда мы в реальности, находясь близко от человека, смотрим на его лицо, оно заметно искажается. Допустим, нам по сюжету надо снять диалог и надо показать крупным планом лицо второстепенного персонажа, которое видит главный герой, со всей гаммой эмоций на нем. И снять все надо в стерео. И тут выясняется, что поставить стереориг с соответствующими объективами, например, в метре от актрисы мы не можем. Наши камеры настолько большие, что могут стоять только на заметном расстоянии друг от друга. А это с небольшого расстояния сразу дает “конские” параллаксы (вы можете сами посчитать, там вполне посильная геометрия, подробнее про это было в четвертой части цикла).

В свое время, когда Альфреду Хичкоку в 1954 году в довольно удачном в плане стерео фильме “Dial M for Murder” (“В случае убийства набирайте «М»”) потребовался крупный план с телефоном, специально для съемок был сделан макет:

Как пишут журналисты “Для съёмок телефона крупным планом были построены большие макеты пальца и телефона, так как камера не могла сфокусироваться на обычном телефоне” (текст из Википедии, но журналисты обычно объясняют на том же уровне понимания предмета ;). Естественно поставить правильные объективы и снять крупным планом телефон в те годы было можно. Но вот избежать при этом неприемлемых и болезненно воспринимаемых в стерео геометрических искажений было нельзя. В итоге для получения качественных планов было проще сделать большие макеты, чем маленькие камеры и объективы. И это было сделано. С точки зрения любителей такие расходы — лишняя трата времени и сил, с точки зрения профессионала — оптимальный по затратам (на то время) способ снять комфортное стерео. Давайте разбираться почему.

Но ведь мы можем поставить телеобъективы и снять все с большего расстояния? Тогда и углы и параллаксы будут в разумных пределах! Да, можем, но тут вмешиваются минимум четыре фактора. Во-первых, когда мы смотрим близко — то, например, лицо заметно искажается:

Лицо девочки снято разными объективами с разного расстояния, при этом хорошо видно, что лицо снятое крупным планом искажается, в том числе обратите внимание на то, как видны уши
^{Источник картинки: http://lens-club.ru/public/files/users/image/portretc.jpg}

Это искажение лица воспринимается совершенно нормально. Ведь мы рядом с человеком, а его лицо объемно, так и должно быть думает наш мозг. У нашего незадачливого оператора, купившего самый дешевый риг, нет других вариантов, кроме как снимать крупный план с расстояния, намного больше, чем при реальном разговоре. Из-за этого, во-первых, мы внезапно начинаем видеть, например, уши совсем не так, как мы их видим в реальности. В примере выше, обратите внимание, на первом фото мы ушей практически не видим, на втором и третьем они заметно “прижаты” и только на последнем — заметно “отходят”. При том, что у девочки их угол, конечно, один и тот же. В итоге подобный крупный план, снятый с некоторого расстояния воспринимается странно — вроде что-то неестественно, но сразу непонятно, что именно. Во-вторых, и это тоже видно, лицо становится “плоским”. Т.е. да, мы видим, что лицо на переднем плане, а фон где-то дальше, но разница в параллаксе, например, для носа и для ушей — пропадает. Лицо становится “картонкой” (что называют “cardboard effect”) или, что очень близко, “эффект кулисности” (желающие могут найти более подробные статьи на эту тему в интернете). Этот эффект также воспринимается как “странное стерео”, которое несколько дискомфортно, но непонятно, от чего именно.

Но и это не все. В-третьих, когда мы с большого расстояния будем пытаться снимать крупный план — фон также заметно исказится, за счет того, что будет неестественно увеличен. Идея искажения хорошо продемонстрирована на этом примере:

И опять это не все. В-четвертых, снимая крупный план стереоригом, камеры которого находятся по осям заметно дальше, чем глаза, начинающие операторы часто вынуждены сводить вместе оптические оси камер. То есть снимать не на параллельных, а на конвергентных осях. Пользоваться этим можно, но нужно уметь это делать грамотно (что нетривиально). Обсуждение деталей выходит за границы данной статьи, скажем только, что, снимая на конвергированных осях крупный план, мы фактически обречены на вертикальный параллакс и достаточно неприятные искажения формы объектов в изображении:

При съемках на конвергированных осях мы обречены получать вертикальный параллакс и искажения формы объектов в изображении. При этом, воспринимаемая в жизни нормально картинка (поскольку мозг умеет компенсировать подобные искажения), будет смотреться дискомфортно в кинотеатре. Эффект можно серьезно уменьшить, но для этого надо хорошо осознавать особенности геометрии снимаемой сцены и масштабы проблем, которые вы получите после съемки. Материал, снятый на параллельных осях, также нужно сводить на стадии post-production, но это делается просто, в отличие от съемки на конвертированных осях (примеры будут в конце статьи).
^{Источник картинки: http://really.ru/forum/26.html?p=26579}

Возможно ли в принципе технически снимать крупными объективами так, будто снимаете с небольшого расстояния? Ответ: Конечно, можно. Решение — это так называемые бим-сплиттеры (“beam splitter stereo rig”), которые сегодня являются, пожалуй, самыми массовыми на съемочных площадках. Их идея крайне проста: одна камера ставится как обычно, а вторая — сверху или снизу, световые лучи для которой отражаются от полупрозрачного зеркала:

Схематичное устройство бим-сплиттера.

Простой стереориг бим-сплиттер с камерами Sony, вторая камера снизу
^{Источник: http://www.urbanfox.tv/production/p17-3dMasters2010.htm}

Основное преимущество, которое мы получаем, используя стереориги такого типа — возможность устанавливать любое расстояние между объективами, в том числе меньшее, чем диаметр самих объективов, вплоть до нулевого:

На фото хорошо видно, что расстояние между центрами объективов не только меньше толщины камеры, но и меньше диаметра объектива. При этом оптические оси камер могут быть строго параллельны, что уменьшает степень искажений и снижает дискомфорт итогового стерео.
^{Источник: http://www.urbanfox.tv/production/p17-3dMasters2010.htm}

С помощью такого рига мы можем снимать крупный план вплоть до макросъемки. Причем бим-сплиттеры оказались настолько удобны, что ими сегодня снимают не только крупный, но и средний и общий планы. Фактически, они стали основными рабочими лошадками на современной съемочной площадке:

Навороченный бим-сплиттер, вторая камера сверху
^{Источник: https://library.creativecow.net/articles/kaufman_debra/Flying-Monsters-3D/assets/DSC_0798.jpg}

Естественно, у любой медали две стороны, и помимо плюсов у стереоригов бим-сплиттеров есть и минусы. По факту, минусы не перевешивают основного плюса, но… минусы по пунктам:

• Настраивать поворот и наклон камеры на бим-сплиттерах сложнее, чем на side-by-side стереоригах.
• Для стереоригов обеспечить одинаковые цвета в правом и левом ракурсе — это проблема. Дело в том, что на практике отличаются объективы, отличаются матрицы камер, отличаются казалось бы одинаковые настройки, отличаются светофильтры и т.д. Более того — когда камера нагревается, у нее изменяются цвета (такова реальность). В этом плане бим-сплиттеры, например, обречены на то, что камеры нагреваются заведомо неодинаково.
• На зеркале оседает пыль (особенно, если снимают взрывы), оно вибрирует, и, наконец, зеркало поляризует свет. В итоге у одной камеры свет не поляризован, а у второй — поляризован. Это сказывается на цветах бликов и не только. Подробнее про это будет в следующей статье цикла.

И это неполный список. Например, в некоторых ситуациях (съемка в автомобиле, съемка из подводного бокса) сильно мешают габариты бим-сплиттеров и так далее, и тому подобное.

Съемки на бим-сплиттер “Transformers: Age of Extinction”, вторая камера находится внизу, что, кстати, уменьшает количество садящейся на зеркало пыли от взрывов. Сложность таких сцен в том, что зеркало от вибраций взрывов дрожит, серьезно искажая геометрию сцены. Более того — при сильных близких взрывах звуковая волна изгибает само зеркало, что приводит к нетривиальным геометрическим искажениям сцены
^{Источник: http://www.3alitytechnica.com/}

Одним из участников конкурсной программы стереофестиваля 2014 года был фильм “БМПТ Терминатор” (Боевая Машина Поддержки Танков). Автор фильма рассказывал, что для них было большой проблемой снять крупный план выстрела на стерео. У них даже был бим-сплиттер (что все еще редкость для наших авторов). Но когда “Терминатор” стрелял, ударной звуковой волной зеркало так искривлялось, что отраженный ракурс становился совершенно непригоден для использования. Т.е. звуковая волна выстрела “Терминатора” была слишком сильна для упругого стекла зеркала стереорига. Крупные студии в таком случае применяют конвертацию, причем поскольку у авторов было стерео до выстрела, то построить из него карту диспаритета и протянуть ее на следующие кадры современные технологии позволяют, с оговоркой, что технологий нужно несколько и быстро это делается только обученными людьми. По этим причинам такие вещи доступны только для более-менее крупных студий, где есть соответствующие специалисты и софт.

Отдельная интересная тема, которую стоит хоть кратко упомянуть в связи с качеством, это вещание в стерео. Как вы уже поняли, сложность камер возросла, соответственно усложнилась их настройка. Это привело к тому, что часто контролируются лишь базовые параметры, а основное исправление проблем происходит в off-line на пост-обработке. Поскольку наиболее качественные алгоритмы исправления сегодня довольно медленны, а исправить все проблемы при съемке по факту невозможно, и часть проблем все равно остается, это действительно приводит к тому, что финальный результат получается более качественным. Но у такого подхода три серьезных минуса. Во-первых, становится невозможно использовать соответствующие камеры для вещания. Они просто не в состоянии снять стерео с качеством, достаточным для того, чтобы от него не болела голова, и отдать его в эфир (что, безусловно, сказалось на популярности стереоканалов, в первую очередь из-за сложностей с прямым эфиром качественного спортивного контента). А во-вторых, заметно возрастает время между съемкой и получением итогового материала. И, наконец, в третьих, какая-то (обычно небольшая) часть проблем при съемке оказывается настолько серьезными, что качественно исправить их на post-production нельзя. В общем, как вы понимаете, сплошные компромиссы, и в процессе постоянно приходится выбирать наименьшее из зол.

Альтернативный подход, который реально работает — снабжение камеры наборами сервоприводов, способных в реальном времени точно менять параметры положения камер и параметры настройки камер и, соответственно, исправлять видео. Не будем рекламировать конкретные компании, но на сегодня существуют решения, в которых оператор занят исключительно съемкой, а рядом с камерой постоянно работает специальный человек, который сидит за пультом контроля качества потока и управляет исправлением искажений (с помощью механики сервоприводов в камере), он же в состоянии дать знать оператору, что какие-то искажения становятся слишком велики, он не может их исправить, а качество упало. Например, какой-то сильный блик засвечивает один объектив, но не засвечивает второй, или после близкого взрыва запылилось зеркало, или в кадре появился поляризованный источник света (такое бывает, когда осветители, чтобы дать мягкий свет, по 2D-привычке делают его отраженным) и так далее.

Внимательный читатель уже догадывается, что системы, где к камере требуется специально обученный человек, весьма и весьма дороги и, как правило, такие камеры даже не покупают, а арендуют (часто в комплекте с обученными людьми). В любом случае, они пока фактически недоступны для любительской съемки. В лучшем случае авторы находят сравнительно недорогие моноблоки, у которых расстояние между объективами небольшое, и часть материала снимают на большие риги, а часть — на такие камеры.

Это увеличивает количество технических проблем при съемке и пост-обработке, но позволяет, пусть и за счет использования большего количества техники, получить более качественные крупные и общие планы. В худшем случае все снимается на “самый дешевый” стереориг за $100, о котором речь шла в самом начале, в результате можно видеть стерео, в котором, например, панорамы и общие виды восхитительно трехмерны, но крупные планы весьма дискомфортны. Теперь, надеюсь, вы лучше представляете причины дискомфортного “тридэ” в любительских и низкобюджетных фильмах. Они просто пытались все снять на iPhone

Выводы:

• Одной из фундаментальных проблем при съемке стерео является необходимость съемки части сцен (особенно крупных планов) близко находящимися друг к другу объективами, что делает невозможным применение для таких сцен простых и дешевых стереоригов.
• Решение проблемы — использование стереоригов с полупрозрачным зеркалом (бим-сплиттеров), когда одна камера вертикальна, а вторая — горизонтальна, оказалось весьма удобно и, главное, универсально. Сегодня бим-сплиттеры являются, пожалуй, основным видом камер для съемки стерео.
• Бим-сплиттеры обладают рядом врожденных недостатков: на них сложнее регулировать геометрию, зеркало не идеально, оно пылится и дрожит, на площадке не должно быть поляризованного света как в освещении, так и в бликах.
• Все эти проблемы также успешно решаемы, но стоимость их решения такова, что в итоге они становятся недоступны для любительских и низкобюджетных фильмов.

---

Примеры реальных проблем

Итак, мы кратко попытались дать представление, почему технически все весьма непросто, из-за каких особенностей камер возникают серьезные проблемы и почему нельзя использовать простые камеры, в которых, как кажется, проблемы с геометрией решать намного легче.

Также напомню фундаментальную проблему. В первой части данного текста я приводил мнение профессионального стереографера: “Необходимо оказывать давление на дистрибьюторов и владельцев залов, чтобы сохранить высокую яркость, чистить очки, и регулярно измерять световой поток с экрана. Независимо от того, насколько качественно мы сделаем S3D, это качество потеряется в огромном количестве кинотеатров во всем мире.” То есть нет смысла вылизывать качество, пока по всему миру такое плохое оборудование. Также во второй части данного цикла внимательный читатель мог видеть комментарий, явно от практика “если Вы сами пробовали снимать и монтировать стерео кино или хотя бы стерео картинки, то легко заметили бы, что небольшие огрехи вроде разных углов поворота в районе 2-3 градусов, смещения центра или размытость одного из изображений легко компенсируется нашим мозгом”. То есть — нет смысла исправлять, мозг и так компенсирует. Мозг, безусловно, компенсирует не только эти, но и другие проблемы, но какой-то процент людей платит за это головной болью. Причем в третьей части объяснялось, как адаптируется к плохому стерео мозг профессионалов, что только усугубляет проблему. Понятно, что настоящие профессионалы это осознают и используют не личные ощущения, а закрытые статистические данные от сетей кинотеатров. Но тех, кто считает, что раз ему и его коллегам не больно, то и всем будет не больно — действительно очень много.

Например, вот текст вакансии “Cтереографер”, то есть человек, отвечающий за качество стерео, который на момент написания данной статьи висит на сайте одной из русских студий. Дословно “Требуются:

• Базовые знания Autodesk Maya;
• Базовые знания принципов композитинга и какого-либо из пакетов для композитинга: Fusion, Nuke,
  AfterEffects, Blender, Ramenh, ...;
• Знание стереотехнологий, терминов и принципов создания стереоизображений;
• Желание развиваться и учиться по стереонаправлению;
• Желание работать в команде.

Крайне приветствуется:

• Знание основ программирования;
• Базовые знание Python.”

Вот такие они — суровые русские стереограферы. Опыт работы со стерео и вообще понимание, как устроено бинокулярное зрение — не обязательны, главное — знать термины и уметь программировать. ))) Дальше на это накладывается представление о том, что “мозг все легко компенсирует”, основанное на личном опыте и личной же адаптации к своему плохому стерео (см. третью часть)… Если помните, во второй части было сказано, что в лучших фильмах удается понизить процент людей с головной болью до 2%. Понятно, что когда решения принимаются исходя из проверки даже на 20 людях (заставили посмотреть всю студию), то велик соблазн сказать — ну только одному немного не так (ему всегда не так!), поэтому принимаем! А 1 из 20 — это уже 5% людей с головной болью. Вы будете смеяться, но реальные решения часто именно так и принимаются. И с этими людьми бесполезно спорить. Они суровые практики и они лучше знают, чем можно пренебречь. И это что-то — ваша головная боль, господа зрители. Что, в свою очередь, порождает понятную реакцию:

Отдельная проблема также в том, что по этой теме не так много книг. Особенно, если человек не может свободно читать на английском. Точнее — есть великолепные книжки специалистов еще советских времен, но они во многом ориентированы на доцифровую эпоху. На западной съемочной площадке прочно укоренен ироничный мем “We’ll fix it in post!” (“Мы исправим это на post-production”). Ироничный — поскольку далеко не все можно на “посте” исправить. Так вот — имеющиеся на русском книги великолепны, но в целом написаны исходя из невозможности или большой сложности поправить многое (что было абсолютно верно для пленки, но не так для цифры). Опять же — никто не отменял старую мудрость “знающий не говорит, говорящий не знает”. Она как-то непроизвольно вспоминается, когда читаешь то, что на западе написано про стерео. ) То есть написано-то много, но зачастую не профессионалами-практиками, у которых нет времени писать, а теми, у кого это время есть. И это тоже проблема.

Ирония судьбы заключается в том, что сегодня изрядная часть проблем может быть относительно легко и качественно исправлена offline алгоритмами, но производители программ для исправления проблем стерео жалуются на падение продаж. Более того, такой софт сегодня уже доступен на торрентах вместе с “креками”, то есть бери и используй “бесплатно”. Но даже даром это не делается. Ведь это работа. А мозг все равно “легко компенсирует” наши “небольшие огрехи”. На выходе получаем “headache included 3D” (вольный перевод — “головная боль в 3D включена в стоимость” или “3D — головная боль в подарок”), и огромный процент зрителей, которые не идут в кинотеатры на 3D, поскольку испытывали от него головную боль. С чем и остается всех причастных поздравить.

К слову — мой коллега, исследователь, писавший алгоритмы измерения и исправления качества стерео, читая черновой вариант статьи, заметил, что как-то нехорошо упрекать студии в том, что взломанное не могут с торрентов скачать. Но было решено оставить, чтобы стала понятна сложившаяся на сегодня в индустрии ситуация. Поскольку это кардинально влияет на скорость развития такого софта. В России вообще многое очень сурово. Кто сходил по ссылке на интервью, которое цитировалось в прошлой части читали, что там ребята в студии вообще первое время отсматривали результаты производства 3D фильма в анаглифе на бесплатных очках. И даже на 3D монитор, которые в то время стоили 5-10 тысяч (сравнимо с зарплатой уборщицы) разорились не сразу. О чем мы говорим… Понятно, что на западе ситуация получше, но в стерео развит массовый аутсорс в Индию и, отчасти, Китай. В общем картина маслом… Впрочем, вернемся к контенту.

Рассмотрим, какие геометрические искажения в итоге попадают в фильмы.

---

Поворот одного ракурса относительно другого

Поворот ракурсов — весьма неприятная проблема прежде всего потому, что с детства наши глаза очень хорошо “юстируются” и обработка поворота ракурсов не является привычной.

Поворот на 1,6° из фильма “Dark Country”

Поворот на 1,1° из фильма “Shark Night”. Вообще интересное наблюдение заключается в том, что визуальное качество фильмов ужасов в среднем заметно ниже, чем у фильмов в жанре фантастики, например. Связано это как с тем, что у фантастических фильмов выше бюджет, так и с тем, что они обычно заметно ярче, чем “ужастики”.

До кучи еще один ужас — вращение примерно на 1° из фильма “Silent Hill 2”. Нам сложно не рекомендовать вам ходить на фильмы ужасов, но данные примеры самых сильных поворотов сцены из 105 фильмов довольно красноречивы.

И еще пример поворота примерно на 1° в гонконгском фильме “Секс и Дзен”.

Как видно, поворот на один градус хорошо виден на полном кадре даже при ощутимом уменьшении. На большом экране подобный поворот приводит к очень заметному вертикальному параллаксу, который “убивает стереоэффект”. Если помните, выше шла речь, что “2-3 градуса” — это “небольшие огрехи”. К счастью, мы фактически можем гарантировать, что при просмотре блокбастеров вы такого не увидите.

И, напоследок, из интересного:

Поворот на 0,6° в фильме “Bait”. Если посмотрите на ухо героя, то даже на уменьшенной картинке хорошо видны геометрические искажения. Как вы думаете, что это было? Ответ ниже.

У нас собраны десятки тысяч примеров геометрических искажений из сотни фильмов. Во всех приведенных случаях можно было значительно снизить дискомфорт визуального восприятия этих сцен, повернув один из ракурсов на нужный угол. С большой вероятностью во всех приведенных фильмах контроль и исправление проблем на этапе post-production либо отсутствовали, либо проводились кустарно на глаз.

Что при этом внушает оптимизм, так это наблюдаемый тренд по этому параметру, который мы традиционно измерили на сотне фильмов — фактически были измерены ВСЕ фильмы, вышедшие на Blu-ray 3D, у которых был указан бюджет на IMBD.com. Это практически все фильмы, кроме документальных и совсем низкобюджетных. На “цветных” графиках ниже — чем выше точка, тем лучше значение метрики. Цвета построены по процентилям, для того, чтобы лучше были видно тренды и появилась возможность сравнивать ситуацию: что было хорошо в 90-х некорректно сравнивать с 2013-м, равно как фильмы с низким бюджетом, некорректно напрямую сравнивать с дорогими блокбастерами. При этом по границе желтой зоны можно четко судить о трендах, которые реально радуют:

Среднее значение поворота между ракурсами по годам. Хорошо видно, что фактически идеальна ситуация у конвертации, за что ее и любят использовать в блокбастерах. Качество съемки постепенно неуклонно растет, и то, что было средними показателями в 2010 уже к 2014 становится худшими показателями.

На этом графике те же значения метрики приведены не по годам, а по бюджету, и хорошо видно, что конвертация — это бюджеты от 500K USD за минуту, а низкое качество в плане вращения — это съемка в основном ниже 750K USD. Также видно, что есть заметное количество низкобюджетных фильмов, которые при бюджете в разы ниже блокбастеров по качеству по этому параметру превосходят “Аватар”.

Выводы:

• Многие фильмы ужасов ужасны в том числе в плане технического качества стерео.
• Использование правильной техники, хорошо организованного post-production с грамотными людьми позволяет сегодня снимать низкобюджетные фильмы с лучшими, чем у «Аватара», значениями среднего поворота между ракурсами
• В итоге у самых худших фильмов конца 2013 — начала 2014 средние значения поворота между ракурсами на уровне средних фильмов 2010 года и лучших фильмов доцифровой эпохи.

---

Неодинаковый масштаб ракурсов

Съемочная техника не идеальна. При изменении фокусного расстояния возникают люфты, сложно сделать его изменение строго одновременным во времени. Это, а также ошибки на post-production, приводят к следующим проблемам:

Разница по масштабу в 6,8%, фильм “Space Station”. Обратите внимание, что кадр на самом деле плоский.

Разница по масштабу в 6,2%, фильм “Кошки против собак 2”. Любопытно, что этот и предыдущий примеры — это конвертация. То есть ошибка возникла на этапе post-production, и не было контроля качества этого параметра. И обратите внимание, что кадр опять плоский.

Разница по масштабу в 4,6% в фильме “Путешествие 2: Таинственный остров”. Кадр не плоский, но почти плоский.

Разница по масштабу в 4,2% в фильме “Пиранья”. Кадр опять почти плоский, если вы идете на фильм ужасов, не говорите, что вас не предупреждали.

Интересно, что если кто-то думает, что таких ошибок не бывает в компьютерной графике — то вот пример в 3,6% из фильма “Pacific Rim”. Правда, в отличие от предыдущих примеров, в кадре таки присутствует вращение сцены, а значит, есть не только боль, но и 3D-эффект.

Примеры выше были найдены с помощью отдельно написанной метрики, и как обычно, интересно посмотреть ее результаты по годам на сотне фильмов:

Те же фильмы, но в зависимости от бюджета за минуту фильма:

Выводы:

• От найденных примеров создается ощущение, что, изменяя масштаб, в студии пытались “замаскировать” плоскую сцену. Это, очевидно, увеличивало процент людей с головной болью, но не создавало 3D-эффект.
• В конце 2009 года “Аватар” был среди лучших фильмов по аккуратности масштабов ракурсов, однако позднее было снято много фильмов, ощутимо более аккуратных.
• Видно, что низкобюджетные аккуратные по разнице масштабов фильмы также существуют.
• На последнем графике два фильма демонстрируют, что при желании можно испортить даже относительно дорогую конвертацию ).

---

Сдвиг и перспективные искажения

Помимо перечисленных выше относительно сложных преобразований, встречаются и простые, например, вертикальный сдвиг:

Вертикальный сдвиг в 1,5%, фильм “Кошки против собак 2”. Да, это конвертация. Да, это хороший вопрос, как они это сделали, скорее всего, у кого-то дрогнула рука на мышке. А инструментального контроля, естественно, не было.

Подобные ошибки возникают исключительно потому, что они очень редки для конвертации, из-за чего в некоторых фильмах вообще отсутствовал контроль вертикального сдвига в финале post-production. В итоге в фильмы попадают “сцены-рекордсмены”, в которых вертикальный сдвиг намного больше, чем в снимавшихся фильмах.

Сдвиг в 1,4% в фильме “Bait”. Фильм относительно низкобюджетный. Кроме того, даже с таким уменьшением на руках и куртке хорошо видна разница ракурсов по резкости.

И опять “Пиранья”, сдвиг — 1,2%. Обратите внимание, что оптические оси камер вообще не лежат в одной плоскости. Это ужастик. Вас неоднократно предупреждали, будет не только страшно, но и больно.

“Step Up 3D” со сдвигом в 1%. Обратите внимание на разницу цвета бликов — это привет от поляризованного света и бим-сплиттера.

К сожалению, у нас очень много таких примеров.

Для сдвига характерно, что он довольно просто исправляется, и наличие подобных проблем — это однозначно устаревший техпроцесс при производстве фильма. К счастью, приведенные примеры — относительно старые. “Кошки против собак-2” — 2010 (пик плохого стерео), “Bait” — сентябрь 2012, “Пиранья” — май 2012, “Step Up 3D” — 2010.

В целом по годам расклад приблизительно такой же — постепенное довольно стабильное улучшение, а ужасные старые значения постепенно остаются в прошлом, становясь неприличными даже для низкобюджетных фильмов:

Выводы:

• Хорошо видно, что если в конце 2010 Аватар был лучшим (!) фильмом по величине вертикального сдвига на тот момент среди протестированной съемки, то к 2014 году это значение стало весьма средним. И это радует.
• К 2014 лучше Аватара по этому параметру было уже 6 фильмов, при этом два из них имеют очень небольшой бюджет.

---

Исправление проблем

В тексте выше периодически встречаются фразы “сложно исправить” или “довольно просто исправить”. Рассмотрим, как исправление выглядит на практике и что исправляется просто, а что нет.

Сразу заметим, что все примеры ниже получены автоматически с живого стерео со всеми его проблемами, единственное, что сделано дополнительно — где-то обрезаны края или, чтобы было лучше видно стереоэффект — подкорректирован zero level (изображение сдвинуто к экрану).

Поворот на 0,6°в фильме “Bait”: было.

Тот же фрагмент: стало. С точки зрения воспринимаемой глубины сцена однозначно дискомфортна, поскольку “невозможна”. Кстати, жанр фильма “Ужасы, триллер, фантастика”...

Безусловно, полностью пропал ужасный поворот, но в итоге, стало видно, что голова почти плоская, а задний план подозрительно увеличен. Судя по всему, сцена снималась на side-by-side стереориг с большого расстояния с конвергенцией осей. А теперь концентрируемся и внимательно смотрим на голову и плечо, и видим, что плечо молодого человека на переднем плане вращается в ту же сторону, что и фон, т.е. развернутое к нам плечо находится дальше от нас, чем голова (!) — это конфликт нашего знания о форме тела человека с бинокулярным восприятием данной сцены (бедные зрители!). При этом второй человек сзади хотя и находится явно заметно дальше (видно по фокусу), по видимой глубине на одном уровне с молодым человеком, а его плечо опять вывернуто наизнанку, т.е. дальше от нас в сторону фона! Это также невозможно, но мы это видим. В данном случае будет конфликт с восприятием глубины по резкости (и, скорее всего, движению объектов сцены) и бинокулярно воспринимаемой глубины. Представляете ощущения вашего мозга при просмотре? С точки зрения мозга — это вдвойне-втройне “невозможная” дискомфортная сцена (конфликт формы, расфокуса и движения в кадре с видимой глубиной). Это немало, даже если убрать “невозможное” вращение. И таких “невозможных” сцен в фильме, как вы догадываетесь, хватает. Надеемся, что становится окончательно понятно, зачем нужны камеры/объективы/системы с малым расстоянием между оптическими осями, в том числе бим-сплиттеры, о которых речь шла в начале этой части. Становится понятно, зачем Хичкок делал большой телефон. И понятно, почему начинающие операторы без таких камер снимают стереофильмы, от которых сразу начинает болеть голова.

И еще пример, хорошо иллюстрирующий проблемы низкобюджетных фильмов, когда нет правильных камер для крупного и среднего плана:

Исходный поворот на 1° в фильме “Секс и Дзен”.

Тот же фрагмент после исправления. Хорошо видны нелинейные искажения объектов сцены, которые невозможно исправить поворотом и которые вообще сложно исправить. Мы видим, что люди стоят вертикально, однако, с точки зрения воспринимаемой глубины их туловища заметно и “невозможно” наклонены. Этот средний план также явно снимался на side-by-side стереориг с конвергенцией осей камер.

Если на съемочной площадке нет камер для корректной съемки крупного и среднего плана, в фильме с очень большой вероятностью будут сцены, невозможные с точки зрения видимой глубины при просмотре. Если у вас начинает болеть голова от таких фильмов — знайте, что авторы жестоко сэкономили на правильных камерах, которыми можно адекватно снять соответствующие сцены. Повторюсь, даже относительно недорогие стереокамеры-моноблоки “спасли” бы ситуацию в плане исправления невозможных сцен. Но авторы предпочли телеобъективы, конвергенцию осей камер со всеми вытекающими.

Исправление плоских сцен для масштабирования не приводим, алгоритм делает их фактически одинаковыми. Посмотрим примеры, где была реальная съемка:

Разница по масштабу в 4,6% в фильме “Путешествие 2: Таинственный остров”.
Так было.

Тот же фрагмент “стало”, и тоже проявился 3D эффект почти плоской сцены.

Разница по масштабу в 4,2% в фильме “Пиранья”, было.

Тот же фрагмент “стало”. На кадре опять проявился слабый-слабый 3D эффект, которого раньше было фактически не видно из-за разницы по масштабу.

И пример исправления на компьютерной графике, а точнее — на конвертации:

3,6% на фильме “Pacific Rim”.

Тот же фрагмент “стало”. Здесь, оказывается, скрывалось весьма приличное стерео! Видно, что даже часть брызг корректно находятся на переднем плане (что не всегда бывает в конвертации).

При желании можно показать сотни и тысячи таких примеров (у нас все генерируется автоматически или полуавтоматически), все примеры для 100 фильмов аккуратно хранятся в сухом тёмном месте на дисковом массиве. Сотни примеров опубликованы в наших отчетах, доступных для профессионалов бесплатно по подписке.

Внимательный читатель может заметить, что исправление сдвигов не показано. Да, мы их не показываем. Это не спортивно. Они отлично исправляются в любом, даже самом простом редакторе. И то, что они попадают в фильмы — следствие спешки или просто отсутствие инструментального контроля качества.

Выводы:

• Для геометрических искажений возможно эффективное автоматическое или полуавтоматическое исправление, позволяющее кардинально понизить дискомфорт от сцены.
• Съемку на конвергентных осях часто очень сложно (читай — очень дорого) исправить. В худшем случае проще отконвертировать сцену — результат получится более качественным и менее дискомфортным.

---

Вместо заключения

Читатель может удивиться, почему же все не исправляется? Раскрою небольшой профессиональный секрет. Модная и очень неплохо проработанная сегодня тема в post-production — это трекинг (или feature point tracking, если кому-то интересно копнуть глубже). И в трекинге студии достигли больших успехов. Он постоянно нужен и чтобы вклеивать спецэффекты в живое видео с движущейся камерой, и чтобы убирать лишнее из кадра. Для трекинга написано много программ и плагинов. И они даже позволяют не только делать трекинг в одном кадре, но и сопоставлять точки на стереопаре (что сразу становится слабым местом, особенно если ракурсы различаются по резкости).

Причем для видео, на которых отлаживаются исследователи, все работает. А дальше начинается кино (во всех смыслах). И в кино фон обычно несколько размыт. Да, его в стерео лучше делать резким, так комфортнее. Но существует еще и 2D версия, и она также должна быть гладкой и шелковистой выразительной в художественном плане, для чего идут на определенный компромисс и несколько размывают фон в обеих версиях. И тут алгоритмы сопоставления особых точек перестают устойчиво работать… Но ведь существуют алгоритмы, устойчивые к размытию, тем более что нужно определить довольно простое глобальное преобразование кадра? Конечно, существуют, но там есть оговорки в плане простоты и глобальности (оси камер в реальности могут не лежать в одной плоскости, и это суровая реальность, которая и не дает работать только по переднему плану). Правда, используются такие подходы отдельными студиями в страшной тайне от других, дабы не терять конкурентное преимущество.

Если уж раскрывать секреты профессии… Тем, кто до этого места дочитал — можно. ) На западе очень дешевые кредиты и великолепный вторичный рынок кинооборудования (б/у). В итоге можно относительно дешево и регулярно проводить обновление проекторов и т.п. Опять же — частая ситуация, когда новые очки в целлофане просто дарят, и их можно не сдавать. В итоге, нет всего того ужаса, который сразу вспоминается, когда речь заходит про наши кинозалы. Интересное следствие из этого — картинка на экране реально четче, и люди привыкают именно к такой качественной картинке (во многие наши залы, в которых используются дешевые китайские проекторы, которые никто не удосужился навести на резкость, “избалованные” американцы просто не смогли бы ходить). Опять же — на порядок лучше, чем у нас, развита обратная связь. У них достаточно минимального падения резкости картинки, чтобы люди это заметили и моментально всем раструбили через соцсети, специальные сайты и т.п. В итоге, у них продюсеры весьма чувствительны даже к минимальной потере четкости деталей. Масштабирование и поворот картинки заведомо приводят к снижению резкости. При использовании грамотных инструментов и подходов потери можно минимизировать, но… В итоге, когда обсуждается финальная версия сцены, рассматриваются исправления и решается “Исправляем или оставляем?” — нередко выбирается оставить проблему. Ведь падение резкости на хорошем оборудовании видно сразу, а “мозг все равно легко компенсирует”. В этом плане интересен “Аватар”. Если разглядывать его под микроскопом на пиксельном уровне, то там по горизонтальным резким границам видно, что картинка поворачивалась и видны следы достаточно “бескомпромиссного” исправления всего и вся, даже если это приводило к замыливанию изображения.

Еще одним “большим секретом” 3D является то, что усталость от отдельных артефактов стерео накапливается. Любители подхода “мозг легко исправит” ссылаются на исследования, в которых определяются крайние границы допустимости отдельных артефактов. Однако если не полениться и заглянуть в первоисточник, то можно легко заметить, что эти исследования хотя и проводились на большом количестве людей, но длились обычно 5-15 минут. И то, что люди без посторонней помощи смогли после этого встать и пойти не жаловались на головную боль, не гарантирует, что головная боль не возникнет после полутора часов фильма. А проводить многочасовые эксперименты — крайне долго и дорого. Для публикации и чтобы на тебя все сослались, 5-15 минут вполне достаточно. И если в исследовании пороги будут повыше — тебя будут часто упоминать, а если жесткие низкие — возможно, только потомки и вспомнят. А цитируемость здесь и сейчас — главное в современной науке (многое выше было сказано с иронией, но если углубляться, надо понимать правила, которые формируют систему). В этом плане достаточно бескомпромиссный подход в “Аватаре” безусловно помог зрителям благополучно и относительно безболезненно просмотреть 2 часа 42 минуты фильма.

Ну и в качестве окончательных выводов. Некоторые студии любят говорить — “Заплатите нам как Камерон, и мы вам сделаем качество, как у Аватара”. Приведенные выше результаты объективных замеров по трем характеристикам показывают, что продолжать так говорить по крайней мере для геометрических искажений — это значит прилюдно расписываться в полном непрофессионализме. Во-первых, если в 2009 году “Аватар” действительно заметно выделялся в лучшую сторону по качеству, то уже в 2014 году его результаты стали весьма средними, то есть были отработаны технологии и программы, позволяющие получить лучшее качество намного дешевле и проще. И хотя так умеют работать пока не все, но очевидно, критерии приемлемого качества ощутимо подросли. Можно заведомо предсказать, что к 2017 году, когда запланирован выход “Аватара-2”, Джеймс Камерон опять постарается задать новый уровень качества для индустрии. В результате те, кто может выдавать на гора максимум только качество “Аватара”, да еще только по его цене, покинут этот рынок. Или научатся делать ещё лучше и дешевле. ) Соответственно, у студий уже сейчас “болит голова”, о том, как этого достичь, а у зрителей при просмотре голова будет болеть реже! Качество 3D вырастет, а Карфаген должен быть разрушен!

Всем поменьше головной боли вообще и от 3D в частности! )

Благодарности

Хотелось бы сердечно поблагодарить:

• моих коллег Алексея Шалпегина, Александра Воронова и Александра Бокова, а также других членов видеогруппы, благодаря которым представленные выше алгоритмы были созданы,
• вице-президента по технологиям и Senior Scientist компании RealD Джона Карафина за веру в наши силы и воодушевляющую поддержку,
• компании Intel, Cisco, Verizon и YUVsoft за серьезную поддержку проекта и то, что им не безразлично качество стереофильмов,
• Лабораторию Компьютерной Графики ВМК МГУ им М.В.Ломоносова за вычислительные мощности и не только,
• Алексея Шалпегина, Артема Казакова, Станислава Долганова, Максима Смирнова, Виталия Людвиченко, Владислава Тюльбашева, Алексея Федорова, а особенно Александра Воронова за большое количество дельных замечаний и правок,
• и наконец, всех организаторов Международного московского стереофестиваля и лично Олега Николаевича Раева, за то, что они делают для того, чтобы выросло качество стереофильмов в России.

Смотрите также:

• Почему от 3D болит голова / Часть 1: Недостатки оборудования
• Почему от 3D болит голова / Часть 2: Дискомфорт из-за качества видео
• Почему от 3D болит голова / Часть 3: Перепутанные ракурсы
• Почему от 3D болит голова / Часть 4: Параллакс

Автор: 3Dvideo

Источник