Мы застряли с оцифровкой зала Эрмитажа примерно на месяц. Изначально мы думали, что имеющиеся решения для переноса объектов в 3D (типа лазерных сканеров) будут отлично работать и вопрос исключительно технический. На деле оказалось, что эта область не очень-то проработана и подводных камней там море.
За проект попали на конференцию FMX по иммерсионным технологиям и графике. Российские разработчики попадают на эту конференцию с докладом впервые. Мы выступаем вместе с Пиксаром и ребятами, которые делали «Игру престолов». Не то чтобы мы такие крутые, как Пиксар, просто агрегировали всё лучшее, что было на рынке, лучшие практики по фотограмметрии и опытным путём всё это применяли. Оказалось, так ещё никто не делал.
Но давайте начнём с того, что может быть сложного в оцифровке зала со статуей. Делов-то на пару дней, правда?
Задача
Есть музей Эрмитаж в Санкт-Петербурге.
У них 3-4 года назад появилась идея сделать цифровые копии объектов. А сами объекты безжалостно выставить в зал. С точки зрения музейного работника, это почти то же самое, что уничтожить. Просто процесс затягивается. На самом деле нет, но понимание, что копировать объекты нужно для сохранения их образов, оно есть.
Мы сгоняли к ним в первый раз, сняли на фотоаппараты статуи, чтобы протестировать технику фотограмметрии. Это типа как 3D-сканер, только совмещаются фотографии со всех сторон объекта (около 400 фотографий на статую), затем софт ищет похожие узлы, а затем строится облако точек.
Получилось криво и косо.
В общем, идею фотографий мы отложили на стадию «вернёмся, когда будет нормальный Data Mining, лет через пять». Прошло два, и Эрмитажу понадобился полностью цифровой зал.
Зачем Эрмитажу виртуальный зал?
Чтобы ярко показать себя на мировой арене. Если серьёзно, нам объяснили много умных вещей про роль технологий в современном музее и прочее, но мы поняли только то, что никто эту задачу толком решить нормально не может. А хочется сделать так, чтобы любой учащийся университета где-нибудь на Дальнем Востоке или в Италии смог посмотреть на прекрасное. Для этого ему выдадут очки виртуальной реальности и отправят в Эрмитаж. Виртуально. В первую очередь — в представительствах Эрмитажа. Уже показывали в Омске и Владивостоке.
Важно, что это интерактив — к статуе Юпитера в реальности не подойдёшь близко, а теперь искусствоведы смогут её разве что не облизать в VR. На дядьку не посмотришь сверху, а теперь можно. И так далее. Ну и, конечно же, те, кто не может сам доехать до Эрмитажа, теперь прибудут в виртуальной реальности.
Полная задача — оцифровать вообще весь музей. Но начать надо с одного зала. Надо так, чтобы было реально.
Мы начали применять другие подходы.
Сначала предложили рендер, как в играх. Художник рисует, деятель искусства плюётся. Моделинг с нуля не подходит, потому что нужно произведение искусства греческого скульптора, а не современного моделлера. Понятно.
Попробовали лазерный сканер. Геометрию он даёт хорошую, но в цвет не попадает вообще.
Сняли текстуры на камеру, совместили — вроде нормально.
Искусствоведам было крайне критично передавать мельчайшие нюансы формы статуи. Мы себе так и записали: нужно очень высокое разрешение либо очень высокая полигональная точность.
В итоге решили всё же использовать опорные замеры и фотограмметрию. Начали опыты в офисе с разными камерами: пробовали зеркалки и даже арендовали среднеформатную PhaseOne с матрицей 100 мегапикселей. Выяснилось, что проблема была не в камере, а в точности выбора точек. Малейшее колыхание приводило к размытию картинки, и это вызывало дисторсии на моделях. Снимали мы на диафрагме 11, попробовали закрывать больше — дифракция и замыливания. Проблема с шевелёнокой была в том, что мы снимали статую сверху с лестницы высотой 4 метра. А она качалась.
Сделали почти 17 тысяч фотографий. Начали считать.
Наши рабочие станции мощные, как бытовой обогреватель, но всё равно на них огромные сроки просчёта. Пришлось разворачивать отдельную инфраструктуру для облака точек и получения модели. Купили сервер GPU, развернули инфраструктуру на нём.
Получилось облако, которое надо было оптимизировать.
Зал оптимизировали четыре человека в течение двух месяцев.
Зачем оптимизировали?
VR — это штука, которая должна проигрываться не на супермощных девайсах. Есть три категории устройств для этого проекта:
- Игровые домашние ПК (максимум разрешения и качества) и музейные VR-установки.
- Школьные компьютеры. Под них уже пришлось оптимизировать так, чтобы качество не терялось. Это ручная работа, много времени.
- Мобильные устройства. Под них понадобилось сделать самые оптимизированные модели.
Оптимизация ещё связана с тем, что издалека плоскость видна как изгибы. Нам нужно было добиться оптимального восприятия — «как в реальном мире». За этим следили художественные критики и кураторы: всё в мире искусства оценивается по степени «да» или «нет» от них.
Что получилось?
Эрмитаж смог показать свой зал со своей статуей за границей на важных выставках и дать возможность школьникам приобщиться к обнажённой натуре. Кстати, шутки про то, как мы месяц оптимизировали ж… спину Юпитера, сразу отставьте. А на другом месте у него повязка, и это очень спасло нашу психику.
Зал и статуи нетранспортабельны (точнее, статую возить невероятно нежелательно). Теперь их можно виртуально возить по миру. Эрмитаж уверенно конкурирует теперь с Лувром, потому что музей для всех — и это очень круто.
Хайпольная модель после оптимизации состоит из 120 тысяч полигонов (у неё 3 степени детализации в зависимости от расстояния до зрителя, минимум 12 тысяч полигонов). Дальше — грубее, ближе — лучше.
В итоге получилось, что нет других проектов, где бы целый зал был оптимизирован под ВР. Есть с соплями, чисто сканированные без оптимизации, кривые и косые в разных местах. Но цельного работающего нет. В общем, у нас самый качественный в мире на сегодня. Потому что единственный такой полный.
В реальном мире с трепещущими людьми и качающимися лифтами для камер без миллиардов затрат на это — очень круто. Да, первый зал был очень долгий, 4 месяца с лишним. Но мы наступили на все грабли, отработали методологию и готовы уже делать зал примерно за 1,5–2 месяца.
А, ну и момент из российской реальности. После того как Эрмитаж начал распространять VR-тур (бесплатный), во Владивостоке кое-кто ушлый начал продавать билеты на посещение зала Эрмитажа в виртуальной реальности.
Автор: Илья Симонов
