В какой-то момент у нас на пороге появился человек в штатском с целым жёстким диском фотографий одного инженерного объекта (назовём его для определённости путепроводом через железную дорогу). Задача сводилась к традиционному «когда-то давно строили, а потом потеряли исходную документацию», и нужно восстановить проект с погрешностью в сантиметр-два.
Чтобы понять, насколько хорошую точность можно получить в архитектуре и инженерных изысканиях подобного рода, мы решили отснять свой 11-этажный офис и создать 3D-модель. В конце работы мы получили модель здания и замерили по ней пару окон. Потом пошли и измерили эти же окна в реальном мире — среднее расхождение было в пределах сантиметра, максимум — двух.
Кстати, в чём-то похожая задача была у одного из наших партнёров — нужно было снять карьер площадью 470 Га и:
- Определить объёмы выработки породы.
- Подсчитать объём склада продукции.
- Получить поверхность для уточнения уровня гидроотвала.
- Получить 3D-модель всей территории.
Часть маршрутов
Её решили с помощью беспилотника, длинных гвоздей, GPS-приёмника и двух пачек пластиковых тарелок за 5 рублей за штуку.
Задачи и вендоры
Задача получения 3D-модели по прототипу объекта или самому объекту достаточно легко решается в игровой индустрии и других подобных сферах путём 3D-сканирования объекта. У нас есть свои 3D-сканеры, но засунуть в них что-то крупнее собаки представляется довольно сложным. Большинство зданий, увы, крупнее собаки. Конечно, есть ещё ручные сканеры и промышленные технологии, куда можно загнать хоть вертолёт, но это всё достаточно отдельная специализированная область. Кстати говоря, для зданий тоже пригодная. Но использование фотограмметрии и беспилотников более выигрышно по времени.
В случае здания матмодель используется такая же, как для сканера, но есть нюансы:
- Обе технологии предполагают наличие множества изображений с различных точек, причём для каждого изображения есть метаинформация с расположением камеры.
- Сканер работает в «стерильных» условиях, поэтому фильтрация и подготовка изображений не нужна. Для крупных съёмок освещение бывает разным (элементарно — во время съёмки облако закрыло солнце), поэтому алгоритмы требуют более явных опорных точек.
- Съёмка инженерных объектов делается обычно с дронов, вертолётов или разных высоток, поэтому набор точек съёмки куда более ограничен, и плюс нам нужна фильтрация изображений, выполненных во время противоракетного манёвра дрожания платформы.
Принцип работы такой: на основе метаданных фотографий и поиска похожих фрагментов изображений строятся чётко определённые опорные точки. Как правило, это разные углы, контрастные элементы рисунков, границы объектов. Каждому пикселю на фотографии ищется цветовое соответствие на других фотографиях на основании гипотезы о том, где именно будет нужный пиксель с учётом поворота и смены расположения камеры.
Найденные соответствия становятся ключевыми точками. Если есть хотя бы три опорных фотографии, эта точка строится уже в 3D-модели. Пространственные координаты триангулируются: от каждой точки съёмки к выбранной точке проводятся директрисы, и их пересечение даёт искомое значение.
Эти плоскости — расчётные планы съёмки, а в середине — крокодил. Ниже пример, как это выглядит для здания.
Для улучшения показателя «сигнал/шум» также используются методы фильтрации. Наиболее популярен алгоритм Левенберга-Марквардта (или метод связок) для уточнения координат точек. Затем на основании опорных точек с некоторой точностью восстанавливаются остальные точки, и всё это покрывается полигонами.
Следующий шаг — текстурирование. 3D-модель развёртывается в плоскость, и затем пространственное положение точки ставится в соответствие с оригинальной фотографией для задания цвета.
Нашей задаче наиболее отвечали готовые пакеты Photoscan от Agisoft, Pix4Dmapper от Pix4D, ContexCapture от Bentley.
Photoscan — это российский «полупрофессиональный» пакет, который довольно доступен, но с трудом применим на фермах. Pix4Dmapper — швейцарский продукт для обработки данных воздушной разведки беспилотниками. Считается одним из лучших решений для работы с ортофотопланами, облаками точек и цифровыми моделями местности. Как правило, хорошо «из коробки» забирает метаданные из дронов. Медленный, дорогой. ContexCapture — универсальный французский продукт. Сложен в конфигурировании, но очень удобен для работы, потому что умеет работать с очень шумными данными и хорошо ложится на большие инфраструктуры, явно промышленный. В итоге мы остановились на нём.
Полученная голографическая 3D-модель на основе 290 фотографий. Её мы использовали для демонстрации на 3D-столах.
Практика
В первую очередь мы начали не со здания, а с тестов в лаборатории. Нужно было понять, какое количество фотографий на сложный объект минимально и достаточно. Оказалось, что очень малое количество фотографий, естественно, ведёт к ухудшению модели (это понятно интуитивно), но и большое количество тоже. Важно не переборщить, потому что при существенно избыточном количестве исходных изображений алгоритмы фильтрации начинают чудить и «размывать» координаты. Выливается это в неровные контуры объектов. Наверняка это решается точным тюнингом входных параметров, но гораздо проще отбирать только подходящие изображения хорошего качества в нужном количестве.
Тестовый крокодил
На кластере из 6 машин сложный рельеф просчитывался за ночь.
В итоге вся работа по зданию заняла меньше одного рабочего дня. Естественно, полученная модель пока не может заменить проработанную модель, созданную инженером вручную, поскольку есть довольно много ошибок или неточностей изображения в макете. Отсюда выросла третья задача — сделать красиво, то есть доработать руками после просчёта. Дело в том, что мы показывали результаты разным людям, и они реагировали по-разному.
- Показываем реконструкцию археологической находки представителю музея. Реакция — просто вау.
- Показываем котлован инженеру — живо интересуется, можно ли будет дроном летать ещё изнутри здания (нельзя, для этого правильно использовать лазерные сканеры).
- Показываем здание архитектору — в восторге.
- Показываем его же финдиректору стройкомпании: «Что за мультяшный отстой?»
В общем, результат на выходе из расчётного модуля не самый эстетичный, хоть и достаточно хороший. Скажем так, для коммерческого результата вроде презентаций архитектуры точно нужны подогнанные текстуры с чистыми цветами и выверенные контуры. Нам же для нашей задачи измерений хватило и первой модели.
Карьер
Пока мы экспериментировали со зданием, выяснили, что похожая задача решалась уже нашими партнёрами — ООО «Фотометр». Их задача была в том, что нужно было быстро и дёшево снять карьер на 4 квадратных километра:
- Определить объёмы выработки породы.
- Подсчитать объём склада продукции.
- Получить поверхность для уточнения уровня гидроотвала.
- Получить 3D-модель всей территории.
Конечно, задача вычисления объёма склада сулила отличное гражданское и не очень применение. Для решения был взят Квадрокоптер DJI Fantom 3, 5 батарей, ноутбук и GPS-приёмник для координации на местности. На месте решили расставить «маяки» для большей точности: на 470 Га взяли 24 белые пластиковые одноразовые тарелки, которые крепились гвоздями-сотками. Координаты каждой тарелки взяли с приёмника с минимальной возможной погрешностью.
План полётов
Дул сильный ветер (около 10 м/с) и шёл снег. Летать было трудно, поэтому на съёмки было потрачено примерно 5 часов, израсходованы все 5 батарей, отснято 27 Гб материала. Общая длина маршрута 45 км.
Пример изображения из видеоряда
В тот же Context Capture загрузили 27 Гб видео и координаты в системе WGS 84. Запустили процесс обработки видео и процесс аэротриангуляции. Расчёт — 2,5 часа на двухъядерном офисном компьютере. Потом ещё 28 часов на 3D-модель. Машина обработала в итоге 1860 фотографий и построила трёхмерную модель всего карьера (470 Га). Из данной модели были получены необходимые форматы: Las (облако точек), OBJ (текстурированная модель), FBX (трёхмерная графика) и ортофотоплан. На этом этап обработки фотоматериала закончился.
Las на 1,5 Гб был передан заказчику для сравнения результатов аэрофотосъёмки и классического метода, применяемого на карьере. К сожалению, данный файл на месте у них не получилось открыть, поскольку AutoCAD Civil 3D при попытке его «пережевать» отказывался подавать хоть какие-то признаки жизни. Было принято решение разрядить облако точек в 300 раз.
Итог — вот по этому упрощённому файлу разница между работой маркшейдера с тахеометром и аэрофотосъёмкой составили 0,5% при допуске в горном деле до 5% (по нормативу в зависимости от объёма).
Точность аэрофотосъёмки получается выше, поскольку модель строится по поверхности с миллионами точек, тогда как маркшейдер набирает их значительно меньше. С другой стороны, 3 дня на всю работу (или 1–2 дня при расчёте в кластере) вместо месяца, а из оборудования — доступный дрон за 100 тысяч рублей, и запускался чуть ли не с коленки.
Резюме
Раньше фотограмметрия применялась в геологии, топографии и археологических раскопках. Затем — после одной эпичной съёмки развязки для восстановления проекта и ещё нескольких досъёмкок для контроля состояния проекта — приобрела известность в строительстве. Недавно фотометрию начали применять в киноиндустрии. Как видите, кое-что поменялось с 1852 года, с тех пор как французский инженер Э. Лосседа снимал с воздушного шара Париж.
Ссылки
- Задача про карьер на сайте партнёров
- Зачем ещё используются 3D-решения инженерами
- Моя почта — YChalyy@croc.ru
Автор: КРОК
