Проблема: Сейчас у многих есть фото и видеоаппаратура. Просматривая очередную любительскую запись с концерта я не обрадовался её качеству. Да и съёмка с рук ужасна. Артисты выпадают из кадра. Но периодически видно ещё десятки светлячков видеокамер, мобильников, фотокамер и даже планшетов. Я вот и подумал почему бы не использовать этот потенциал.
В результате должен получиться видео в котором цель (артист) не выпадает из кадра. Камеры будут переключаться как только цель ушла. Поддерживается максимально возможное качество. Повышение качества за счет избытка информации.
геопозиционирование
Сейчас многая техника оснащена GPS и новости вКонтакте также можно пометить на карте. Собираем все видео которые по времени и координатам совпадают с событием в одну кучу.
синхронизация
Ракурсы у камер разные но звук примерно совпадает, в нём есть точки опоры. Используем туже технику что использует Яндекс для поиска одинаковых треков и выравниваем время в треках.
анализ видео
После звуковой синхронизации настало время сравнить картинку. Путем анализа синхрокадров определяется основная цель (артист). Как только цель выпадает из кадра камера переключается на ближайшую камеру где цель все ещё в кадре. Также можно вычислить «Лишние» объекты в кадре и удалить их используя картинку из другого потока.
анализ фотографий
Фотографии обычно имеют более высокое разрешение чем видео. Путем поиска максимально похожего кадра определяем время и позицию фотографии.
3D видео
Поскольку видео и фото снимается с разного ракурса вычисляем координаты, цвет и траекторию движения точек.
Результат
В итоге получаем 3D сцену которую можно смотреть с любого ракурса в пределах ракурсов камер.
Вот собственно и всё. Кидаю идею в свободный доступ. Надеюсь Ютуб, Контакт или ещё кто работающий с пользовательским видео воплотит идею. Было бы очень интересно посмотреть на результаты.
Автор: ivan386
