Исследователи Массачусетского технологического института представили технологию, которая позволяет восстановить ценные данные из фотографий и видеозаписей низкого качества. Была использована модель «визуальной депроекции», которая с помощью нейросети сопоставляет низкоразмерные проекции с оригинальными многомерными изображениями и видео.
Алгоритм способен использовать полученную информацию для воссоздания первоначальных данных из проекции. Проекцией может выступать, например, фото звездного неба, сделанное с большой выдержкой. На таком снимке звезды обычно представляются как размытые полосы из-за того, что меняли свое положение в процессе съемки.
Ученым же удалось воспроизвести точные кадры снимка с движением людей исходя из информации о траектории движения человека. В ходе эксперимента было записано 35 видео с 30 людьми, идущими в одном месте. В итоге алгоритм точно воссоздал 24 кадра, передав изменение перспективы. Таким образом, нейросеть поняла, что пиксели, которые становятся темнее и шире, скорее всего, означают приближение человека к камере.
Исследователи отмечают, что в пикселях проекции кроются «подсказки» о многомерной исходной сцене. Цифровые камеры при съемке с длинной выдержкой просто собирают фотоны в каждом пикселе, а при захвате движения камера принимает среднее значение от пикселя, который получает информацию о движении. Затем эти значения применяют к соответствующим показателям высоты и ширины неподвижного изображения, и это создает характерные размытые полосы на траектории объекта.
По словам ученых, такая модель может быть использована не только для воссоздания видео из размытых изображений, но и для того, чтобы преобразовать 2D-медицинские изображения в более информативные — 3D, которые смогли помочь врачам в их работе. Кроме того, нынешняя методика компьютерной томографии дорога и доступна далеко не всем, особенно в бедных странах.
«Во всех этих случаях визуальные данные имеют одно измерение — во времени или пространстве — которое полностью теряется. Если мы восстановим это потерянное измерение, у него может быть много важных приложений», — заявил один из авторов статьи Гуха Балакришнан.
Автор: maybe_elf
