Исследователи Массачусетского технологического института представили технологию, которая позволяет восстановить ценные данные из фотографий и видеозаписей низкого качества. Была использована модель «визуальной депроекции», которая с помощью нейросети сопоставляет низкоразмерные проекции с оригинальными многомерными изображениями и видео.
Алгоритм способен использовать полученную информацию для воссоздания первоначальных данных из проекции. Проекцией может выступать, например, фото звездного неба, сделанное с большой выдержкой. На таком снимке звезды обычно представляются как размытые полосы из-за того, что меняли свое положение в процессе съемки.
Ученым же удалось воспроизвести точные кадры снимка с движением людей исходя из информации о траектории движения человека. В ходе эксперимента было записано 35 видео с 30 людьми, идущими в одном месте. В итоге алгоритм точно воссоздал 24 кадра, передав изменение перспективы. Таким образом, нейросеть поняла, что пиксели, которые становятся темнее и шире, скорее всего, означают приближение человека к камере. Читать полностью »