Сегодня, хочу рассказать об интересном подходе по улучшению качества изображения. Официальное название подхода Super Resolution. Улучшение качества изображения программными методами известно с начала появления цифровых снимков, но в последние 3 года произошёл качественный скачок, вызванный использованием нейронных сетей.
Пример улучшения качества изображения с использованием технологии Super Resolution.
Известно четыре основных подхода по улучшению изображения: prediction models (предсказательные модели), edge based methods (краевые методы), image statistical methods (статистические методы) и patch based (or example-based) methods (методы основанные на паттернах). Наилучшее качество дают patch based (or example-based) methods (методы основанные на паттернах).
В статье [1] впервые было предложено перейти от традиционного подхода, использующего набор фильтров к единой сверточной нейронной сети, работающей по принципу end to end.
Подход на основе сверточной нейронной сети объединил функции:
1) Извлечения и отображения патчей.
2) Нелинейного отображения.
3) Реконструкции.
Визуализация принципа действия нейронной сети и связь с методом разреженного кодирования [ 1 ]
Подход на основе сверточной нейронной сети позволил улучшить качество в сравнении с известными методами при сохранении высокой скорости срабатывания.
Качество и время срабатывания в зависимости от числа фильтров.
Согласно авторам исследования, архитектура сети влияла на качество больше, чем размер обучающей выборки.
Продолжением исследований в области улучшения качества изображения является работа [2] в которой рассмотрены более глубокие архитектуры c помощью которых удалось восстановить «испорченное изображение».
Слева – «испорченное изображение», центр – восстановленное изображение, справа – оригинал.
В работе [3], задача улучшения изображения решается с применением GAN.
Визуализация принципа действия GAN в задаче улучшения качества изображения [3]
Применение GAN позволило улучшить качество текстуры и сделало обработанные изображения настолько фотореалистичными, что визуально их тяжело отличить от оригинала.
Сравнение изображения, восстановленного с применением GAN и оригинала.
Технология Super Resolution уже используется в обработке изображений и видео. Так, компания Яндекс улучшила качество старых советских фильмов на кинопоиске, а компания Robin Video использует Super Resolution для улучшения качества изображения в облачном видеонаблюдении, чтобы клиенты использовали более простые и дешёвые камеры с сохранением качества картинки.
В следующих статьях постараюсь подробно рассказать о технической реализации подхода Super Resolution.
Image Super-Resolution Using Deep Convolutional Networks
[2] arxiv.org/pdf/1606.08921.pdf
Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections
[3] arxiv.org/pdf/1609.04802.pdf
Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network
Автор: Кирилл Косолапов
