Исследователи из Норвежского технологического университета придумали, как использовать технологию DeepFake для сохранения анонимности людей на фото и видео с сохранением исходных данных изображения.
Сохранение собственной конфиденциальности стало важной проблемой. Пока ещё не было найдено подходящего решения для анонимизации человеческих лиц на изображениях без ухудшения качества самого фото. Как правило, для сохранения анонимности лица обычно размывают или закрывают пикселями или чёрным квадратом. Однако это нарушает распределение данных изображения и усложняет дальнейшую его обработку алгоритмами.
Хакон Хуккелас, Рудольф Местер и Фрэнк Линдсет создали систему DeepPrivacy, которая разработана с помощью сразу нескольких нейросетей, используемых для обработки изображений. Сначала изображение обрабатывается нейросетью S3FD, которая определяет, где на фото находится само лицо. Затем в дело вступает нейросеть Mask R-CNN, которая размечает ключевые точки фото человека — глаза, уши, плечи и нос. Этот этап необходим для того, чтобы впоследствии созданное нейросетью новое лицо выглядело максимально реалистично.
После определения ключевых точек параметры изображения кодируются. Затем лицо на исходном кадре закрашивается серым, поле чего меняется на случайные цвета. Это цветное изображение передаётся следующей нейросети — U-Net. Она накладывает на цветные пиксели изображение, созданное из ключевых точек лица. Благодаря этому алгоритм может реалистично создать новое, неузнаваемое лицо.
«Мы предлагаем архитектуру, которая способна автоматически анонимизировать лица на изображениях, сохраняя при этом исходное распределение данных. Мы гарантируем полную анонимность всех лиц на фото. Наша модель генерирует изображения, учитывая исходную позу и фоновое изображение, что позволяет нам создавать очень реалистичные лица», — пишут авторы проекта в презентации на arxiv.org.
Для обучения своего алгоритма разработчики использовали ими же созданный датасет Flickr Diverse Faces (FDF). Он включает в себя 1,4 млн разнообразных снимков людей, которые сняты с разных ракурсов и под разными углами. Каждое из этих лиц уже заключено в прямоугольную рамку, на нём определены ключевые точки. На обучение алгоритма разработчикам понадобилось 17 дней.
С исходным кодом алгоритма и документацией можно ознакомиться на GitHub. Как пишут авторы алгоритма, проект доступен для дальнейших улучшений.
«По сравнению с предыдущими решениями наш алгоритм предоставляет значительное улучшение как качества сгенерированного изображения, так и сохранения анонимности. DeepPrivacy — это простая модель, доступная для дальнейших улучшений. Обработка необычных поз, сложных окклюзий, неравномерных фонов все еще остаются предметом для дальнейшей работы. Мы верим, что наш вклад станет источником вдохновения для дальнейшей работы в обеспечении конфиденциальности визуальных данных», — пишут разработчики.
Автор: AnnieBronson
