Всем привет!
В этой статье взглянем на FaceFusion версии 3.0.0 — мощный инструмент для замены лиц на изображениях и видео!
Для использования понадобится всего лишь фотография в профиль. Также в статье расскажу, как не париться с установкой и запустить FaceFusion в один клик.
Основные возможности FaceFusion:
-
Замена лиц на фото и видео;
-
Улучшение качества лиц и кадров;
-
Раскрашивание черно-белых видео;
-
Синхронизация губ (Lip-sync);
-
Поддержка нескольких моделей для замены лиц;
-
Настройка параметров обработки;
-
Работа с несколькими лицами в кадре.
А в последней версии добавлено следующее:
-
Добавлена возможность изменения возраста;
-
Улучшение качества пикселей для алгоритмов замены лиц;
-
Live Portrait улучшает выражения лиц на фотографиях;
-
Порядок выбора лиц теперь учитывает возраст, пол и другие параметры;
-
Новые видеокодеки h264_videotoolbox и hevc_videotoolbox;
-
Исправлено качество изображений формата webp;
и другие улучшения и изменения, весь список вы можете прочесть на GitHub.
❯ Интерфейс
Основные параметры
1. Source — источник, сюда мы подгружаем лицо, на которое будем заменять. В данном случае это моя фотокарточка.
2. Target — изображение или видео, на котором мы хотим заменить лицо.
3. Output — результат генерации.
Trim Frame — (появляется при работе с видео) обрезка кадра, если не нужно делать видео полностью.
4. Face Selector Mode — режим селектора лица, то есть выбор лица для свапа.
Режимы селектора лица:
-
Режим reference — заменяем выбранное эталонное лицо в reference face.
-
Режим one — меняет лицо в соответствии с параметрами, о которых ниже, по умолчанию заменяет самое левое лицо в кадре.
-
Режим many — меняет все лица в кадре.
5. Face Mask Types — тип масок лица. Особо ничего не меняет, можете посмотреть, как он работает наглядно, включив face_debugger, о котором ниже. У типа region можно выбрать, какие элементы лица не менять (например рот, тон кожи, нос, верхнюю губу и т. п.).
Блок Face Mask Padding помогает сдвигать маску по горизонтали и вертикали, но лично мне это ни разу не пригодилось.
6. Face Detector Model — модель детектора лица, поможет анализировать лица разными способами (например, слева-направо, сверху вниз, от маленького к большому и т. п., а также по полу и возрасту). И если, к примеру, вы выбрали режим селектора лица one, то он будет детектить только нужные лица в соответствии с этими настройками.
7. Процессоры кадров
face_swapper — заменяет лицо.
face_enhancer — улучшение лица.
frame_enhancer — улучшение всего кадра.
age_modifier — изменение возраста.
frame_colorizer — окрашивание черно-белых изображений и видео.
face_debugger — отображение типов масок лица.
expression_restore — помогает сделать выражения лиц более эмоциональными после замены.
Вы можете использовать один или сразу несколько процессоров кадров.
❯ Модели
Для каждого процессора кадров есть свои модели и все они работают по-разному. Экспериментируйте и пробуйте разные!
Face Swapper Model — модели замены лица. Самая часто использумая — inswapper_128_fp16, она чуть быстрее чем обычный inswapper_128.
Face Enhancer Model — по аналогии, модели для улучшения лица. Я предпочитаю gfpgan_1.4.
Ну и для остальных процессоров также есть свои модели. Они появляются после того, как вы добавите один из процессоров кадров.
Если при выборе модели у вас в терминале выскакивает надпись, что модель отсутствует, просто внизу страницы уберите галочку со skip_download, она мешает скачиванию модели.
Другие параметры
Execution providers — среда выполнения. Если у вас видеокарта NVIDIA, то выбирайте режим Cuda. CPU, соответственно, использование ресурсов процессора.
Execution Thread Count — количество потоков выполнения. Желательно выставлять побольше, но не рекомендую ставить в самый потолок.
Video Memory Strategy — стратегия видеопамяти. Не рекомендую его менять от слова совсем, в крайнем случае у вас просто вся видеопамять будет загружена. Также не рекомендую изменять Output Video Resolution и Output Video FPS, так как они задаются автоматически, когда вы подгружаете видео или gif.
Блок Options:
-
keep-temp — сохраняет нарезанные кадры.
-
skip-audio — позволяет не использовать звуковую дорожку на видео.
Остальные параметры не особо интересные, либо особо ни на что не влияют, поэтому двигаемся далее!
❯ Возможности FaceFusion
Как вы уже поняли, FaceFusion работает и с изображениями, и с видео (и даже с видео со звуком), действительно ультимативная нейросеть для дипфейков. В последнем обновлении так же добавили модификатор возраста, сейчас посмотрим, на что она способна!
Начнем от простого к сложному.
Очень интересно, давайте попробуем поиграться с функцией восстановления цвета:
Еще один пример с еще одной известной личностью:
Также в этой версии добавили процессор age_modifier, давайте посмотрим, как он работает
Вот статичный и более наглядный пример:
Ну и даже с разными тонами кожи нейросеть справляется хорошо:
Ну и если нужно заменить МНОГО лиц, да еще и с восстановлением цвета, то пожалуйста (кстати, еще добавил expression_restorer, а то уж больно скучные лица были).
В заключение хочется сказать, что FaceFusion очень мощный и полезный инструмент, который может пригодиться всем, кто так или иначе сталкивается с созданием или публикацией контента.
Поэтому используйте ПО исключительно в позитивном ключе, придерживаясь этики и закона:
-
Не используйте лица людей без их явного согласия.
-
Избегайте применения для обмана или введения в заблуждение других лиц.
-
Воздержитесь от использования в коммерческих целях без соответствующих разрешений.
-
Не создавайте контент, порочащий репутацию или унижающий достоинство других людей.
-
Не применяйте технологию для создания фальшивых новостей или дезинформации.
-
Избегайте использования в целях политической пропаганды или манипуляции общественным мнением.
-
Не используйте для создания порнографического контента без согласия.
-
Воздержитесь от применения в ситуациях, где требуется подтверждение личности (например, при онлайн-экзаменах или собеседованиях).
-
Не используйте для обхода систем безопасности или аутентификации.
-
Избегайте создания контента, нарушающего авторские права или интеллектуальную собственность.
Помните, что ответственность за его использование лежит на пользователе. Применяйте технологию этично, уважая права и достоинство других людей
Чтобы установить FaceFusion, достаточно скачать нашу портативную версию с установкой в один клик.
Перед установкой отключите антивирус, он ругается на самораспаковывающийся архив. Если переживаете, то скачивайте 7z-архив, который нужно просто разархивировать в любое удобное место.
Подписывайтесь на 👾Нейро-Софт, канал с портативными версиями ваших любимых нейросетей!
Автор: Wonderlove
