FaceFusion - замена лиц на изображениях и видео.

Всем привет!

Сегодня взглянем на FaceFusion версии 3.0.0 (последняя 3.3.2) - мощный инструмент для замены лиц на изображениях и видео!

Он очень похож на VisoMaster, который делает замену лиц в видео и изображениях. И он также open-source решение, которое работает на Windows и Linux и подходит как для творческих экспериментов, так и для знакомства с технологиями deepfake. Потому пробуйте и делайте свой выбор.

Давайте теперь разберём, что это за инструмент, чем он примечателен и как его установить.

Для его начального использования понадобится всего лишь фотография в профиль. 

Основные возможности FaceFusion:

• Замена лиц на фото и видео;
• Улучшение качества лиц и кадров;
• Раскрашивание черно-белых видео;
• Синхронизация губ (Lip-sync);
• Поддержка нескольких моделей для замены лиц;
• Настройка параметров обработки;
• Работа с несколькими лицами в кадре.

А в последней версии добавлено следующее:

• Добавлена возможность изменения возраста;
• Улучшение качества пикселей для алгоритмов замены лиц;
• Live Portrait улучшает выражения лиц на фотографиях;
• Порядок выбора лиц теперь учитывает возраст, пол и другие параметры;
• Новые видеокодеки h264_videotoolbox и hevc_videotoolbox;
• Исправлено качество изображений формата webp;

и другие улучшения и изменения, весь список вы можете прочесть на GitHub.

Интерфейс FaceFusion 3.0.0

Основные параметры

1. Source — источник, сюда мы подгружаем лицо, на которое будем заменять. В данном случае это моя фотокарточка.

2. Target — изображение или видео, на котором мы хотим заменить лицо.

3. Output — результат генерации.

Trim Frame — (появляется при работе с видео) обрезка кадра, если не нужно делать видео полностью.

4. Face Selector Mode — режим селектора лица, то есть выбор лица для свапа.

Режимы селектора лица:

• Режим reference — заменяем выбранное эталонное лицо в reference face.
• Режим one — меняет лицо в соответствии с параметрами, о которых ниже, по умолчанию заменяет самое левое лицо в кадре.
• Режим many — меняет все лица в кадре.

5. Face Mask Types — тип масок лица. Особо ничего не меняет, можете посмотреть, как он работает наглядно, включив face_debugger, о котором ниже. У типа region можно выбрать, какие элементы лица не менять (например рот, тон кожи, нос, верхнюю губу и т. п.).

Блок Face Mask Padding помогает сдвигать маску по горизонтали и вертикали, но лично мне это ни разу не пригодилось.

6. Face Detector Model — модель детектора лица, поможет анализировать лица разными способами (например, слева-направо, сверху вниз, от маленького к большому и т. п., а также по полу и возрасту). И если, к примеру, вы выбрали режим селектора лица one, то он будет детектить только нужные лица в соответствии с этими настройками.

7. Процессоры кадров

• face_swapper — заменяет лицо.
• face_enhancer — улучшение лица.
• frame_enhancer — улучшение всего кадра.
• age_modifier — изменение возраста.
• frame_colorizer — окрашивание черно-белых изображений и видео.
• face_debugger — отображение типов масок лица.
• expression_restore — помогает сделать выражения лиц более эмоциональными после замены.

Вы можете использовать один или сразу несколько процессоров кадров.

Модели

Для каждого процессора кадров есть свои модели и все они работают по-разному. Экспериментируйте и пробуйте разные!

Face Swapper Model — модели замены лица. Самая часто использумая — inswapper_128_fp16, она чуть быстрее чем обычный inswapper_128.

Face Enhancer Model — по аналогии, модели для улучшения лица. Я предпочитаю gfpgan_1.4.

Ну и для остальных процессоров также есть свои модели. Они появляются после того, как вы добавите один из процессоров кадров.

Если при выборе модели у вас в терминале выскакивает надпись, что модель отсутствует, просто внизу страницы уберите галочку со skip_download, она мешает скачиванию модели.

Другие параметры

Execution providers — среда выполнения. Если у вас видеокарта NVIDIA, то выбирайте режим Cuda. CPU, соответственно, использование ресурсов процессора.

Execution Thread Count — количество потоков выполнения. Желательно выставлять побольше, но не рекомендую ставить в самый потолок.

Video Memory Strategy — стратегия видеопамяти. Не рекомендую его менять от слова совсем, в крайнем случае у вас просто вся видеопамять будет загружена. Также не рекомендую изменять Output Video Resolution и Output Video FPS, так как они задаются автоматически, когда вы подгружаете видео или gif.

Блок Options:

• keep-temp — сохраняет нарезанные кадры.
• skip-audio — позволяет не использовать звуковую дорожку на видео.

Возможности FaceFusion

Как вы уже поняли, FaceFusion работает и с изображениями, и с видео (и даже с видео со звуком), действительно ультимативная нейросеть для дипфейков. В последнем обновлении так же добавили модификатор возраста!

Также в этой версии добавили процессор age_modifier, и даже с разными тонами кожи нейросеть справляется хорошо.

Ну и если нужно заменить МНОГО лиц, да еще и с восстановлением цвета, то пожалуйста.

В заключение хочется сказать, что FaceFusion очень мощный и полезный инструмент, который может пригодиться всем, кто так или иначе сталкивается с созданием или публикацией контента.

Поэтому используйте данное ПО исключительно в позитивном ключе, придерживаясь этики и закона:

• Не используйте лица людей без их явного согласия.
• Избегайте применения для обмана или введения в заблуждение других лиц.
• Воздержитесь от использования в коммерческих целях без соответствующих разрешений.
• Не создавайте контент, порочащий репутацию или унижающий достоинство других людей.
• Не применяйте технологию для создания фальшивых новостей или дезинформации.
• Избегайте использования в целях политической пропаганды или манипуляции общественным мнением.
• Не используйте для создания порнографического контента без согласия.
• Воздержитесь от применения в ситуациях, где требуется подтверждение личности (например, при онлайн-экзаменах или собеседованиях).
• Не используйте для обхода систем безопасности или аутентификации.
• Избегайте создания контента, нарушающего авторские права или интеллектуальную собственность.
• Помните, что ответственность за его использование лежит на пользователе. Применяйте технологию этично, уважая права и достоинство других людей.

Слабо верится что кто-то прислушается, ибо судя по каналам про GenAI такая техника до сих пор востребована. А раз есть спрос будет и предложение.

Чтобы установить FaceFusion, достаточно скачать портативную версию с установкой в один клик. Лучше скачивайте 7z-архив, который нужно просто разархивировать в любое удобное место. И запускаем там run.bat.

Успехов.