Хочу Live Portrait.

Всем привет.

Cегодня я хочу поделиться с вами способом как сделать ваши портреты живыми и выразительными (и при этом вдоволь покривляться перед web-камерой). А делается такое с помощью проекта Live Portrait. Благодаря GenAI энтузиастам проект существует онлайн в сети на Spaces, в виде нод в популярном  ComfyUI, и даже в виде расширения в Forge.

Если вам некогда инсталлировать ноды или расширение, то Spaces для пробы своих идей будет самое то, также я пробовал портированный Live Portrait локально на своем ПК, отличий в работе никаких.

Если вы фанат ComfyUI, то все выполняется как обычно - запустите свой ComfyUI, затем перейдите в раздел «Manager» и перейдите в раздел «Custom nodes manager». В поисковой строке введите «Advanced live portrait» и установите узел. Далее, нужно загрузить и подключить узел из  Live Portrait, но название у него «Expression editor». После добавьте ноду для загрузки изображения и ноду для выгрузки результата. Если эмоций нужно больше тогда подключите несколько нод  «Expression editor» последовательно.

Важно - чтобы анимация получились качественной, важно использовать чёткое, качественное портретное изображение с хорошим освещением. Лицо персонажа, желательно, должно быть обращено прямо в камеру, т.е. анфас. Лучше всего, если персонаж будет иметь нейтральное выражение лица - это позволит добиться наилучшей анимации и избежать ошибок и артефактов. Фон желательно иметь однотонным. На примере ниже четко видно (приведено специально для вас) что анимация кривляний происходит в пределах квадрата, все что в него не попадает заметно как артефакт.

В итоге ваша простейшая схема буже содержать узлы:

• load image - узел для загрузки изображения;
• expression editor - узел для редактирования изображения;
• advanced live portrait - узел, который получает информацию от предыдущих узлов и позволяет задать параметры для каждого из них.
• video combine - узел, который объединяет все изображения в анимированный файл или видео. 

С параметрами в expression editor разберетесь быстро, там ничего сложного.

Ах да, в Forge Live Portrait интегрируется как обычное расширение и выглядит точно так же как на портале Spaces.

Пользуйтесь на здоровье.