А АTuesday 19 September 2023

Анимация в Automatic1111.

Всем привет.

Учитывая популярность Automatic1111 по генерации не только картинок, но и анимации, особенно Shorts, я решил сделать справку по инструментам которые позволяют создать анимацию (короткое видео) в первом приближении не выходя из А1111.

Отдельно замечу что во всех случаях следует также использовать мега-расширеие ControlNet (OpenPose, Canny, Depth, Tile, TemporalNet на выбор) для стилизации будущего видео в одном ключе.

Ок, для генерации анимации в Automatic1111 можно использовать скрипты (Scripts):

1) Loopback Wave V1.4.1:

подготовка секвенции и ключевых кадров из начального кадра(опорного кадра) для последующей сборки в ffmpeg. Промпт можно изменять между кадрами. Сборку финального видео лучше проводить вручную.

2) (Beta) Multi-frame Video rendering - V0.72:

подготовка секвенции и ключевых кадров из исходной секвенции(опорной секвенции) для последующей сборки в ffmpeg. Промпт один для всех кадров.

Также для генерации анимации в Automatic1111 можно использовать расширения (Extensions):

3) SD-CN-Animation:

подготовка секвенции и ключевых кадров из начального кадра(опорного кадра) для последующей сборки в ffmpeg. Промпт можно изменять между кадрами. Но мне не понравилось качество генерации кадров.

4) AnimateDiff:

подготовка секвенции и ключевых кадров из начального кадра(опорного кадра) для последующей сборки GIF. Не оцениваю так как не пробовал.

5) TemporalKit:

подготовка секвенции и ключевых кадров из исходного видео для последующей сборки в EBSynth утилите. Увы, в Automatic1111 версии 1.6.0 не работает, вернее работает но без ключей.

6) EBSynth:

подготовка секвенции и ключевых кадров из исходного видео для последующей сборки в EBSynth утилите. Может работать с маской. В принципе расширение больше похоже на органайзер где больше указано что следует сделать вручную на той или иной стадии процесса, всего из 8, и только три из них автоматизированы.

7) Deforum:

подготовка секвенции и ключевых кадров из исходного видео (или опорного кадра) для последующей сборки. Промпт можно изменять между кадрами. Можно использовать выборку опорных кадров. Можно менять тучу настроек влияющих на процесс.Все логично в нем хотя и сложно на первый взгляд. Работает по принципу "запустил и забыл". Заслуживает отдельного поста. Надеюсь что проект не закинут.

На сегодня все, удачи всем.




5 comments:

Anonymous said...

Проблему с ключами в TemporalKit можно решить с префиксом input. Но EBS-файл оно все равно не создает(.

Anonymous said...

А мне нравится EbSynth, можно продолжить проект с любой стадии.

Anonymous said...

Кстати Deforum ставит свой ffmpeg.

Anonymous said...

A1111 не чистит свой кеш. Потому рекомендуется пере запуском GUI прогнать вот такое: for /d %%i in (tmp\tmp*,tmp\pip*) do rd /s /q "%%i" 2>nul || ("%%i" && exit /b 1) & del /q tmp\tmp* > nul 2>&1 & rd /s /q pip\cache 2>nul

Anonymous said...

AnimateDiff генерирует и mp4 тоже.

Post a Comment

А что вы думаете по этому поводу?

Версия на печать

Популярное