Учитывая популярность Automatic1111 по генерации не только картинок, но и анимации, особенно Shorts, я решил сделать справку по инструментам которые позволяют создать анимацию (короткое видео) в первом приближении не выходя из А1111.
Отдельно замечу что во всех случаях следует также использовать мега-расширеие ControlNet (OpenPose, Canny, Depth, Tile, TemporalNet на выбор) для стилизации будущего видео в одном ключе.
Ок, для генерации анимации в Automatic1111 можно использовать скрипты (Scripts):
1) Loopback Wave V1.4.1:
подготовка секвенции и ключевых кадров из начального кадра(опорного кадра) для последующей сборки в ffmpeg. Промпт можно изменять между кадрами. Сборку финального видео лучше проводить вручную.
2) (Beta) Multi-frame Video rendering - V0.72:
подготовка секвенции и ключевых кадров из исходной секвенции(опорной секвенции) для последующей сборки в ffmpeg. Промпт один для всех кадров.
Также для генерации анимации в Automatic1111 можно использовать расширения (Extensions):
3) SD-CN-Animation:
подготовка секвенции и ключевых кадров из начального кадра(опорного кадра) для последующей сборки в ffmpeg. Промпт можно изменять между кадрами. Но мне не понравилось качество генерации кадров.
4) AnimateDiff:
подготовка секвенции и ключевых кадров из начального кадра(опорного кадра) для последующей сборки GIF. Не оцениваю так как не пробовал.
5) TemporalKit:
подготовка секвенции и ключевых кадров из исходного видео для последующей сборки в EBSynth утилите. Увы, в Automatic1111 версии 1.6.0 не работает, вернее работает но без ключей.
6) EBSynth:
подготовка секвенции и ключевых кадров из исходного видео для последующей сборки в EBSynth утилите. Может работать с маской. В принципе расширение больше похоже на органайзер где больше указано что следует сделать вручную на той или иной стадии процесса, всего из 8, и только три из них автоматизированы.
7) Deforum:
подготовка секвенции и ключевых кадров из исходного видео (или опорного кадра) для последующей сборки. Промпт можно изменять между кадрами. Можно использовать выборку опорных кадров. Можно менять тучу настроек влияющих на процесс.Все логично в нем хотя и сложно на первый взгляд. Работает по принципу "запустил и забыл". Заслуживает отдельного поста. Надеюсь что проект не закинут.
На сегодня все, удачи всем.
5 comments:
Проблему с ключами в TemporalKit можно решить с префиксом input. Но EBS-файл оно все равно не создает(.
А мне нравится EbSynth, можно продолжить проект с любой стадии.
Кстати Deforum ставит свой ffmpeg.
A1111 не чистит свой кеш. Потому рекомендуется пере запуском GUI прогнать вот такое: for /d %%i in (tmp\tmp*,tmp\pip*) do rd /s /q "%%i" 2>nul || ("%%i" && exit /b 1) & del /q tmp\tmp* > nul 2>&1 & rd /s /q pip\cache 2>nul
AnimateDiff генерирует и mp4 тоже.
Post a Comment
А что вы думаете по этому поводу?