Анимация в Automatic1111.

Всем привет.

Учитывая популярность Automatic1111 по генерации не только картинок, но и анимации, особенно Shorts, я решил сделать справку по инструментам которые позволяют создать анимацию (короткое видео) в первом приближении не выходя из А1111.

Отдельно замечу что во всех случаях следует также использовать мега-расширеие ControlNet (OpenPose, Canny, Depth, Tile, TemporalNet на выбор) для стилизации будущего видео в одном ключе.

Ок, для генерации анимации в Automatic1111 можно использовать скрипты (Scripts):

1) Loopback Wave V1.4.1:

подготовка секвенции и ключевых кадров из начального кадра(опорного кадра) для последующей сборки в ffmpeg. Промпт можно изменять между кадрами. Сборку финального видео лучше проводить вручную.

2) (Beta) Multi-frame Video rendering - V0.72:

подготовка секвенции и ключевых кадров из исходной секвенции(опорной секвенции) для последующей сборки в ffmpeg. Промпт один для всех кадров.

Также для генерации анимации в Automatic1111 можно использовать расширения (Extensions):

3) SD-CN-Animation:

подготовка секвенции и ключевых кадров из начального кадра(опорного кадра) для последующей сборки в ffmpeg. Промпт можно изменять между кадрами. Но мне не понравилось качество генерации кадров.

4) AnimateDiff:

подготовка секвенции и ключевых кадров из начального кадра(опорного кадра) для последующей сборки GIF. Не оцениваю так как не пробовал.

5) TemporalKit:

подготовка секвенции и ключевых кадров из исходного видео для последующей сборки в EBSynth утилите. Увы, в Automatic1111 версии 1.6.0 не работает, вернее работает но без ключей.

6) EBSynth:

подготовка секвенции и ключевых кадров из исходного видео для последующей сборки в EBSynth утилите. Может работать с маской. В принципе расширение больше похоже на органайзер где больше указано что следует сделать вручную на той или иной стадии процесса, всего из 8, и только три из них автоматизированы.

7) Deforum:

подготовка секвенции и ключевых кадров из исходного видео (или опорного кадра) для последующей сборки. Промпт можно изменять между кадрами. Можно использовать выборку опорных кадров. Можно менять тучу настроек влияющих на процесс.Все логично в нем хотя и сложно на первый взгляд. Работает по принципу "запустил и забыл". Заслуживает отдельного поста. Надеюсь что проект не закинут.

На сегодня все, удачи всем.