Генерація відео в ComfyUI.

Привіт, привіт.

Сьогодні ComfyUI вигідно відрізняється від інших офлайнових інструментів GenAI тим що дозволяє генерувати крім картинок ще і короткі відео. Так, я знаю про Deforum, але то інше і дещо складніше.

Генерація відео в ComfyUI - це процес створення анімацій на основі зображень (I2V) або тексту (T2V), де ти можеш оживити статичне зображення, створити відео лише за текстовим описом або зробити плавні переходи між кадрами. Усе працює через зручний графічний інтерфейс, де ти будуєш ланцюжок процесів (workflow), додаєш модулі та налаштовуєш параметри для отримання бажаного результату. Це підходить як для художників і творців контенту, так і для ентузіастів AI, які хочуть експериментувати з анімацією, маючи повний контроль над процесом без необхідності програмування.

На сьогодні автори безкоштовних відео моделей пропонують нам декілька варіантів, від SVD до WAN. Звісно все впирається в наші забаганки до розміру кадру, мінімальної довжини одного відео та наявності VRAM.

Найбільш популярні з варіантів реалізації наступні:

 1️⃣SVD (Stable Video Diffusion)  

- Призначення: Генерація коротких відео на основі статичного зображення або тексту.  

- Розмір кадру: 576×1024 або 1024×1024  

- Мінімальна довжина: 1-2 секунди (16 кадрів при 8 FPS)  

- Мінімальний VRAM: 10-12 ГБ  

- Ключові особливості:  

  - Побудована на основі дифузійних моделей.  

  - Підтримує image-to-video (I2V).  

 2️⃣Hanyuan  

- Призначення: Генерація плавних відео з високою роздільною здатністю.  

- Розмір кадру: 720p (1280×720)  

- Мінімальна довжина: 2 секунди (16 кадрів при 8 FPS)  

- Мінімальний VRAM: 8 ГБ  

- Ключові особливості:  

  - Добре зберігає консистентність між кадрами.  

  - Орієнтована на природність руху.  

 

3️⃣ CogVideo  

- Призначення: Генерація відео з текстового опису.  

- Розмір кадру: 480p (852×480)  

- Мінімальна довжина: 2-3 секунди (16-24 кадри при 8 FPS)  

- Мінімальний VRAM: 12-16 ГБ  

- Ключові особливості:  

  - Використовує текстові підказки для створення відео.  

  - Адаптується до різних стилів.  

 4️⃣ LTXV 0.9.5  

- Призначення: Генерація відео з покращеним контролем кадрів.  

- Розмір кадру: 1024×1024  

- Мінімальна довжина: 2 секунди (16 кадрів при 8 FPS)  

- Мінімальний VRAM: 16 ГБ  

- Ключові особливості:  

  - Може підтримувати довші відео.  

  - Орієнтована на стабільність деталей.  

 5️⃣ Ruyi  

- Призначення: Високоякісна генерація відео зі збереженням структури об'єктів.  

- Розмір кадру: 720p (1280×720)  

- Мінімальна довжина: 2 секунди (16 кадрів при 8 FPS)  

- Мінімальний VRAM: 24 ГБ  

- Ключові особливості:  

  - Фокус на реалістичних рухах.  

  - Може підтримувати motion control.  

 6️⃣ WAN 2.1  

- Призначення: Генерація реалістичних коротких відео.  

- Розмір кадру: 1080p (1920×1080)  

- Мінімальна довжина: 3 секунди (24 кадри при 8 FPS)  

- Мінімальний VRAM:  

  - T2V-1.3B (Text-to-Video): 8,19 ГБ  

  - T2V-14B (Text-to-Video): 15 ГБ  

  - I2V-14B-720P (Image-to-Video): 40 ГБ  

- Ключові особливості:  

  - Покращена стабільність кадрів.  

  - Підтримка різних стилів (реалізм, аніме тощо).  

Локальна генераця відео ComfyUI це добре, але зважте на те що онлайнові інструменти розвиваються набагато швидше.  По якості самого відео онлайн вже далеко попереду, і я гадаю що така тенденція буде збергатися довго. Але там обмежена кількість безкоштовних генерацій. Тому або платимо або граймося вдома.)

Щасти.