FramePack - новый подход к генерации видео.

Всем привет.

Если вы сегодня не успели опробовать новую модель генерации коротких видео - не расстраивайтесь, ибо завтра будет новая!) Кстати вот и она, FramePack как новый подход к генерации видео на потребительских видеокартах.

🧠 Что такое FramePack?​

FramePack - это инновационная модель генерации видео, разработанная lllyasviel, которая использует прогрессивное предсказание кадров (next-frame prediction) и эффективную компрессию контекста. 

FramePack предсказывает следующий кадр на основе предыдущих кадров в видео. Он использует фиксированную длину контекста в трансформаторе независимо от длины видео. Это позволяет преодолеть недостаток многих генераторов видео (таких как Wan 2.1, Hunyuan и LTX Video), которые ограничивают длину видео из-за доступной памяти: для FramePack требуется одинаковый объем VRAM для создания 1-секундного и 1-минутного видео что позволяет создавать длинные видео (до 60 секунд при 30 FPS) даже на видеокартах с 6 ГБ VRAM. ​

🏆 Преимущества FramePack перед WAN 2.1​

Длина видео: FramePack позволяет создавать видео продолжительностью до 60 секунд, в то время как WAN 2.1 ограничен примерно 5 секундами. ​

🦾 Требования к оборудованию:  FramePack работает на видеокартах от 6 Гб VRAM, что делает его доступным для более широкого круга пользователей. ​

🚀Скорость генерации: FramePack обеспечивает более быструю генерацию видео благодаря оптимизированной архитектуре и компрессии контекста. 

Работа с  FramePack возможна как в отдельном GUI:

🔗  FramePack установщик отдельного веб интерфейса: (https://github.com/lllyasviel/FramePack)

так и в ComfyUI:

🔗 FramePack workflow для ComfyUI: (https://github.com/kijai/ComfyUI-FramePackWrapper/tree/main/example_workflows)

💫 Установка отдельного web GUI:

1. Скачайте архив:  (https://github.com/lllyasviel/FramePack/releases/download/windows/framepack_cu126_torch26.7z)

2. После загрузки распакуйте и обновитесь с помощью файла update.bat. 

3. Для запуска используйте  run.bat.

4. Модели будут скачиваться автоматически. Загрузится около 40 Гб разного добра с HuggingFace.

💫 Установка в ComfyUI:

1. Установите узлы из этого репозитория: (https://github.com/kijai/ComfyUI-FramePackWrapper/tree/main)

2. Скачайте и закиньте рабочий процесс в ComfyUI:(https://github.com/kijai/ComfyUI-FramePackWrapper/tree/main/example_workflows)

3. Модели должны скачаться автоматически или скачайте их сами по ссылке и поместите в папку models/diffusion_models: (https://huggingface.co/lllyasviel/FramePackI2V_HY/tree/main)

4. Так же вам понадобятся текстовые энкодеры: (https://huggingface.co/Comfy-Org/HunyuanVideo_repackaged/tree/main/split_files)

5. Понадобится модель clip-vision: (https://huggingface.co/Comfy-Org/sigclip_vision_384/tree/main)

✨ FramePack открывает новые возможности для генерации видео, делая этот процесс доступным и эффективным даже на обычных потребительских видеокартах. Оцените преимущества этой технологии!

Удачи.