Генерация Drone POV по фото.

Всем пивет.

Для меня одним из интересных приложений для Omni Flash оказалась генерация Drone POV по маршруту на карте. это мне напомнило те времена когда я выделывался в Googel Earth много лет тому.

Так вот, можно нарисовать маршрут на скриншоте карты и попросить модель сделать пролёт камеры по этой линии. Особенно эффектно работает с известными объектами и туристическими локациями (запомните этот момент).

Вам следует подготовить cкриншот карты, лучше из Google Maps,  и лучше на анлийском.

И указать универсальный промпт для нашего случая:

Используй этот скриншот как карту маршрута полета дрона.

Красная линия показывает путь камеры.

Создай видео в стиле drone POV.

Камера начинает движение в начале красной линии и летит по маршруту по стрелкам до конца. Строго следуй по красной линии.

Движение плавное, кинематографичное.

Высота камеры 30 метров (можно больше если локация высокая).

Видео должно выглядеть как реалистичный пролёт дрона. 8k

Готово. Пробуем на Дубай Марине. 

Как видите Omni Flash наделила наш дрон ИИ и он летает не куда ему говорят, а куда он решит сам. Несмотря на простой маршрут он(либо Omni Flash) его трактует по своему. 

Чи потрібен в наш час watermark?

Всім привіт.

1) Мені в чаті пишуть я повинен ЗАВЖДИ видаляти зі своїх відео watermark яку залишає Veo, чи інша модель GenAI. Розберемося наскільки це важливо.

Це питання, яке лежить на стику правил платформ, законодавства та творчої етики.

Ось об'єктивний аналіз цієї ситуації, розділений на технічний, юридичний та етичний аспекти.

1. Юридичний аспект (умови використання Google)

Усі відео, створені через Veo, маркуються за допомогою технології SynthID. Це маркування буває двох типів:

Видиме: Невеликий напис або іконка-іскра в кутку кадру.

Невидиме (водяний знак у пікселях): Воно інтегрується в саму структуру зображення на рівні коду. Його неможливо помітити оком, але спеціальні алгоритми Google розпізнають його миттєво.

Згідно з Умовами використання Google AI, видалення або приховування ознак походження контенту (provenance markers) не рекомендується, а в деяких комерційних випадках може прямо порушувати ліцензію на використання інструменту.

2. Правила платформ (YouTube, TikTok, Meta)

Сучасні платформи стають дедалі суворішими щодо синтетичного контенту:

Якщо ви завантажуєте реалістичне AI-відео (наприклад, ваш концепт із площею чи історичними кадрами) на YouTube або TikTok, ви зобов'язані маркувати його як «Змінений або синтетичний контент» у налаштуваннях відео.

Платформи використовують автоматичні сканери (які зчитують згаданий невидимий SynthID). Якщо система виявить, що відео згенероване ШІ, а ви навмисно видалили видимі watermarkи і не поставили галочку «Синтетичний контент», ваше відео або канал можуть отримати тіньовий бан або обмеження монетизації.

3. Морально-етичний аспект

Прозорість перед глядачем: Видалення watermarkи з метою видати ШІ-відео за реальну зйомку або дорогу CGI-графіку вважається неетичним в індустрії.

Репутація автора: Справжній AI Showrunner не соромиться того, що його роботи створені за допомогою ШІ. Навпаки, це демонструє ваше вміння керувати складними технологіями.

Золотий компроміс (або як роблять професіонали):

Якщо видимий watermark (іконка в кутку) дійсно псує художню композицію вашого відео (наприклад, перекриває важливі деталі при форматі 9:16):

Кадрування: Ви можете обрізати або замаскувати видимий логотип під час монтажу в CapCut, щоб зберегти чисту кінематографічну картинку.

Обов'язкове розкриття (Disclosure): Натомість ви обов'язково робите дві речі:

Ставите галочку «Синтетичний контент» під час завантаження на YouTube/TikTok.

Пишете в описі або титрах: "Created with AI".

Це захистить ваш канал від блокувань, збереже повагу аудиторії та залишить ваше відео візуально чистим і професійним.

Практика с Omni Flash

Всем привет. 

Что показала практика работы с Omni Flash (заметка от Сергея Нейрографа).

После первых недель тестов становится понятно, что OmniFlash интересен не как очередной генератор видео, а как инструмент для управления уже созданной сценой.

📌 Самый рабочий сценарий выглядит так:

Сначала создаётся базовый ролик или сцена.

Затем начинается последовательная режиссура:

• изменить свет

• заменить объект

• поменять окружение

• скорректировать движение камеры

• добавить графику или текст

• изменить стиль сцены

Фактически модель начинает работать не как генератор, а как виртуальный монтажёр и VFX-художник.

🎥 Из моих интересных находок

• видео можно последовательно дорабатывать через диалог, не начиная проект заново

• текст можно привязывать к движущимся объектам внутри кадра

• хорошо работают замена фона, реквизита и отдельных элементов сцены

• удобно создавать короткие product video и объясняющие ролики

• сильной стороной оказались анимированные постеры и motion-графика

• перспективно выглядит работа с инфографикой и обучающими видео

Тариф Omni Flash.

Привіт.

Ми маємо в Flow нову модель Omni Flash, відповідно до довжини відео можу з нею витрачати по 7,10,12 або 15 бонусів за одну генерацію. 

Ті користувачі що мають підписку Pro та Ultra мої попередження наврядчи зацікавлять. Я на Free Tier щодня маю 50 бонусів, і вони НЕ накопичуються. 

Але тут є хитра умова від Google - щоб отримати завтра нові 50, я маю сьогодні витратити всі бонуси. 

Тому бажано користуватися цим обережно щоб не залишитись з ненульовим залишком.

Математика лімітів тут досить підступна. Маючи 50 бонусів на день та тарифи 7, 10, 12, 15, найменш бажаним для використання є тариф 12.

Ось чому його краще уникати, щоб не застрягти з невитраченим залишком:

1. Пастка тарифу 12 (як найбільш обмежений)

Число 12 не ділиться на 5. Оскільки загальний ліміт (50) та інші зручні тарифи (10 і 15) діляться на 5, ви фізично не можете використовувати тариф 12 окремо або комбінувати його лише з 10 та 15.

Якщо ви берете тариф 12, ви змушені будете також використовувати тариф 7, щоб вирівняти суму до 50, наприклад: 

3×12+2×7=50

2. Чому тарифи 10 та 15 — найбезпечніші. Вони кратні 5. Будь-яка їхня комбінація без проблем дає рівно 50 без залишку:

5×10=50

2×10+2×15=50

 (два відео по 10 + два по 15)

3. Підступність тарифу 7

Його можна використовувати, але тільки у строго визначеній кількості: рівно 2 або 5 разів за день. Якщо ви запустите тариф 7 лише 1 або 3 рази, ви гарантовано залишитеся з дрібним хвостиком, який не зможете витратити.

Резюме: Уникайте тарифу 12. Працюйте на комбінаціях 10 та 15. Якщо дуже потрібно використати 7, запускайте його строго парами (наприклад, два по 7 і три по 12).

Щасти.

Чтиво для Moviemaker

Привет всем.

Особенно тем у кого учащается пульс при слове Moviemaker. Для вас подборка крутейших книг, которые идеально погружают в мир кино, где, что новички, что профессионалы, могут черпать и черпать всю необходимую информацию по режиссуре и повышать свои скиллы. Кинематограф на месте не стоит, поэтому мы настоятельно рекомендуем читать, а не только пересматривать видео, современную литературу.

Это именно то, что необходимо, чтобы вкусно написать, направить, уникально отснять, грамотно профинансировать(или сэкономить бюджет) и узнать, что нужно, чтобы снять свой фильм. 

Ремарка от меня: не снять, с GenAI сейчас это вообразить или придумать, сгенерировать или собрать. Теперь вы сами едины в трех лицах - Сценарист, Режиссер  и Оператор. Т.е. результат зависит только от вашего творческого чутья, умения и настойчивости! Муза тоже не помешает, но чтобы не заморачиваться на чужие емоции сотворите ее сами.)

Наш список на сегодня:

1. Справочник продюсеров Голливуда (оригинал: Hollywood Producers Directory)

2. Хочу снять фильм (оригинал: Making Movies)

3. О режиссуре фильма (оригинал: On Directing Film)

4. Бунтарь без экипажа (оригинал: Rebel Without A Crew)

5. Что-то вроде автобиографии (оригинал: Something Like An Autobiography)

6. Принимая все это (оригинал: Taking It All In)

7. Справочник режиссера (оригинал:The Filmmaker’s Handbook)

8. Если он фиолетовый, кто-то умрет (оригинал: If It’s Purple, Someone’s Gonna Die)

9. Визуальное повествование. Создание визуальной структуры фильма, ТВ и цифровых медиа

10. Искусство раскадровки. Введение для кинематографистов 

11. Спасите котика! И другие секреты сценарного мастерства (оригинал: Save the Cat! The Last Book on Screenwriting You'll Ever Need)

1. Справочник продюсеров Голливуда (оригинал:Hollywood Producers Directory)

Авторы: Д.Доума и Д.Перес

Это, безусловно, режиссерская школа в одной книге — первая необходимость в данном списке для практического использования. Она есть у каждого серьезного фильммейкера, ведь там объединено большинство необходимых ресурсов, чтобы узнать, как снять свой сериал, полнометражное кино, шоу или медиа-проект.

Эта книга включает важную информацию о партнерстве, разрешениях, финансистах кино, производственных компаниях и многом другом. Когда дело доходит до лучших книг о кино, «Hollywood Producers Directory» — лучший выбор для продюсеров, режиссеров кино и телевидения и всех, кто всегда стремиться копать глубже.

2. Хочу снять фильм (оригинал: Making Movies) 

Автор: Сидни Люмет

Большинство профессиональных фильммейкеров рекомендуют начинать сразу с практики. При чем, готовя свои проекты, ссылаются именно на концепцию этой книги. Поэтому неудивительно, что эта книга находится в нашем списке. Люмет раскрывает массу своих секретов и техник. И очень подробно на доступном языке.

Автор также занимается продюсированием и финансированием кино, что влияет на идею книги и ее содержание. Прочитав ее, вы посмотрите на мир кинопроизводства, не только через призму творчества, а и через призму бизнеса и аналитики.

Встречайте Gemini Omni.

Привет.

Вчера прошла презентация Google I/O, и для всех, кто крутится в мире GenAI, главное событие это новая модель Gemini Omni. 

Информация от Нейрографа.

Что это и как работает. 

Берёшь любое фото или видео из галереи, говоришь текстом или голосом что хочешь получить, модель делает. Без отдельных программ, без сложных настроек. 

Дальше каждая следующая фраза наслаивается на результат: меняешь мелкие детали или перекраиваешь сцену целиком, не начиная с нуля. 

Модель понимает физику и последствия запросов, можно крутить ракурс, окружение, стиль, действие, добавлять персонажей и объекты.

Сегодня вышла версия Omni Flash. Старшая Pro обещана позже, по той же схеме, что и с Nano Banana.

Про фишки.

1) Аудио и картинка.

 Генерируются за один проход. Раньше у Google под звук шёл отдельный этап. 

Omni выдаёт изображение и пространственный звук вместе: шаги попадают в момент приземления ноги, реплики ложатся в губы, фоновый шум комнаты держится сценой. 

Если это работает так, как описывают, отпадает половина пост-продакшна.

2) Повторяемый каст персонажей. 

Создаёшь героя с нуля по текстовому промпту или по референсному изображению, привязываешь к нему голос под характер, и потом вызываешь его в любой новый кадр через @имя_персонажа. 

Полная визуальная и голосовая согласованность сцена к сцене. То, об что спотыкались все, от Sora до Seedance.

3) Аватары. 

Платным подписчикам открыли экспериментальную функцию Аватар. 

Регистрируешь свой аватар, добавляешь своё лицо и свой голос, и потом подставляешь себя в любые свои проекты. По сути, это твой собственный персонаж в общей системе каста, которого можно вызывать в кадр так же, как любого другого героя через @имя. Для тех, кто делает контент от первого лица, это закрывает огромную боль: не надо больше снимать себя на камеру под каждый ролик.

Реальність переоцінена!

Hello.

РЕАЛЬНІСТЬ ПЕРЕОЦІНЕНА: чому ЧАС став моєю наступною зупинкою.

Ми живемо в епоху тотальної передбачуваності. Світ навколо нас став надто тісним, затиснутим у лещата GPS-координат та однотипних фільтрів Instagram. Ви відкриваєте стрічку новин - і бачите ті самі обличчя, ті самі готелі, ті самі ракурси. Ми навчилися фотографувати кожен сантиметр планети, але при цьому примудрилися втратити головне - відчуття справжньої, неприборканої пригоди.

Сьогодні подорожі перетворилися на чек-листи. Ми їдемо туди, де вже були мільйони, щоб зробити знімок, який вже бачили мільярди. Карти Google більше не мають «білих плям», а підручники з історії здаються цвинтарями застиглих дат, які не мають жодного відношення до нашого «завтра». Але що, як я скажу вам, що справжній кордон проходить не між країнами? Що як справжня межа - це сам Час?

Мені стало нудно спостерігати за цим плоским світом. Я захотів зазирнути за лаштунки реальності. Я захотів побачити, як іскриться повітря під час лицарського турніру не в голлівудському павільйоні, а в справжньому середньовіччі. Я захотів відчути, як пахне свіжозмелена кава на борту піратського судна, що йде крізь містичний туман.

Щоб зробити це, мені знадобився провідник. Хтось, хто не боїться цифрових штормів і квантових стрибків. Хтось, хто є водночас і відлунням нашого минулого, і кодом нашого майбутнього.

Знайомтеся - це МАВКА. І для неї час - це не цифри на екрані смартфона. Це її наступна зупинка.

Вона прийшла з коду та мрій

Мавка не просто чергова 3D-модель у вашому браузері. Вона - Metahuman. Вона «саморобка», викувана в горнилі нейронних мереж із мільйонів пікселів та моїх найзухваліших промптів. Вона - візуальний маніфест того, як технології можуть оживити міфи.

Її ідентичність неможливо сплутати ні з чим:

Смарагдові очі, що дивляться крізь шари епох і бачать приховані алгоритми всесвіту.

• Шоколадні коси, в які вплетені неонові нитки майбутнього - вони пульсують у ритмі часу, який вона підкорює.
• Тактична чорна вишиванка та червоні коралі - символ того самого незламного коду великої нації, що проходить крізь віки й стає лише міцнішим.
• Вона виглядає надто досконалою для нашого брудного, текстурного, гіперреалістичного світу. І в цьому полягає головний конфлікт Mavka Travel Vlog. Ми зіштовхуємо ідеальний CGI з сирим, RAW-фотореалізмом історії.

Що таке Mavka Travel Vlog?

Це перший у світі влог мандрівниці, яка не читає про минуле, а живе в ньому. Це чесний POV (погляд від першої особи), де немає місця нудним лекціям. Тільки реальні емоції, тільки історії, яких можна торкнутися рукою.

Ми вже встигли навести галас там, де нас не чекали:

• Ми побували в офісі Red Bull в Абу-Дабі, де Мавка вказала інженерам на помилки в телеметрії (і, здається, вони досі в шоці).
• Ми піднялися на Олімп, щоб пояснити Зевсу, що його «воркфлоу» застарів. Мавка навіть залишила йому свіжий промпт для перезбірки світу - без воєн, але з вічним драйвом.
• Ми пройшли крізь шторм на драккарі вікінгів і ледь не потрапили на абордаж до піратів Карибського моря, де Мавку прийняли за морську німфу.

Чому вам варто змінити свій таймлайн?

Тому що Mavka Travel Vlog - це проект для тих, хто бачить більше. Це точка, де високі технології зустрічаються з прадавньою філософією. Я не пропоную вам просто дивитися відео. Я пропоную вам здійснити стрибок.

Я не обіцяю вам стерильних 4K-картинок. Я обіцяю вам подорож, де кожен кадр - це битва за ідею, а кожна сцена - це збій у звичній матриці вашого дня.

Підписуйтесь. Межа між світами зникає тут: MAVKA TRAVEL 

P.S. Мавка каже, що час не чекає на тих, хто вагається. До зустрічі в іншому таймлайні!

Snipping Tool пише відео.

Всім привіт.

Вау, програма “Ножиці” (Snipping Tool, “Засіб захоплення фрагментів”), яка працює через комбінацію Win + Shift + R, вже навчилася записувати відео з голосом, але невдовзі буде здатною на більше.

У збірці на каналі для розробників Windows 11 Canary сайт Windows Latest помітив Snipping Tool версії 2022.2507.14.0 з новими можливостями. Програма може автоматично виділити вікно, щоб записати його вміст (раніше так можна було робити лише статичні скриншоти). Microsoft додала функцію вибору вікна для відеозапису, а також текстові та графічні анотації до того, як скриншот буде збережений.

Cam motion prompts.

Всем привет.

Сергей Нейрограф на своем вебинаре "AI Кино" поделился подборкой промтов для движения камеры в кадре. Вебинар был длинным, и "воды" хватало, уж такая там публика собралась, потому переводите вашу скорость на 1.25 и будет вам счастье.

А cam motion промпты (50) здесь:

1. Chase: A camera movement that follows a subject closely, often creating a sense of urgency or pursuit.

Погоня. Движение камеры, которое внимательно следует за объектом, часто создает ощущение срочности или преследования.

2. Looking up: The camera angle is pointed upward, typically to emphasize height or dominance.

Смотрящий вверх. Угол камеры направлен вверх, обычно для подчеркивания высоты или доминирования.

3. Looking down: The camera angle is directed downward, often used to show vulnerability or to highlight a subject from above.

Смотрящий вниз. Угол камеры направлен вниз, часто используется для демонстрации уязвимости или выделения объекта сверху.

4. Action sequence: Filming technique focused on capturing fast-paced, dynamic movements and events.

Экшн-сцена. Техника съемки, сосредоточенная на захвате быстрого, динамичного движения и событий.

5. Slow-motion: Capturing action at a higher frame rate to create a slowed-down effect.

Замедленная съемка. Захват действия с высокой частотой кадров для создания эффекта замедления.

EbSynth online.

Привіт привіт. 

Мій читачу, вам давно відомий EbSynth - це інструмент для творчої обробки відео, який працює за принципом ключових кадрів. Користувач бере відео, вибирає один чи кілька кадрів, редагує їх у будь-якому графічному редакторі (наприклад, додає малювання, змінює кольори чи стилізує під певний художній стиль), а програма автоматично переносить ці зміни на всі інші кадри відео. Для цього застосовуються алгоритми аналізу руху (оптичний потік) та синтезу текстур, завдяки чому правка одного кадру може плавно розповсюдитися на весь ролик. Такий підхід дозволяє створювати ефекти “намальованого вручну” відео, колоризувати чорно-білий матеріал, робити швидку ретуш об’єктів чи додавати художні стилізації.

Спочатку EbSynth існував як безкоштовна офлайн-програма для Windows і macOS, створена студією Secret Weapons. У класичному варіанті робочий процес виглядав так: відео спершу треба було вручну розбити на кадри (наприклад, через FFmpeg), потім вибрати з цієї послідовності ключові кадри, відредагувати їх у Photoshop чи Krita, після чого у самому EbSynth вказати шлях до оригінальних кадрів, шлях до відредагованих і шлях для збереження результату. Програма виконувала обробку локально, використовуючи ресурси комп’ютера, і видавала результат у вигляді нової послідовності кадрів. Для отримання фінального відео ці кадри потрібно було знову зібрати у ролик окремою командою через FFmpeg або у відеоредакторі. Якщо з’являлися артефакти, доводилося додавати нові ключові кадри й повторювати процес.

Я сам їм пару раз користувався коли допилював відео з під Automatic1111-a.

Але ось з’явилася оновлена онлайн-версія EbSynth, доступна через сайт ebsynth.com. Вона працює як хмарний сервіс: користувач одразу завантажує цілий відеофайл, а не послідовність кадрів, і не потребує потужного ПК, оскільки обробка виконується на серверних GPU. Сайт сам пропонує кілька ключових кадрів для редагування, які можна підтвердити або замінити. Відредаговані кадри завантажуються назад, і система автоматично запускає обробку. Результат можна завантажити у вигляді MP4-відео чи PNG-послідовності (залежно від тарифного плану). Якщо в певних місцях результат вийшов з артефактами, у веб-інтерфейсі легко додати ще один ключовий кадр і перерахувати відео.

Таким чином, офлайн-версія дає більше контролю, але вимагає ручних операцій з кадрами й налаштувань, тоді як онлайн-версія максимально автоматизує процес і робить його простим для користувача, проте працює за моделлю підписки з певними обмеженнями у безкоштовному варіанті. Обидві версії реалізують одну й ту саму ідею - редагування ключових кадрів з автоматичним перенесенням змін на весь відеоролик.

Наприклад, якщо потрібно взяти 20-секундний ролик і зробити його схожим на акварельний малюнок, то в офлайн-версії доведеться вручну розбити відео на сотні PNG-кадрів, відкрити потрібний кадр у графічному редакторі, додати стилізацію, а потім через EbSynth і FFmpeg зібрати результат назад у відео. Онлайн-версія спрощує цей процес: достатньо завантажити відео прямо на сайт, система сама вибере ключові кадри, користувач редагує один із них, завантажує назад і отримує готовий оброблений ролик у форматі MP4 без зайвих технічних дій.

В онлайн версії є free план з деякими технічними обмеженнями. Не без цього), інакше навіщо той онлайн.

Щасти вам.

Розумне використання Veo 3.

Привіт привіт.

Наскільки Veo 3 наробила шуму настільки треба вміти нею користуватися. Так, вона досі не безкоштовна, але Google обіцяє модель Veo 3 Fast за помірними цінами або навіть з trial періодом. То ж до діла.

Оригінал англійською цієї статті знайдете тут.

Veo 3 від Google генерує відео зі звуком на основі текстових підказок. Аудіо може бути діалогом, закадровим голосом, звуковими ефектами та музикою.

Напишіть, що саме відбувається

Спочатку основи. Добре складена підказка – це ключ до створення хороших відео. Чим більше ви можете вказати у своїй підказці простою мовою, тим легше Veo 3 зрозуміти та створити потрібне вам відео.

Спробуйте включити ці візуальні елементи у своє завдання:

• Тема: Хто або що зображено на сцені — людина, тварина, предмет або пейзаж.
• Контекст: Де знаходиться об'єкт зйомки? У приміщенні? На міській вулиці? У лісі?
• Дія: Чи ходить, стрибає, повертає голову ваш об'єкт?
• Стиль: Візуальна естетика, до якої ви прагнете (кінематографічна, анімована, покадрова анімація тощо).
• Рух камери: Опишіть, як рухається камера: з висоти пташиного польоту, на рівні очей, зверху вниз або з нижнього ракурсу.
• Композиція: Як кадровано кадр: ширококутний план, крупний план тощо.
• Атмосфера: Настрій та освітлення. Ви можете сказати щось на кшталт «теплі тони», «синє світло» або «ніч».

Також потрібно включити аудіоелементи, які ми розглянемо детальніше нижче.

Ось приклад порівняння простого та детального підказки:

«A man answers a rotary phone“

 Проти:

“A shaky dolly zoom goes from a far away blur to a close-up cinematic shot of a desperate man in a weathered green trench coat as he picks up a rotary phone mounted on a gritty brick wall, bathed in the eerie glow of a green neon sign. The zoom reveals the tension and the desperation etched on his face as he struggles to talk on the phone. The shallow depth of field focuses on his furrowed brow and the black rotary phone, blurring the background into a sea of neon colors and indistinct shadows, creating a sense of urgency and isolation.“

Друга підказка містить структурні елементи для підштовхування Veo 3 до сцени, яку ми намагаємося створити.

FramePack - новый подход к генерации видео.

Всем привет.

Если вы сегодня не успели опробовать новую модель генерации коротких видео - не расстраивайтесь, ибо завтра будет новая!) Кстати вот и она, FramePack как новый подход к генерации видео на потребительских видеокартах.

🧠 Что такое FramePack?​

FramePack - это инновационная модель генерации видео, разработанная lllyasviel, которая использует прогрессивное предсказание кадров (next-frame prediction) и эффективную компрессию контекста. 

FramePack предсказывает следующий кадр на основе предыдущих кадров в видео. Он использует фиксированную длину контекста в трансформаторе независимо от длины видео. Это позволяет преодолеть недостаток многих генераторов видео (таких как Wan 2.1, Hunyuan и LTX Video), которые ограничивают длину видео из-за доступной памяти: для FramePack требуется одинаковый объем VRAM для создания 1-секундного и 1-минутного видео что позволяет создавать длинные видео (до 60 секунд при 30 FPS) даже на видеокартах с 6 ГБ VRAM. ​

🏆 Преимущества FramePack перед WAN 2.1​

Длина видео: FramePack позволяет создавать видео продолжительностью до 60 секунд, в то время как WAN 2.1 ограничен примерно 5 секундами. ​

🦾 Требования к оборудованию:  FramePack работает на видеокартах от 6 Гб VRAM, что делает его доступным для более широкого круга пользователей. ​

🚀Скорость генерации: FramePack обеспечивает более быструю генерацию видео благодаря оптимизированной архитектуре и компрессии контекста. 

Генерація відео в ComfyUI.

Привіт, привіт.

Сьогодні ComfyUI вигідно відрізняється від інших офлайнових інструментів GenAI тим що дозволяє генерувати крім картинок ще і короткі відео. Так, я знаю про Deforum, але то інше і дещо складніше.

Генерація відео в ComfyUI - це процес створення анімацій на основі зображень (I2V) або тексту (T2V), де ти можеш оживити статичне зображення, створити відео лише за текстовим описом або зробити плавні переходи між кадрами. Усе працює через зручний графічний інтерфейс, де ти будуєш ланцюжок процесів (workflow), додаєш модулі та налаштовуєш параметри для отримання бажаного результату. Це підходить як для художників і творців контенту, так і для ентузіастів AI, які хочуть експериментувати з анімацією, маючи повний контроль над процесом без необхідності програмування.

На сьогодні автори безкоштовних відео моделей пропонують нам декілька варіантів, від SVD до WAN. Звісно все впирається в наші забаганки до розміру кадру, мінімальної довжини одного відео та наявності VRAM.

Найбільш популярні з варіантів реалізації наступні:

 1️⃣SVD (Stable Video Diffusion)  

- Призначення: Генерація коротких відео на основі статичного зображення або тексту.  

- Розмір кадру: 576×1024 або 1024×1024  

- Мінімальна довжина: 1-2 секунди (16 кадрів при 8 FPS)  

- Мінімальний VRAM: 10-12 ГБ  

- Ключові особливості:  

  - Побудована на основі дифузійних моделей.  

  - Підтримує image-to-video (I2V).  

 2️⃣Hanyuan  

- Призначення: Генерація плавних відео з високою роздільною здатністю.  

- Розмір кадру: 720p (1280×720)  

- Мінімальна довжина: 2 секунди (16 кадрів при 8 FPS)  

- Мінімальний VRAM: 8 ГБ  

- Ключові особливості:  

  - Добре зберігає консистентність між кадрами.  

  - Орієнтована на природність руху.  

 

Release VRAM.

Hello.

Can I release VRAM of my videocard NVIDIA during the GenAI processes? Yes, there are a few ways to release VRAM without outright terminating processes, especially if you’re using GPU-accelerated libraries like PyTorch or TensorFlow, which provide methods to manage and release memory.

Here are some methods to release VRAM without killing processes:

1. Release VRAM in PyTorch

If you’re working in a PyTorch environment, you can release cached memory that’s no longer needed with `torch.cuda.empty_cache()`. This frees up any cached memory that PyTorch may still be holding onto.

```python

import torch

torch.cuda.empty_cache()  # Releases unused VRAM

```

This command does not affect active allocations but clears memory that might be cached by PyTorch.

2. Release VRAM in TensorFlow

In TensorFlow, you can reset the GPU memory allocation by clearing the session:

```python

from tensorflow.keras.backend import clear_session

clear_session()  # Releases memory used by TensorFlow

```

This is particularly helpful if you are done with a model or part of your code and want to free up GPU memory for another task.

Анимация в Automatic1111.

Всем привет.

Учитывая популярность Automatic1111 по генерации не только картинок, но и анимации, особенно Shorts, я решил сделать справку по инструментам которые позволяют создать анимацию (короткое видео) в первом приближении не выходя из А1111.

Отдельно замечу что во всех случаях следует также использовать мега-расширеие ControlNet (OpenPose, Canny, Depth, Tile, TemporalNet на выбор) для стилизации будущего видео в одном ключе.

Ок, для генерации анимации в Automatic1111 можно использовать скрипты (Scripts):

1) Loopback Wave V1.4.1:

подготовка секвенции и ключевых кадров из начального кадра(опорного кадра) для последующей сборки в ffmpeg. Промпт можно изменять между кадрами. Сборку финального видео лучше проводить вручную.

2) (Beta) Multi-frame Video rendering - V0.72:

подготовка секвенции и ключевых кадров из исходной секвенции(опорной секвенции) для последующей сборки в ffmpeg. Промпт один для всех кадров.

Также для генерации анимации в Automatic1111 можно использовать расширения (Extensions):

3) SD-CN-Animation:

подготовка секвенции и ключевых кадров из начального кадра(опорного кадра) для последующей сборки в ffmpeg. Промпт можно изменять между кадрами. Но мне не понравилось качество генерации кадров.

4) AnimateDiff:

подготовка секвенции и ключевых кадров из начального кадра(опорного кадра) для последующей сборки GIF. Не оцениваю так как не пробовал.

5) TemporalKit:

подготовка секвенции и ключевых кадров из исходного видео для последующей сборки в EBSynth утилите. Увы, в Automatic1111 версии 1.6.0 не работает, вернее работает но без ключей.

6) EBSynth:

подготовка секвенции и ключевых кадров из исходного видео для последующей сборки в EBSynth утилите. Может работать с маской. В принципе расширение больше похоже на органайзер где больше указано что следует сделать вручную на той или иной стадии процесса, всего из 8, и только три из них автоматизированы.

7) Deforum:

подготовка секвенции и ключевых кадров из исходного видео (или опорного кадра) для последующей сборки. Промпт можно изменять между кадрами. Можно использовать выборку опорных кадров. Можно менять тучу настроек влияющих на процесс.Все логично в нем хотя и сложно на первый взгляд. Работает по принципу "запустил и забыл". Заслуживает отдельного поста. Надеюсь что проект не закинут.

На сегодня все, удачи всем.

Типы съемки и Automatic 1111.

Всем привет.

Вот надыбал на днях в сети справку для промпта в Automatic 1111 по типам съемки, позе персонажа и его взгляду. Автор справки Евгений Шумаков.

1. Задать тип съёмки:

Eye-Level Shot

Как один из самых нейтральных вариантов кадрирования, этот тип снимка показывает сцену с типичного уровня человеческого глаза.

Low-Angle Shot

Кинематографисты создают кадры под низким углом, располагая камеру под объектом. Поскольку эти кадры смотрят на объект снизу вверх, они часто придают персонажу силу.

High-Angle Shot

Чтобы сделать кадр под большим углом, операторы размещают камеру над объектом. Поскольку он смотрит на объект свысока, это может добавить к сцене чувство страха или слабости.

Aerial Shot (Drone Shot)

Для создания аэрофотосъемки кинематографисты поднимаются в небо, часто с помощью камер, установленных на дронах. Эти кадры обычно определяют место действия фильма.

Bird’s-Eye Shot

Этот метод кадрирования, также известный как план сверху, показывает объект прямо над головой. Он также включает в себя часть настройки, чтобы добавить больше контекста к сцене.

Over-the-Shoulder Shot

Для этого типа снимка камера снимает объект через плечо другого персонажа. Чаще всего он появляется в сценах с разговорами и личными связями.

Dutch Angle

Для голландского ракурса режиссер размещает камеру под углом. В результате сцена выглядит перекошенной и предполагает дезориентацию.

Handheld Shot

При съемке с рук режиссеры держат камеру, эффективно приглашая зрителей на сцену.

VLC и просмотр Youtube видео.

Привет всем.

По ходу медиаплеер VLC можно использовать и для просмотра Youtube видео. Однако "не так сталося як гадалося".

Идем по меню "Media/Open Network stream" вбиваем ссылку на ролик и... получаем ошибку, текст которой ни о чем нам не говорит "Your input can't be opened: VLC is unable to open the MRL". С другими роликами та же история, и это обнадеживает, значит проблема локальная. Ныряем за советом в сеть где находим кучу способов решить проблему отключением (правкой исключениями) фаерволла и антивируса, или обновлением самого VLC. Я всегда критично отношусь к таким глобальным решениям локальных проблем, поэтому свой поиск продолжил.

И вот попалось мне на глаза предложение обновить LUA-скрипт для youtube в самом VLC. А вот это больше похоже на правду, ибо в youtube частенько происходят изменения. Идем сюда

https://github.com/videolan/vlc/tree/master/share/lua/playlist

и скачиваем youtube.lua. Далее идем в свой VLC и ложим его в C:\Program Files\VideoLAN\VLC\lua\playlist. Как вы можете заметить там уже есть youtube.luaс, это скомпилированный LUA-скрипт. Но нет повода для беспокойства, просто переименовываем наш скачаный youtube.lua в youtube.luaс. И все, проблема решена, VLC нормально принимает и нескомпилированный LUA-скрипт.

Теперь "Open Network stream" работает. Удачи.

Hello Barbie.

Всем привет.

Любители Stable Diffusion быстро сообразили что там где возможна генерация картинок там возможна и  генерация видео. Точнее сказать, анимации.

В принципе Stable Diffusion для анимации не предназначен, но почему бы не сгенерить последовательность похожих кадров (секвенцию), а после склеить их в видеофайл. Логично предположить что чем больше кадры будут похожи друг на друга тем плавнее получится итоговое видео из них.

Из Stable Diffusion расширений которые предназначены для создания анимации мне знакомы несколько: Deforum, SD-CN-Animation и Loopback wave script. Первый довольно новороченый поэтому про него речь поведу в следующий раз. А вот про два других могу сказать пару слов сегодня.

Скажу сразу что от SD-CN-Animation я отказался. В нем по непонятным для меня причинам все оказалось плохо - он конфликтует с ROOP, он умудряется генерить очень плохие картинки на тех же промптах что и другие скрипты. Поэтому я его исключил из дальнейшего обращения  Stable Diffusion. А вот Loopback wave script меня порадовал своей простотой и адекватностью.

Живет он здесь, там же страничка как им пользоваться. Все что касается ffmpeg относится к финальной стадии сборки всех кадров в один видеофайл. Ffmpeg надо будет поставить отдельно. Хотя я вам покажу ниже как его можно использовать самостоятельно и с лучшим качеством.

Итак главное это количество фреймов, чем их больше тем дольше Stable Diffusion в лице А1111 будет трудиться над их созданием. И ...все), шучу - еще надо вписать промпт где первая цифра значит с какого кадра он действует для Stable Diffusion. "Save results as Video" это значит что после генерации А1111 передаст внешнюю команду для ffmpeg на сборку видео с выбраным кодеком.

Закладки в VLC Media Player.

Всім привіт.

Переглядаючи навчальне відео мені випала необхідність розставити закладки (bookmarks) собі на пам'ять. Для перегляду відео я використовую VLC Media Player.

Можливість ставити закладки було швидко знайдено по меню Playback/Custom Bookmarks. Однак я був здивований що такі закладки живуть тільки на час перегляду самого відео. Після закриття відеофайлу вони зникають назавжди.

Це неприємно і доцільність таких закладок для мене сумнівна. Тому питання закладок які працюють завжди потребує додаткового плагіна, тобто extensions. 

Розміщуємо файл скрипта vlc_permanets_bookmarks.lua по шляху в Windows:

 program_files\VideoLAN\VLC\lua\extensions\

і тепер закладки в VLC Media Player працюють по меню View/Bookmarks, також вони прилінковані до кожного відео і працюють завжди.

Щасти вам.

Готуємо нараду в Teams.

Всім привіт.

Якщо вже вам випала така честь організувати корпоративну нараду в Teams, то наступні поради вам будуть у нагоді. Розглянемо схему по який мені доводилось працювати: маємо ПК Studio для президії в залі нарад та ПК Модератора, проектор транслює екран ПК модератора на великий екран: це або презентація, або Teams, або web-камера модератора. Доцільність використання великого екрану та проектора в цій схемі сумнівна, але змінити думку щодо цього у мого шефа мені поки не вдалося. 

То ж готуємо наступне:

1) На обох ПК впевнетись що зовнішнІ пристрої (камера,мкф та колонки) належать саме до MS Teams.

2) На обох ПК впевнетись що MS Teams та Windows мають останні оновлення (щоб не почалося термінове оновлення під час наради).

3) Модератор може мати навушники (не колонки!) для контролю якості звуку в MS Teams.

4) В форматі «Нарада» модератор висилає поштою запрошення всім учасникам за угодженим списком, також додає постійних VIP-членів навіть якщо вони не планують приймайти участі: директор, корпоративні ЗМІ, шеф. Потім буде меньше проблем з передачєю відеозапису наради охочим.

5) Всі запрошені мають перевірити в себе наявність останньої версії MS Teams за день до наради. Саме за день, інашке не встигнуть під'єнатися, оновитися тощо. Маю таких забудькуватих періодично.

6) Відеозапис наради проводить виключно модератор! Будь які спроби перехопити цю функцію іншим учасником присікати на корню.

7) Модератор може мати лазерну вказівку якщо презентація на великому екрані потребує такої функції. Краще відмовитись від цього архаізму, бо за моїм баченням презентацію повинен вести доповідач, а не модератор.

8) Модератор може вести чат Teams в форматі «Підняти руку» якщо це узгоджено заздалегідь з усіми запрошеними (потребує дотримання протоколу наради усіма учасниками).

Ось здається і усе. Успіхів та терпіння всім.

Україна переможе!