Встречайте Gemini Omni.

Привет.

Вчера прошла презентация Google I/O, и для всех, кто крутится в мире GenAI, главное событие это новая модель Gemini Omni. 

Информация от Нейрографа.

Что это и как работает. 

Берёшь любое фото или видео из галереи, говоришь текстом или голосом что хочешь получить, модель делает. Без отдельных программ, без сложных настроек. 

Дальше каждая следующая фраза наслаивается на результат: меняешь мелкие детали или перекраиваешь сцену целиком, не начиная с нуля. 

Модель понимает физику и последствия запросов, можно крутить ракурс, окружение, стиль, действие, добавлять персонажей и объекты.

Сегодня вышла версия Omni Flash. Старшая Pro обещана позже, по той же схеме, что и с Nano Banana.

Про фишки.

1) Аудио и картинка.

 Генерируются за один проход. Раньше у Google под звук шёл отдельный этап. 

Omni выдаёт изображение и пространственный звук вместе: шаги попадают в момент приземления ноги, реплики ложатся в губы, фоновый шум комнаты держится сценой. 

Если это работает так, как описывают, отпадает половина пост-продакшна.

2) Повторяемый каст персонажей. 

Создаёшь героя с нуля по текстовому промпту или по референсному изображению, привязываешь к нему голос под характер, и потом вызываешь его в любой новый кадр через @имя_персонажа. 

Полная визуальная и голосовая согласованность сцена к сцене. То, об что спотыкались все, от Sora до Seedance.

3) Аватары. 

Платным подписчикам открыли экспериментальную функцию Аватар. 

Регистрируешь свой аватар, добавляешь своё лицо и свой голос, и потом подставляешь себя в любые свои проекты. По сути, это твой собственный персонаж в общей системе каста, которого можно вызывать в кадр так же, как любого другого героя через @имя. Для тех, кто делает контент от первого лица, это закрывает огромную боль: не надо больше снимать себя на камеру под каждый ролик.

4) Видео в видео. 

Загружаешь свой материал и текстом меняешь стиль, обстановку, действия. 

Можно вставить себя в чужой клип, перегнать реалистичную съёмку в мультик или аниме, отправить себя гулять по картине эпохи Возрождения. Каждая правка ложится поверх предыдущей.

Кинематографический реализм до 10 секунд за клип. 

Это не потолок модели, а решение продукта: Google хочет раздать инструмент быстрее и считает, что длиннее пока массово не нужно. Более длинные ролики обещают скоро.

5) Мультимодальные референсы.

В одну генерацию можно смешать несколько изображений, несколько персонажей, несколько голосов.

Текст внутри кадра наконец читается. 

В одной из ранних демок профессор пишет на доске математическую формулу, и она математически верна, а не просто похожа на буквы. Это давняя боль всех видеомоделей.

6) Своя библиотека инструментов. 

Внутри Flow можно создавать и шарить кастомные инструменты под свой рабочий процесс на естественном языке. Слева панель с готовыми, можно собрать свои с нуля.

Где брать.

Omni Flash доступен сегодня в приложении Gemini, в Google Flow и в YouTube Shorts. 

Платным подпискам полный набор, включая аватары, бесплатно потыкать можно через Shorts и приложение YouTube Create. 

Flow, кстати, получает отдельное приложение, его перепаковали под Omni как креативный комбайн.

Важное про лимиты, чтобы никто не разочаровался. Модель емкая.  По ранним тестам два промпта на Omni сжирали 86 процентов дневной квоты на тарифе Gemini Pro.  Именно поэтому Google переезжает с лимитов по числу промптов на лимиты по израсходованным вычислениям.  Простой текстовый промпт ест мало, сложная видеогенерация ест много, лимит обновляется каждые пять часов до недельного потолка. 

Сколько платить. 

Появился новый тариф AI Ultra за 100 долларов в месяц для тех, кому 20-долларовый Pro мал, а топовый ранее за 250 был жирно. Старший Ultra одновременно подешевел с 250 до 200, набор фич тот же. 

На все ролики из Omni ставится водяной знак SynthID, его теперь читают Google Поиск и Chrome, к системе верификации подключилась и OpenAI.

P.S.: Тем кто пасет в Google Flow по 50 кредитов в день про Omni могут забыть. В аккаунте Pro модель Omni Flash  стоит 25 кредитов за генерацию на 8 сек (напомню что Veo Fast  стоит 20 кредитов, а Veo Lite  всего 10). Она же в Extend стоит без выбора, но что интересно что там ее стоимость всего 10 кредитов (в free-аккаунте Extend теперь не работает).

Успехов.