DALL-E и MS Paint.

Всем привет.

Недавно Microsoft добавила в приложение Paint для Windows 11 (23Н2) кнопку генератора изображений с помощью ИИ.

Новый интегрированный генератор преобразования текста в изображение работает на базе модели OpenAI DALL-E 3. Ранее он был доступен только участникам программы тестирования новых функций Windows Insiders. А теперь, как утверждает Microsoft, пользоваться им могут все желающие. Microsoft объясняет на своем сайте, что пользоваться этой функцией легко: нужно создать новое изображение в Paint и нажать на кнопку «Cocreator» в правой части панели инструментов.

Далее напечатать описание (prompt) изображения, которое необходимо сгенерировать. После ввода текста необходимо выбрать стиль, в котором нужно создать изображение, а затем нажать кнопку «Создать». Тогда Cocreator предложит три различных варианта изображения, и можно будет выбрать один из них. Изображение появится в окне Paint и с ним можно будет работать дальше. Если программа Microsoft Paint не установлена (и такое бывает?), ее можно бесплатно загрузить из Microsoft Store.

Важно: чтобы использовать Cocreator, необходимо войти с помощью своей учетной записи Майкрософт. Cocreator использует облачную службу, которая требует проверки подлинности и авторизации. Вход с помощью учетной записи Майкрософт также позволяет получить доступ к кредитам, которые необходимы для создания образов с помощью DALL-E. Пользователю выдается 50 кредитов, что будет если пользователь их использует в ноль, не упоминается. Напомню что через Bing пользователь может использовать 100 кредитов в DALL-E 3 (которые ранее самопополнялись). Совпадает ли счетчик кредитов Bing с Paint проверить пока не удалось.

А теперь про глюки. Имея  Windows 11 (23Н2) я не нашел поначалу кнопки «Cocreator» в Paint. Возможно не пришел нужный апдейт. Также верно что можно пойти в Microsoft Store и обновить Paint там, но фокус в том что мой Microsoft Store заблокирован политикой свыше. Ок, тогда пойдем более длинным путем, а именно скачаем приложение как АРРХ-файл. Тут есть нюанс.

Функціональні клавіши.

Всім привіт.

Корисна фішка в ноутбуках це функціональні клавіши. Звісно вони є на усіх клавіатурах, але в ноутбуках вони працюють особливо, в тому сенсі що потребують попередніх установок в BIOS.

Наприклад, в ноутбуках НР для їх логічного, як на мене, функційонування потрібно "вгадати" установки трьох параметрів:

Тільки в цьому випадку функціональні клавіші виконують свої прямі функції та нормально реагують на головну Fn. Звичайно ви повинні мати відповідний драйвер до самої клавіатури.

Хай щастить.

Зачем нам LoRA LCM?

Всем привет.

Сегодня на слуху у всех AI-дизайнеров использующих Stable Diffusion латентные модели согласованности (LCM) которые позволяют формировать качественные изображения обычно за 2-4 шага против 20-ти обычных, что делает возможным использование диффузионных моделей практически в режиме реального времени.

Информация с официального сайта:

LCM могут быть получены из любой предварительно обученной модели стабильной диффузии (SD) всего за 4 000 шагов обучения (~32 часа работы A100 GPU) для генерации высококачественных изображений с разрешением 768 x 768 за 2~4 шага или даже за один шаг, что значительно ускоряет генерацию текста в изображение. Мы используем LCM для дистиллирования версии SD для Dreamshaper-V7 всего за 4 000 итераций обучения.

Обычно такая задача решается с помощью LoRA LCM, которая существует как для версии SD 1.5 так и для SDXL. 

Практически генерация с LCM LoRA требует следующие значения:

СFG = 1,3..1,5

Sampler = LCM

Scheduler = sgm_uniform

Steps = 4..7

LCM LoRA weight = 0.62

Разумеется вы можете экспериментировать сами. И действительно, LCM LoRA неплохо и быстро отрабатывает в ComfyUI и в Fooocus. А вот в А1111 лагает, может из-за того что в А1111 до сих пор нет семплера LCM. 

В ComfyUI workflow собирается стандартный как для любой другой LoRA, а в  Fooocus достаточно выбрать опцию "Extreme Speed" из секции Advanced. 

Про AnimateDiff.

Всем привет.

Как я говорил ранее, расширение AnimateDiff делает революцию в анимации Stable Diffusion благодаря своему алгоритму который буквально с первого прохода показывает поразительную плавность переходов между кадрами.

Каюсь, сперва я решил что оно не может на выходе дать больше чем просто GIF, однако при более тесном знакомстве оно меня приятно удивило. Что приятно его форки есть и для ComfyUI  и для Automatic1111. Даже в ComfyUI его работа понравилась больше, там весь процесс генерации происходит нагляднее. Разумеется есть некоторе особенности, но в сети так много туториалов на эту тему что буду повторяться.

Допустим вы написали простой описательный промпт и решили дать на откуп Stable Diffusion создание самого движения по кадрам анимации. Тогда модель самого AnimateDiff вы можете выбирать любую из трех возможных: mm-Stabilized_high.pth, mm_sd_v15_v2.ckpt, temporaldiff-v1-animatediff.safetensors. Анимация получится неторопливой. Ну а если вам нужен заметный движ в кадре тогда надо соблюсти ряд условий:

- модель AnimateDiff только mm_sd_v15_v2.ckpt

- motion_scale больше 1.

Если вам нужен контролируемый движ в кадре, тогда лучше нацепить парочку motion_lora из того же AnimateDiff. Что важно во всех случаях - движение объектов будет заметно только при генерации кадров от 32 штук и более и это справедливо и для ComfyUI и для Automatic1111.

Приятно что и ComfyUI и Automatic1111 позволяют сделать в AnimateDiff closed loop. Т.е. закончить анимацию на том же кадре на котором начали. Но помните что чем больше кадров тем легче AnimateDiff это выполнить для вас.

Microsoft Copilot и Windows11.

Всем привет.

Одной из главных фишек Windows11 есть наличие доступа к AI-сервису Microsoft Copilot без web-браузера Edge. Но для этого необходимо соблюсти ряд условий:

1) убедиться, что Copilot не выключен в Параметрах -> Персонализация -> Панель задач.

2) убедиться, что установлено обновление, которое активирует все возможности ОС Windows11 23Н2 - КВ5327597

3) включить с помощью утилиты ViVeTool, которая включает дополнительные возможности ОС Windows11:

- для включения используем команду: 

vivetool /enable /id:44774629,44850061,44776738,42105254,41655236

- для выключения используем команду: 

vivetool /disable /id:44774629,44850061,44776738,42105254,41655236

Утилита живет тут: 

https://github.com/thebookicsclosed/ViVe/releases/download/v0.3.3/ViVeTool-v0.3.3.zip

Что интересно, что вы можете спросить сам Copilot как его активировать на панели задач Windows11. Он вам расскажет примерно тоже самое что написано выше, если не перепутает себя с GitHub Copilot.))

Ок, если у вас с панелько задач не сложилось можете попробовать создать отдельный ярлык на столе куда вписать такую строку вызова:

microsoft-edge:///?ux=copilot&tcp=1&source=taskbar

И может быть вам повезет. Удачи.