Еволюція swap face.

Привіт усім.

В світі GenAI якось на перше місце серед безкоштовних опцій вийшла функція swap face. Іншими словами народ захопився змінювати себе або друзів на селебріті або героїв Marvel. Зрозуміло що це стосується саме обличчя, а не решти тіла, але багатьох і від цього пре.)

В Stable Diffusion в реалізації Automatic1111 спочатку був плаігн ROOP, пізніше потужній SwapLab,  в реализації ComfyUI зайшов ReАctor, який використовується і досі. Так, звісно ReАctor зайшов і в Automatic1111(Forge) і став так само популярним, якщо не основним. Нажаль SwapLab здав позиції хоча і мав на старті більший функціонал ніж ReАctor.

Але ці плагіни працювали з готовим зображенням і за допомогою бібліотеки insightface (C++) намагалися вписати ваше обличчя замість існуючого. Тобто результат був тим кращим чим простіший був source. Про стилизацію в цьому випадку можно було тільки мріяти.

Але ось прийшов IP-adapter(ControlNet) з схемою FaceID, де ваш face вже як референс приймав участь в усьому процесі генерації

Запуск ядерного ReActor-а.

Всем привет.

Судя по тому что у ИИ-гуру Antinoice есть отдельное руководство по фиксингу ReActor-а для ComfyUI надо к нему вернуться еще раз. Лично у меня ReActor находится в состоянии disabled виду того что с ним частенько конфликтуют ноды из других пакетов. А сам ReActor требует дополнительных шагов при установке.  Итак Antinoice советует поступать так:

1.Устанавливаем ReActor с помощью менеджера или качаем архив и распаковываем его в папку custom nodes.

Открываем папку ...\ComfyUI\custom_nodes\comfyui-reactor-node и запускаем файл install.bat.

2. Находим файл requirements.txt открываем его в блокноте и добавляем ещё одну строку:

 insightface==0.7.3

после чего сохраняем и закрываем блокнот.

3. Скачиваем файл insightface-0.7.3-cp311-cp311-win_amd64.whl отсюда (для Python версии 3.11):

https://github.com/Gourieff/Assets/blob/main/Insightface/insightface-0.7.3-cp311-cp311-win_amd64.whl

Или для Python версии 3.10:

https://github.com/Gourieff/Assets/blob/main/Insightface/insightface-0.7.3-cp310-cp310-win_amd64.whl

Или для Python версии 3.12:

https://github.com/Gourieff/Assets/blob/main/Insightface/insightface-0.7.3-cp312-cp312-win_amd64.whl

4. Помещаем наш файл в папку ...\python_embeded.

5. В этой же папке ...\python_embeded вверху в адресной строке папки прописываем cmd и нажимаем Enter - запустится консоль.

В консоль вставляем следующий текст:

python.exe -m pip install insightface-0.7.3-cp311-cp311-win_amd64.whl

и нажимаем Enter,  дожидаемся установки и после этого можна запускать ComfyUI. Файл insightface-0.7.3-cp311-cp311-win_amd64.whl можно удалить. А лучше спрятать, мало ли.

Все. На первый взгляд все просто.)

Кладовая стилей: художники, дизайнеры и фотографы.

Всем привет.

Сегодня для вас третья часть от Дмитрия Невского про закрома SD, другими словами "Кладовая стилей: художники, дизайнеры, фотографы и многое другое для ваших нейросетей".

Я как-то касался этой темы, но у Дмитрия материала накопилсь больше, так что ему и слово.

Друзья, за все время изучения Stable Diffusion в моих закладках скопилась настоящая кладовая стилей художников, которые идеально подойдут для генераций в любой нейросети которую вы используете. Ниже вы найдете подборку стилей от классических художников до современных. Надеюсь, что эти ресурсы вдохновят вас на создание новых шедевров и помогут вашим нейросетям генерировать что-то по-настоящему удивительное. 

Stable Diffusion стили

SDXL Artist Study - это ресурс для тех, кто интересуется генеративным искусством и стилями художников. На сайте собрана обширная коллекция стилей, которые можно использовать для генеративных нейросетей, таких как Stable Diffusion XL.  

Stable Diffusion Artist List - это обширный каталог художественных стилей, созданный для пользователей генеративных нейросетей, таких как Stable Diffusion XL. Помимо стилей художников на этом сайте можно найти готовые промты художников для Stable Diffusion c примерами, промт генератор, генераторы картинок и др.

Urania AI - Top Stable Diffusion Artists - это подробный список художников, чьи стили изначально были предназначены для Stable Diffusion 1.4, но они хорошо подойдут так же и для других моделей Stable Diffusion и других нейросетей.  На сайте представлены визуальные примеры работ и фильтры для поиска художников по различным жанрам и направлениям. 

Выбираем Upscaler для Stable Diffusion.

Всем привет.

Сегодня вторая статья про Stable Diffusion от Дмитрия Невского. И статья эта про апскейлеры. Так уж повелось что SD-сообщество не стало переводить англоязычный термин про масштабирование картинок, и так это слово и осталось. Скажу честно, я вначале не придавал особого значения увеличению результатов своих творений в SD. Или не было необходимости или наивно полагал что если картинка так себе, то апскейл ей уже не поможет. Я ошибался, ибо такой апскейл это не простое масштабирование, а интеллектуальное увеличение изображения. Более того, после операций inpaint или outpaint над картинкой оно просто необходимо на финише.

Ребята, вы часто спрашиваете про разные апскейлеры и где их взять, в этом посте я собрал небольшую информацию о популярных апскейлерах, где их можно скачать и которыми сам пользуюсь, надеюсь и вам это пригодится.

Если кто то не знает куда их добавлять, то кладите их в папку Forge: \webui\models\ESRGAN. Я обычно их использую в Hires.fix и для апскейла в img2img, так же можно их использовать с разными расширениями и для улучшения фото на вкладке Extras.

Openmodeldb.info (free)

Сайт, где собраны все популярные апскейлеры. Здесь можно найти апскейлы на все случае жизни от фото до аниме. Они разбиты по категориям с наглядными примерами до и после, можно выбрать любой на свой вкус. Некоторые уже установлены в сборках  Automatic1111 и Forge, но может быть что то еще подберете на свой вкус, добавляйте сайт в закладки что бы не потерять. Дополнительные апскейлеры можно найти на сайте Civitai если не нашли нужные на сайте Openmodeldb.info.

Скачать можно с официального сайта https://openmodeldb.info/

Стили в Forge и как их использовать на моделях FLUX

Всем привет.

Накидаю ка я вам парочку статей из блога Дмитрия Невского, энтузиаста от ИИ. Мне лично нравится его непредвзятая подача материала по Stable Diffusion и всего что около. Сегодня первая статья про быстрые стили в Forge/Automatic1111 и как их использовать, в том числе и на моделях FLUX.

Замечание: на сегодня модели FLUX не поддерживаются в Automatic1111.

Знаете ли вы, что правильное использование стилей в Stable Diffusion может увеличить качество ваших генераций на 300%? Да-да, вы не ослышались! А что, если я скажу вам, что большинство пользователей Stable Diffusion используют стили неправильно, тем самым ограничивая их потенциал? 

Немного терминологии

Стили в Stable Diffusion - это наборы слов или фраз, которые определяют визуальные характеристики генерируемого изображения. Они могут влиять на цветовую палитру, композицию, детализацию и общую атмосферу.

Стили могут быть как в интерфейсе - быстрые стили (имею ввиду для Forge/Automatic1111), могут быть прописаны в промпте, иногда установлены вместе с разными расширениями.

Стили в промпте (например "style by Tim Burton"):

- Модель попытается имитировать общий стиль Бертона.

- Результат может варьироваться в зависимости от других элементов промпта.

- Требуют знания специфики стиля художника, могут быть менее предсказуемыми, зависят от обучения модели.

- Может потребовать дополнительных уточнений для получения конкретных черт стиля Бертона.

Стили в интерфейсе:

- Это предварительно составленные наборы слов, описывающие конкретный стиль.

- Обычно более подробные и специфичные, дают более конкретный и предсказуемый результат.

- Легко применяются одним кликом.

- Могут комбинироваться с другими элементами промпта.

Release VRAM.

Hello.

Can I release VRAM of my videocard NVIDIA during the GenAI processes? Yes, there are a few ways to release VRAM without outright terminating processes, especially if you’re using GPU-accelerated libraries like PyTorch or TensorFlow, which provide methods to manage and release memory.

Here are some methods to release VRAM without killing processes:

1. Release VRAM in PyTorch

If you’re working in a PyTorch environment, you can release cached memory that’s no longer needed with `torch.cuda.empty_cache()`. This frees up any cached memory that PyTorch may still be holding onto.

```python

import torch

torch.cuda.empty_cache()  # Releases unused VRAM

```

This command does not affect active allocations but clears memory that might be cached by PyTorch.

2. Release VRAM in TensorFlow

In TensorFlow, you can reset the GPU memory allocation by clearing the session:

```python

from tensorflow.keras.backend import clear_session

clear_session()  # Releases memory used by TensorFlow

```

This is particularly helpful if you are done with a model or part of your code and want to free up GPU memory for another task.

Forge - сервисы Spaces по сети.

Всем привет.

В последней версии Forge появилась вкладка Spaces куда автор вынес ряд вкусных сервисов: IC-Light, Photomaker, Monster QR Lab, Florence2 и прочее. Все они оформлены виде отдельных дополнительных серверов со стартом локально  https://127.0.0.1 начиная с порта 7861. Если у вас достаточно ОЗУ то можно даже несколько их запустить при необходимости. Но вот наступает момент когда вам хочется чтобы такие сервера были доступны в вашей локальной сети. И очень быстро вы понимаете что все что находится на Spaces не имеет bat-файлов куда можно было бы вставить знакомый всем ключик listen...

Однако выход есть.

Поступаем так:

1) добавляем ключик --listen в COMMANDLINE_ARGS webui-user.bat самого Forge:

set COMMANDLINE_ARGS=--xformers --theme=dark --listen 

2) в файле webui/modules_forge/forge_space.py:

строку 

server_name = '127.0.0.1'

меняем на

server_name = '0.0.0.0'

3) запуcкаем Forge.

4) стартуем необходимый сервис с вкладки Spaces. Он напишет вам что поднят на localhost. Отлично!

5) набираем в url web-браузера другого хоста https://ipaadr:7861 (где ipaadr IP-адрес Forge сервера в вашей сети) и наслаждаемся.

Успехов.

Уровни безопасности ComfyUI Manager.

Всем привет.

Нам машет ComfyUI Manager: This action is not allowed with this security level configuration.

Многие пользователи, которые только начинают пользоваться интерфейсом ComfyUI, возможно, сталкивались с таким сообщением при работе с ComfyUI Manager. Они часто называют его ошибкой по своему незнанию предмета. Когда вы пытаетесь установить расширение из GitHub, то видите неприятное сообщение о том, что установка невозможна. "This action is not allowed with this security level configuration" - т.е это действие не разрешено при данном уровне безопасности конфигурации.

Это связано с недавними изменениями в ComfyUI-Manager:

* V2.48.1: Security policy has been changed. Downloads of models in the list are allowed under the 'normal' security level.

* V2.47: Security policy has been changed. The former 'normal' is now 'normal-', and 'normal' no longer allows high-risk features, even if your ComfyUI is local.

* V2.37 Show a ✅ mark to accounts that have been active on GitHub for more than six months.

* V2.33 Security policy is applied.

Где искать и править?

1. Перейдите в директорию ComfyUI/custom_nodes/ComfyUI-Manager и найдите там файл config.ini.

2. Откройте файл config.ini в режиме редактирования.

3. Найдите строку security_level = <LEVEL>, если такой строки нет(у меня так было), то просто допишите её в самом конце.

4. Выберите уровень безопасности, который вам подходит(?) и пропишите его:

security_level = normal-

Ручне оновлення в СomfyUI

Привіт усім.

Час від часу мій ComfyUI потребує до себе уваги на рівні командного рядка. Тому я вже маю шпаргалку коли мушу виконувати такі дії як оновлення окремого пакету python. Можливо і вам стане у нагоді.

Оновити pip (дуже часто таке вимагає консоль):

..\python_embeded\python.exe -m pip install --upgrade pip

Підняти версію diffusers до 0.30.3 (якщо того вимагає чергова custom node, але ви не маєте часу виясняти яка саме):

..\python_embeded\python.exe -m pip install diffusers==0.30.3

Оновити інтерфейс керування comfy_cli:

..\python_embeded\python.exe -m pip install --upgrade comfy_cli

Встановити бібліотеку insightface:

..\python_embeded\python.exe -m pip install insightface-0.7.3-cp310-cp310-win_amd64.whl

Встановити все що вимагає нода ComfyUI-SUPIR:

..\python_embeded\python.exe -m pip install -r ..\ComfyUI\custom_nodes\ComfyUI-SUPIR\requirements.txt

Оновити саме СomfyUI:

..\python_embeded\python.exe .\update.py ..\ComfyUI\

До речі за задумкою автора СomfyUI такого оновлення повинно вистачити у більшості випадків. Тому він попереджає нас так:

This will try to update pytorch and all python dependencies, if you get an error wait for pytorch/xformers to fix their stuff. You should not be running this anyways unless you really have to. If you just want to update normally, close this and run update_comfyui.bat instead.

Але якщо нам кортить працювати з новою версією pytorch та xformers (на свій власний ризик!) то ми робимо наступне:

..\python_embeded\python.exe -s -m pip install --upgrade torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu124 xformers -r ../ComfyUI/requirements.txt pygit2

або так, якщо нас цікавить версія developer:

..\python_embeded\python.exe -m pip uninstall torch torchvision torchaudio -y

 ..\python_embeded\python.exe -m pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu124

З свого досвіду загальний порядок такий: спочатку оновлюєте СomfyUI, потім робите повний ребут сервера, потім оновлюєте всі встановлені custom nodes, і знову робите повний ребут. Під час цього уважно слідкуєте за всім що пише (або свариться) консоль СomfyUI.

Щасти.

Как использовать Flux, SD3 и KOLORS в Fooocus.

Всем привет.

Как использoвать Flux, SD3 и KOLORS в Fooocus (по материалам Дзен.ру).

Многие пользователи Fooocus на форумах уже задавались вопросом:  можем ли мы использовать новую модель Flux в нашем любимом интерфейсе? Официальной информации от разработчика на этот счёт пока нет. Но то, что писал mashb1t на своём Github, говорит о том, что по крайней мере пока нам не светит работа с Flux в Fooocus. Его право.

Однако, благодаря неугомонным энтузиастам нашелся выход. Если вы пользуетесь только Fooocus и не хотите(и напрасно!) осваивать другие интерфейсы, такие как Forge, Automatic1111 и SwarmUI, то можно попробовать установить SimpleSDXL2. Это тот же Fooocus только "по китайски" с поддержкой работы моделей Flux, SD3 и KOLORS. Да, пока местами сыровато и непривычно, но Оно работает! И тем кто привык к удобству Fooocus может пригодиться. 

Неужели  mashb1t не смог, а какой-то студент из Шанхая смог, подумаете вы? Вовсе нет. Ответ прост - все что связано с Flux, SD3 и KOLORS  в SimpleSDXL2  реализуется через бекенд ComfyUI. Вот такой вот вышел комбайн с интерфейсом Fooocus-a.

Начнем как обычно с того, откуда и как скачать, и что с этим всем делать. Переходим по ссылке на Hugging Face и скачиваем вот этот файл (SimpleSDXL2_win_dev.exe.7z0912). После загрузки нужно создать папку, где будет лежать ваш SimpleSDXL2. Скачанный файл нужно переименовать, то есть удалить цифры в конце имени файла. В итоге у вас получится имя файла с расширением .exe - SimpleSDXL2_win2.exe. Это обычный zip-архив, который распаковывается автоматически. Для этого нужно просто нажать на него, указать путь для распаковки и немного подождать. После того как вы распакуете архив, перейдите в папку и запустите пакетный файл run_SImpleSDXL.bat.

Подождите, пока загрузятся необходимые зависимости. Если вы уже используете Fooocus, то перед запуском файла рекомендуется скопировать ваш уже настроенный файл конфигурации Fooocus (config.txt) в папку SimpleSDXL. Наличие готового файла конфигурации упростит процесс запуска и избавит вас от скачивания кучи ненужных моделей которыми вы вполне возможно и не воспользуетесь никогда.

Внимание: многие пользователи пишут, что для использования интерфейса необходимо скачать огромное количество дополнительных файлов. Для чего мне не совсем понятно, потому что достаточно скачать и распаковать указанный выше архив, а затем загрузить модели Flux, которые вам нужны для работы. Все! Дополнительно не нужно скачивать 30-40 гигабайт архивов которые внутри содержат только модели. Кстати размер общего файла в репозитории под 50 Гб многих отпугивает от использования SimpleSDXL, что вполне не заслуженно. Но если Flux-модели весят уже по 20 Гб то пора бы и привыкнуть.

После того, как скачаются и пропишутся все зависимости, загрузится уже привычный интерфейс Fooocus но с некоторыми отличиями. Их тут будет поболее чем в форке типа DeFooocus.

Как вы видите внешне интерфейс изменился в плане расположения элементов. Для меня это непривычно, а удобно или нет это вопрос вкуса.

Чтобы начать работать с Flux, необходимо выбрать preset Flux+ это Flux[schnell] или Fluxdev, режим для [DEV] моделей (верхняя панелька). Автоматически начнет загружаться модель Flux NF4. Поэтому лучше заранее прописать в config.txt путь с расположением вашей модели (если вы ее скачали заранее).

Интерфейс Comfy CLI

Всем привет.

Хорошая новость - существует кросс-платформенный интерфейс управления ComfyUI в режиме командной строки Comfy, т.е. CLI.

Для обычного пользователя ComfyUI он может быть и не нужен, но это пока. Пока пользователь справляется со своими эмоциями от паутинок(workflow) ComfyUI мы попробуем ComfyUI CLI. Поскольку ниже я пересказываю примеры одного гуру (источник), то все примеры кода и его расположения выбраны им, хотя как по мне, он слишком глубоко копнул эту тему. Фанат одним словом.

Ok, тогда пойдем дальше. Все примеры ниже приведены исходя из того, что Python находится по пути "c:\p311" (версия 3.11), а устанавливать Comfy мы будем в папку "d:\3".

Для начала создадим виртуальное окружение Python-а "venv" (замечание: обычно ComfyUI из коробки не использует модуль venv, но работать с ним может):

    c:\p311\python -m venv d:\3\venv

Если мы все правильно сделали, то у нас по адресу "d:\3"появится папка "venv". Запомним, что вызывать Python из этой установки нам надо командой:

    d:\3\venv\Scripts\python.exe

и все обращения к Python мы будем производить именно этой командой, с указанием полного пути к нему. Итак, у нас установлен "чистый" Python, т.е. без всяких пакетов. 

Варианты установки Comfy CLI

1. Устанавливаем Comfy CLI как инструмент командной строки для ComfyUI:

    d:\3\venv\Scripts\python -m pip install comfy-cli

Теперь выполним такую команду:

    d:\3\venv\Scripts\Comfy

и получим справку по управлению Comfy из режима командной строки. 

Самое святое это запросить номер версии Comfy CLI:

Латентное пространство в GenAI.

Всем привет.

Сегодня для вас база от NeyroGraph-a - про латентное пространство в генерации изображений.

Латентное пространство - ключевой элемент генеративных моделей, таких как GANs (Generative Adversarial Networks) и VAE (Variational Autoencoders). Оно позволяет ИИ не просто копировать существующие изображения, но и создавать новые, уникальные комбинации, основываясь на том, что он "понял" из обучающего набора данных. Это как если бы художник, научившись рисовать пейзажи и портреты, смог бы комбинировать их элементы для создания совершенно новых произведений искусства.

Для тех, кто не знаком с этой концепцией, она может звучать довольно абстрактно и сложно. Давайте разбираться с помощью аналогий. 

Латентное пространство - это многомерная матрица, в которой AI-модель представляет и обрабатывает информацию об изображениях. "Латентный" означает "скрытый" или "невидимый", и это пространство действительно скрыто от нашего непосредственного восприятия. 

Этот как наш мозг. Сначала мы представляем что мы хотим создать, потом, использую различные инструменты в зависимости от задачи, начинаем создавать задуманное. Конечно для этого наш мозг должен понять и сформулировать задачу для реализации.

Латентное пространство в ИИ  это потенциальная материя для создания изображений на основании ваших указаний. В контексте генерации изображений, латентное пространство - это математическая модель, в которой все возможные образы представлены в виде координат или точек. Каждая точка в этом пространстве соответствует уникальному набору характеристик изображения, таких как цвет, форма, текстура и т. д. Когда ИИ получает от нас задачу в виде текста он "перемещается" по этому пространству, выбирая разные точки которые соответствуют вашим указаниям, чтобы создавать новые изображения, которые не обязательно точно копируют что-то существующее, но могут быть чем-то совершенно новым.

Когда ИИ обучается на большом наборе изображений, он не просто запоминает их, а выделяет ключевые черты и характеристики. Эти черты затем отображаются в латентном пространстве, создавая своего рода карту. Когда вы хотите сгенерировать новое изображение, ИИ использует эту карту, чтобы найти нужные координаты и преобразовать их в визуальный образ. 

Это как если бы художник использовал свои знания о цветах и формах, чтобы создать картину, но делал это на основе огромного количества уже увиденных работ. Что в принципе художник и делает сознательно или подсознательно по мере накопления опыта. Но в случае с ИИ "начинающему художнику" специально и заранее показали большое количество чужих работ.

Когда вы хотите сгенерировать новое изображение, ИИ выбирает точку в этом латентном пространстве, а затем "разворачивает" её, превращая абстрактное представление в конкретное изображение из множества этих точек.

Оптимизация ComfyUI.

Всем привет.

Предлагаемая идея полностью заимствована с ИИ-практикума сайта 3DNews.ru.

Все чаще меня удручает тот факт, что имеющаяся в моем распоряжении видавшая виды GTX 1080 чудовищно медленно обрабатывает workflow с SD3M/SDXL/Flux моделями - генерация картинки идёт со скоростью до 30 секунд на каждую итерацию, и, если учесть, что параметр «Steps» в пробном workflow установлен в значение «22», времени уходит неоправданно много.

Поэтому проведём небольшую оптимизацию ComfyUI - воспользуемся Python-модулем venv (virtual environments, очень полезная вещь между прочим), призванным, в частности, ускорять работу генеративных ИИ-моделей. В комплект поставки портативной версии ComfyUI он не входит, однако есть множество способов его установки, которые в итоге сводятся к развёртыванию полноценного окружения Python на локальном ПК - и активации необходимого модуля уже из этого окружения.

Среди истинных фанатов генеративного ИИ давно водится за правило иметь у себя несколько популярных генераторов как то AUTOMATIC1111, Forge, Fooocus и ComfyUI.

В этом случае для нас всё значительно проще: модуль venv уже развёрнут в AUTOMATIC1111, и всё, что требуется сделать для активации его при запуске рабочей среды ComfyUI, - это должным образом произвести его вызов. 

Скопируем наш run_nvidia_gpu.bat в новый, с именем, допустим, run_with_venv.bat. Исходный файл запуска весьма лаконичен — он просто вызывает портативно развёрнутую копию Python с параметром --windows-standalone-build:

.\python_embeded\python.exe -s ComfyUI\main.py --windows-standalone-build

pause

ComfyUI metadata у файлі відео.

Всім привіт.

Дещо новеньке для мене щодо ComfyUI. 

Ви напевно знаєте що ComfyUI дає змогу нам генерувати короткі відео за допомогою AnimateDiff або SVD. Так от, один АІ-гуру виклав в обмежений доступ нову інструкцію щодо генерації таких відео вже разом з популярною моделлю Flux. Ви напевно розумієте що в цьому випадку для неновачка вистачить самого workflow. Так от, і вже не вперше), я беру результат(demo) генерації з його персонального блогу, а це файл mp4, і бачу що автор знову забув видалити з нього метадані.

Так, це той самий workflow, який мені стане в нагоді для досліджень в ComfyUI. Не вірете, то ви можете завантажити файл mp4 так само як і jpeg, png або json через меню Load в GUI ComfyUI. Тому я вважаю що краще робити таку демонстрацію через Youtube, або все ж таки відключати збереження metadata у відповідних нодах відразу на початку експериментів.

Щасти вам і Слава Україні!

About ComfyUI API.

Hi all.

In today’s digital landscape, the ability to connect and communicate seamlessly between  applications and AI models has become increasingly valuable. Comfy  UI offers a  user-friendly interface that enables the creation of  API surfers, facilitating the interaction with other  applications and AI models to generate images or videos. While this process may initially seem daunting, it is relatively straightforward with a basic understanding of programming skills. In this blog post, we will explore the steps involved in setting up an API surfer using Comfy UI and delve into the potential it holds for expanding your creative possibilities. By the way, Stability Matrix uses ComfyUI as a backend system!

Enabling Developer Mode and Saving API Format

To begin creating your  API surfer, you will need to install the Comfy  UI manager. Once installed, access the settings menu by clicking on the gear icon. Within the settings, enable the developer mode option. This enables the functionality to save your  workflows as  API formats. By saving your  workflow diagrams in this format, Comfy UI can run them from the backend of the surfer, allowing for seamless integration with other applications.

Comfy UI as a Web Server

Comfy UI acts as a web server, providing a platform to utilize its features. Upon starting Comfy UI, various command prompts and files are loaded, configuring your system and installing custom notes. The web interface is accessed through a localhost link, enabling users to interact with Comfy  UI via their web browsers. As we proceed, we will connect and utilize the provided ComfyUI script examples:

Directory of D:\ComfyUI\script_examples

basic_api_example.py

websockets_api_example.py

More scripts about ComfyUI API you can take from here https://github.com/yushan777?tab=repositories

If you will use API via websocket so you have to install websocket-client  from https://github.com/websocket-client/websocket-client before.

Установка модели FLUХ.

Всем привет.

Говорят что нашумевшая новая модель FLUХ на уровне MJ а иногда и лучше. Интересует? 

Тогда ниже инструкция ниже для тех, кто хочет установить FLUХ локально. Пока только на ComfyUI (только вчера прикрутили ее к Forge). Модели весят прилично и железо должно быть адекватным.  Я пробовал на GTX 1080 Ti VRAM 11Gb и ОЗУ 32 ГБ. Не летает, но работать можно.

ВНИМАНИЕ: на сегодня автором FLUХ файлы sft переименованы в safetensors.

Пошаговая инструкция по установке.

1. Ставим енкодер t5xxl_fp16.safetensors - если оперативной памяти от 32 Гб и больше.

Ставим енкодер t5xxl_fp8_e4m3fn.safetensors  - если оперативной памяте меньше 32 ГБ, но не менее 8 Гб.

Качаем их отсюда https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

и размещаем сюда: ComfyUI/models/clip/

 2. Ставим VAE

Качаем отсюда https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/ae.sft (окол 300 мгб)

и размещаем сюда: ComfyUI/models/vae/ folder

3. Ставим саму модель FLUХ.

⚡️МОДЕЛЬ Flux Dev (не менее 20-ти шагов генерации, медленнее но качественнее).

Скачиваем модель Flux Dev https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main (24 ГБ)

и размещаем сюда: flux1-dev.sft в папку: ComfyUI/models/unet/

ИЛИ

⭐️ МОДЕЛЬ Flux Schnel это дистиллированная модель (не менее 4-х шагов генерации).

Качаем здесь https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/flux1-schnell.sft

и размещаем сюда: ComfyUI/models/unet/

Совет: если у вас в процессе заканчивается ОЗУ то вы можете установить weight_dtype в узле “Load Diffusion Model” (модель распределения нагрузки) на fp8, что снизит использование памяти вдвое, но может немного снизить качество. Хотя я бы не спешил на вашем месте - у меня так же заканчивалось ОЗУ, но Windows умеет работать с swap-файлом и все разрулили сама.

Также можно добавить ключик --lowvram в строку запуска ComfyUI в файл "run_nvidia_gpu.bat".

Примеры самого процесса найдете здесь

https://github.com/comfyanonymous/ComfyUI_examples/tree/master/flux

Удачи.

Use Everywhere.

Всім привіт.

Мені подобається ComfyUI, але для мене це постійна боротьба між збереженням порядку на робочому просторі та можливістю швидкого доступу до налаштувань всіх нод процесу.

Ось, наприклад, мій основний робочий процес SDXL base & Upscaler.

Використовуючи Bus Node (вузол від WAS), це допомагає організовувати речі. Але, як ви можете собі уявити, якщо я дивлюся на попередній перегляд зображень, необхідність повернутися до вузлів підказок означає прокручування назад ліворуч, і це може застаріти.

Хоча я можу приховати з’єднання та розташувати вузли як завгодно, можливість перегляду потоку керування іноді допомагає. Тому використовуйте вузли Use Everywhere (UE) для «широкомовної передачі» даних на будь-який непідключений вхід, який відповідає типу даних і необов’язковим правилам. Подумайте про це з точки зору використання кабелю Ethernet під ногами проти Wi-Fi .

Щоб показати вам, що я маю на увазі, давайте розглянемо простий робочий процес.

Вище наведено базовий робочий процес SD1.5. Він знову використовує шинний вузол. Давайте додамо вузол UE, який прийматиме 3 входи, Anything Everywhere3 .

GenAI и забытое старое.

Всем привет. 

Поведаю я вам сегодня про новое, которое напомнило мне (не)забытое старое.

Как частично анимировать изображение? Фанаты ИИ используют рабочий процесс в Stable Diffusion для создания частично анимированного AI-изображения в AUTOMATIC1111 с помощью animateDiff и inpainting. Вот как здесь.

Ветераны используют Nature Illusion Studio - очень удобный и простой в использовании инструмент для создания анимированных изображений. Возможности программы: оживление водных пейзажей: водопадов, озер, рек и т.п., редактор позволяет применить до 4-х водных эффектов на одном изображении, добавление спецэффектов шума воды, эффекты атмосферных осадков: снег, дождь, создание анимированных изображений из ваших собственных фотографий, установка изображений в качестве обоев для рабочего стола, создание хранителей экрана из коллекции ваших анимированных изображений, доступ к огромной, еженедельно обновляемой бесплатной галерее водных пейзажей. Cо своей фантазией также легко в программе оживают дым и огонь.

А как заставить известный персонаж заговорить твоим голосом? Фанаты ИИ используют расширение SadTalker.

SadTalker - делает LipSync в видео и оживляет изображения при помощи нейросети⁠. SadTalker - нейросеть от китайских разработчиков, изначально предназначенная для анимации лиц на различных изображениях - от артов до фотографий. SadTalker VideoLip - это форк SadTalker, предназначенный для синхронизации движения губ на видео с аудиодорожкой.

Уверен, что такие говорящие головы в youtube вы выдели часто.) Да, и это тоже было, а может и сейчас живет. 

Еще раз про Stability Matrix.

Всем привет.

Я сделал над собой уcилие и установил Stability Matrix.) Не то чтобы он(она) мне сильно нужен, но уж больно его хвалят на форумах. Ниже репост про Stability Matrix с Дзен.ру, где более менее многое справедливо и по сей день. Мои выводы в самом конце.

Я хочу рассказать вам об очередном универсальном решении - оболочке Stability Matrix. Она поможет вам установить большинство популярных нейросетей на ваш компьютер, так же с её помощью вы сможете легко управлять всеми ресурсами необходимыми для работы нейросетей. (модели, лоры, апскейлеры и т.д .)

Скачать и установить её можно по ссылке. Установка очень проста и не требует сложных манипуляций.

Вам нужно будет скачать архив, затем распаковать его и запустить исполняемый файл (exe) для установки. В процессе установки можно указать свой путь, по которому вы хотите установить программу, и дождаться завершения процесса. 

При установке программы вы можете выбрать полную версию или портативную. После завершения установки запустится интерфейс программы, который сразу предложит вам установить одну или несколько нейронных сетей.

* Так как я уже имею несколько генераторов портативок, то и для Matrix выбираю тоже портативную установку.

Но вы можете пропустить установку и сначала ознакомиться с интерфейсом, настроить его под себя. Для этого нажмите «Skip first time setup».

Если вам нужен интерфейс на русском языке, перейдите в настройки. Для этого нажмите на значок шестерёнки в левом нижнем углу экрана. В разделе «Language» выберите русский язык, после чего программа попросит перезапустить интерфейс.

* Не рекомендую - кто его знает как делали ту русскую локализацию, после будете постоянно сверять имена пунктов меню.

Описывать все пункты настроек не вижу смысла, так как они интуитивно понятны а вот остальные пункты давайте рассмотрим.

Automatic1111 и styles.csv

Всем привет.

Полезная фишка в A1111 это файл стилей styles.csv. У кого он больше у кого меньше, а кто подсуетился и поправил свой.

Но вовсе не обязательно править исходный файл стилей, или каждый раз менять их местами, можно сделать библиотеку стилей в A1111.

Делаем так:

1) создаем в папке A1111 папку styles

2) забрасываем туда хоть дюжину разных файлов со стилями, т.е. свой файл стилей лучше создать отдельно и в дальнейшем править только его, а не чужие.

3) к COMMANDLINE_ARGS добавляем ключ --styles-file="styles\*.csv"

Готово. 

Теперь при запуске Автоматик просто подтянет все файлы стилей и выведет одним списком alphabetically по имени файлов из папки styles. Также по имени файла блоки стилей будут чередоваться в выпадающем списке Styles Автоматика. Теперь можно менять, добавлять или удалять файлы по своему вкусу и потребностям в любое время.

Удачи.