Апскейлінг АІ-відео в ComfyUI.

Всім привіт.

Мені часто (майже завжди) приходиться мати справу з апскейлом своїх АІ-відео.. Навіть не від того що з Flow я маю 720р, хоча можу вантажити і 1080р. Це і зайвий час, іноді додаткові кредити, та і CapCut/Filmora все одно на постпроцесінгу. Тому апскейл своїх творів must have!

Сучасні нейромережі для генерації відео (Wan 2.2, Hunyuan, LTX-Video тощо) потребують колосальних обчислювальних ресурсів. Щоб зекономити час та VRAM, первинний рендер майже завжди роблять у базовій роздільності - 720p (наприклад, 720x1280) або навіть нижче.

Але просте математичне «розтягування» кадру (звичайний зум) проблему не вирішить — відео стане мильним, піксельним і миттєво втратить увесь свій лоск. Саме тому АІ-апскейл — це не просто зум, а абсолютна необхідність. Він не розтягує пікселі, а інтелектуально відновлює структуру кадру, видаляє АІ-артефакти та інтелектуально відтворює дрібні деталі. Це єдиний спосіб адаптувати згенерований контент під сучасні стандарти: для публікацій у соцмережах (Reels, Shorts, YouTube), перегляду на великих моніторах чи використання у відеомонтажі.

Для ComfyUI є чотири принципово різних інструменти для цієї задачі. Вони відрізняються за логікою роботи, вимогами до заліза та швидкістю. Звісно кожен з них вимагає додаткових custom нод. 

1. FlashVSR — швидкий реставратор для «поганих» джерел

FlashVSR розроблявся як класичний Video Super-Resolution (VSR) інструмент для відновлення низькоякісних та стиснутих відео (Low Quality ➡️ High Quality).

Апаратні вимоги: Скромні. Потребує від 6 до 8 ГБ VRAM, тому легко заведеться практично на будь-якому робочому ПК.

Швидкість виконання: Дуже висока. Обробка йде зі швидкістю близько 15–20 кадрів на секунду.

Якість на вхідному АІ-відео 720p: Оскільки модель розрахована на "убитий" вихідник (360p–480p) із пікселями та шумами, на чистому АІ-відео 720p вона може спрацювати проти вас. Якщо виставити стандартні налаштування, FlashVSR починає замилювати шкіру та створювати ефект «пластику». Щоб цього уникнути, параметр впливу (strength) доводиться сильно скручувати до 0.3–0.4.

2. SeedVR2 — найкращий баланс для АІ-відео

SeedVR2 (3B / 7B) — це генеративний дифузійний апскейлер. Він не просто розтягує пікселі, а буквально "розуміє" контекст кадру та домальовує нові мікродеталі.

Апаратні вимоги: Середні та високі. Для комфортної роботи потрібна відеокарта з 12–16 ГБ VRAM (наприклад, RTX 4060 Ti 16GB або RTX 3060 12GB).

Швидкість виконання: Середня. Обробка короткого ролика займає від кількох десятків секунд до кількох хвилин залежно від обраної моделі (3B працює значно швидше за 7B).

Якість на вхідному АІ-відео 720p: Ідеальний вибір для нейромережевих генерацій! Перетворюючи 720p на 1080p або 4K, SeedVR2 додає чіткі пори шкіри, окремі волосинки, фактуру тканини та листя, не змінюючи при цьому вихідний стиль та обличчя персонажа.

Видеокурс Forge WebUi (КМБ).

Всем привет.

Ребята, сегодня хочу вам порекомендовать курс "FORGE WebUi (КМБ)" , который реально отличается от масс-маркета.

Сразу скажу: автор, Дмитрий Невский, не обещает «волшебную таблетку» или профессию за три дня. Это честное, живое обучение для тех, кто хочет реально разобраться, а не просто поиграться.

Многие думают, что учиться можно и по YouTube. Можно, но там каша. Автор этого курса в теме уже три года (еще с выхода самых первых нейросетей) и сгенерировал больше миллиона картинок. Он сделал этот продукт именно потому, что понял: людям не хватает структуры и глубины, а не просто разрозненных роликов.

Это не «рекламная вода», а концентрат его личного опыта. Курс проведет вас от базы Stable Diffusion 1.5 до всех наворотов Forge.

Главная фишка: вас научат не просто тыкать кнопки по шаблону, а понимать логику. Вы разберете интерфейс по винтикам и поймете, за что отвечает каждая настройка. Подойдет и новичкам, и тем, кто уже давно генерит, но хочет систематизировать знания.

Далее следует оригинал от Дмитрия Невского. Там же освещены ответы на финаносовые вопросы. Удaчи.

После того как вы оформите покупку вам откроется доступ ко всем уже вышедшим урокам и материалам к ним, а так же ссылка на чат в телеграме.

📖 КРАТКОЕ СОДЕРЖАНИЕ И ПРОГРАММА КУРСА

Курс организован на несколько блоков, где каждый блок будет содержать серию тематических уроков, позволяющих полностью освоить конкретную тему от А до Я.

✨ 1. Первый блок: осваиваем Forge с нуля. 

В нем мы детально разберём:

- Правильную установку Forge - все нюансы и подводные камни;

Разберем интерфейс "по косточкам":

- Назначение каждого окна и панели;

- Гибкую настройку рабочего пространства под свои нужды;

Ключевые параметры в Settings:

- Как каждый параметр влияет на генерацию;

- Какие настройки действительно стоит менять, а какие лучше не трогать;

- Оптимальные конфигурации для разных задач.

Вы поймёте не просто "где что находится", а научитесь осознанно работать с интерфейсом.

Вибираю Upscaler standalone.

Всім привіт.

Ми живемо в епоху, коли зіпсовану або просто маленьку фотографію більше не треба викидати у цифровий смітник. Штучний інтелект навчився домальовувати реальність, і робить це іноді лякаюче якісно. Але коли я почав заглиблюватися в тему локальних апскейлерів (програм для збільшення зображень, що працюють БЕЗ інтернету), я зрозумів одну річ: магія працює, тільки якщо ваш комп’ютер здатен її "перетравити".

Я протестував три абсолютно різні інструменти - від сучасних комбайнів до перевіреної класики - і ось мої висновки про те, кому і що варто встановлювати.

До речі - нижче всі три варіанти безкоштовні і всі три портабельні!

QualityScaler: Коли у вас є потужне "залізо" і бажання контролювати все

Якщо у вас стоїть сучасна відеокарта від NVIDIA (серії GTX або новіша RTX), то зупинятися на простих рішеннях - це злочин проти якості. Тут на сцену виходить QualityScaler.

Це не просто програма з однією кнопкою "Зробити красиво". Це справжня лабораторія. Головна його фішка в тому, що він використовує просунуті моделі (наприклад, BSRGAN або HAT), які вміють не просто згладжувати пікселі, а буквально "вигадувати" текстуру шкіри, тканини чи цегли там, де її не було. Окремо варто згадати функцію відновлення облич: якщо на старому груповому фото люди схожі на розмиті плями, QualityScaler через спеціальні алгоритми (CodeFormer) повертає їм очі та посмішки.

Він працює через DirectML, що дозволяє витиснути максимум з вашої відеокарти. Я навіть знайшов спосіб зробити з нього повністю портативну версію, яка живе на флешці разом з усім необхідним середовищем Python. Але будьте готові: це інструмент для ентузіастів. Купа налаштувань, повзунків і вибір моделей можуть налякати новачка, проте результат того вартий.

GenAI і розумна докачка.

Всім привіт.

От чого не вистачає в багатьох безкоштовних інструментах GenAI ? 

Розумної докачки великих файлів, особливо моделей.

Розробники вважають що інтернет завжди стабільний, а файл моделі іноді не докачується, потім на диску лежить недокачаний файл, а сам GenAI-інструмент не знає як з цим бути.

Це класична помилка "Happy Path" (шляху щасливчика) у розробці - коли програміст пише код, розраховуючи, що мережа ідеальна, диск не переповниться, а світло не вимкнуть. Звісно коли ми користуємся безкоштовним ПЗ то всі претензії зайві, хоча побажання завжди можно залишити на github.

Для великих файлів (LLM моделі, ваги нейромереж .gguf, .bin, які важать гігабайти) простої докачки замало. Є ще одна величезна проблема - "биті" файли.

Файл може скачатися повністю (розмір зійдеться байт-у-байт), але всередині буде "сміття" через помилку мережі. Інструмент спробує завантажити таку модель і впаде з незрозумілою помилкою.

Ось "золотий стандарт" для завантажувача моделей, який вирішує проблему "недокачаного або битого файлу". Тому додаємо перевірку SHA256 хешу.

Цей код робить три речі (для Python 3.10+):

• Перевіряє, чи файл вже є. Якщо він є і розмір збігається — перевіряє його цілісність (хеш).
• Докачує, якщо файл неповний.
• Видаляє файл, якщо після скачування хеш не зійшовся (щоб ви не зберігали сміття).

Python

import urllib.request

import urllib.error

import sys

import os

import hashlib

Фішки wildcards.

Привіт привіт.

Мені здається що підтримка wildcards в Forge та Fooocus то найкраща фіча яка вже ніколи не з'явиться в інших GenAI інструментах. Я можу таку функціональність реалізувати в Pixel AI Studio, але вона швидко використає ваші кошти на АРІ-запити.((

То ж в мене всі карти знаходяться на сервері в окремій теці на які зроблені посилання:

• /wildcards/ for Foooocus (config.txt)
• /wildcards/ by symlink for Forge (Dynamic Prompts extension)

Згадав я про мегапак від в'єтнамських шанувальників wildcards, де промпт з wildcard посилається на інший wildcard і так далі. Як то виглядає?

Можливо так:

masterpiece,ultra realistic,32k,extremely detailed CG unity 8k wallpaper, best quality,({summer day | autumn day | winter day | spring day }),lady ,necklace ,eardrop, __*/city__, ( __*/colors__ __*/mixwear__ ) , __*/haircolor__ hair __*/hairstyle__ ,

або навіть так:

Уявіть, і це працює!))

Hi, I'm Pixel AI Studio Pro!

Welcome to Pixel AI Studio Pro.

Версія: Pro (Hybrid Engine Update)

Дата виходу: 2026

Статус: Production Ready

1. ВИКОНАВЧЕ РЕЗЮМЕ

Нова версія Pro знаменує собою фундаментальну зміну в архітектурі мого додатку Pixel AI Studio. Продукт еволюціонував від інтерфейсу для генерації зображень (API Wrapper) до повноцінного гібридного графічного редактора.

Ключовою інновацією версії Pro є впровадження Hybrid Processing Pipeline, де можливості генеративного штучного інтелекту (Google Gemini/Imagen/Veo) поєднуються зі складними алгоритмами комп'ютерного зору (Computer Vision), що виконуються безпосередньо у браузері користувача. Це дозволило реалізувати функції, недоступні для звичайних ШІ-генераторів (стереограми, точні схеми, 3D-анімації).

2. КЛЮЧОВІ ІННОВАЦІЇ (ZERO-TO-ONE FEATURES)

У новій версії реалізовано модулі (стилі), яких не існувало в попередніх ітераціях.

Порт GUI в GenAI.

Привіт привіт.

Як відомо більшість локальних GenAI генераторів Forge, Foooсus, SXDL2 тощо активують свій веб-сервер  з портом 7860 або іншим вільним на зараз. 

Номер порта при запуску можливо поміняти параметром --port, або  неможливо (непередбачено), і тоді його номер по замовченню треба шукати в python коді сервера.

Якщо ви викорстовуєте декіліька генераторів, як я, то немає потреби запам'ятовувати їх, а вистачить зробити URL лінки на кожен з них.

Але тут є підводний камінь - якщо лінк повністю співпаде по назві, наприклад http://localhost:7860 то його збереження може переписати попередній. Тобто був у вас лінк на Automatic, а став раптом на Forge.)

Плюс є ще такі standalone генератори як OmniGen або WAN2GP тощо, і знову плюс ті самі лінки..., виглядає такий набір важно але.

До чого я веду? 

Можно зробити простіше - тепер я роблю URL тільки на номер порта. І все. А поточний номер порта я завжди бачу в консолі того генератора який зараз використовую. Це набагато економніше по рухах мишкою. Звісно це стосується тих випадків коли GUI генератора не відкривається автоматом.

Щасти.

Розумне використання Veo 3.

Привіт привіт.

Наскільки Veo 3 наробила шуму настільки треба вміти нею користуватися. Так, вона досі не безкоштовна, але Google обіцяє модель Veo 3 Fast за помірними цінами або навіть з trial періодом. То ж до діла.

Оригінал англійською цієї статті знайдете тут.

Veo 3 від Google генерує відео зі звуком на основі текстових підказок. Аудіо може бути діалогом, закадровим голосом, звуковими ефектами та музикою.

Напишіть, що саме відбувається

Спочатку основи. Добре складена підказка – це ключ до створення хороших відео. Чим більше ви можете вказати у своїй підказці простою мовою, тим легше Veo 3 зрозуміти та створити потрібне вам відео.

Спробуйте включити ці візуальні елементи у своє завдання:

• Тема: Хто або що зображено на сцені — людина, тварина, предмет або пейзаж.
• Контекст: Де знаходиться об'єкт зйомки? У приміщенні? На міській вулиці? У лісі?
• Дія: Чи ходить, стрибає, повертає голову ваш об'єкт?
• Стиль: Візуальна естетика, до якої ви прагнете (кінематографічна, анімована, покадрова анімація тощо).
• Рух камери: Опишіть, як рухається камера: з висоти пташиного польоту, на рівні очей, зверху вниз або з нижнього ракурсу.
• Композиція: Як кадровано кадр: ширококутний план, крупний план тощо.
• Атмосфера: Настрій та освітлення. Ви можете сказати щось на кшталт «теплі тони», «синє світло» або «ніч».

Також потрібно включити аудіоелементи, які ми розглянемо детальніше нижче.

Ось приклад порівняння простого та детального підказки:

«A man answers a rotary phone“

 Проти:

“A shaky dolly zoom goes from a far away blur to a close-up cinematic shot of a desperate man in a weathered green trench coat as he picks up a rotary phone mounted on a gritty brick wall, bathed in the eerie glow of a green neon sign. The zoom reveals the tension and the desperation etched on his face as he struggles to talk on the phone. The shallow depth of field focuses on his furrowed brow and the black rotary phone, blurring the background into a sea of neon colors and indistinct shadows, creating a sense of urgency and isolation.“

Друга підказка містить структурні елементи для підштовхування Veo 3 до сцени, яку ми намагаємося створити.

Автоматизация труда в GenAI.

Всем привет.

Определенная автоматизация творческого труда в GenAI возможна! Само собой на этот счет существует масса скриптов или расширений для Forge/Automatic1111 которые позволяет выполнять пакетную генерацию или апскейлинг.

Вот одно из них - замечательное расширение которое предназначено для пакетного распознавания и генерации описаний (их можно использовать как промпт) по картинке с помощью популярной модели Florence-2. В принципе автор расширения просто добавил то чего не хватает в штатном Florence-спейсе самого Forge.

Итак, переходим в Forge и устанавливаем по ссылке расширение Forge Space Batch Florence-2: https://github.com/Haoming02/forge-space-batch-florence-2.git

Разумеется расширение устанавливается на вкладку "SPACE", поэтому переходим на эту вкладку и жмем напротив BATCH - Florence-2: Image Captioning and Object Detection кнопку "LAUNCH".

После чего в соседней вкладке web-браузера запустится новое окно: 

Переходим в нашу папку с исходными изображениями и копируем ее полный путь. Вставляем путь в поле Working Directory (вверху справа) и жмем кнопку Run, после чего начнется автоматическое распознавание картинок, а рядом с картинками станут появляться TXT-файлики с описаниями.

ВНИМАНИЕ: если в рабочей папке картинки разных размеров то процесс может и стопорнуться (ловим ошибку в консоли ValueError: Unable to infer channel dimension format).

По умолчанию будет выбрана задача (Task) - More Detailed Caption как более подробное описание, для будущих промптов без правки советую использовать именно ее, можно еще выбрать Caption и Detailed Caption, но деталей будет меньше. Справа, если убрать галочку - Recursive то кроме промптов будут сохраняться копии файлов с отметками на каких местах на картинках был фокус модели при анализе. Возможно вам это будет интересно. Если отметить радиобатон - Cascased Tasks, то вместо текстовых файлов, промпты будут сохраняться в файлах формата json. Куда их можно после применить - пока ответить не берусь.

SD результати в одному місці.

Привіт на привіт.

Я вважаю що не тільки моделі GenAI, але і результати генерацій мають бути розташовані в одній теці, а кінцевий розподіл варто робити тільки по назві самого генератора. Плюс Fooocus робить фінальне сортування по даті генерації  по замовченню, а от для ComfyUI та Forge/Automatic1111 з цим потрібні деякі рухи.

Нехай наша загальна тека результатів це D:\outputs\.

1) ComfyUI.

Відомо що в ComfyUI вихідна директорія задається параметром --output-directory, тому в run_nvidia_gpu.bat пишемо наступне:

for /f %%i in ('powershell -command "Get-Date -Format yyyy-MM-dd"') do set Folder=%%i

md D:\outputs\ComfyUI\%Folder%

.\python_embeded\python.exe -s ComfyUI\main.py --windows-standalone-build --output-directory D:\outputs\ComfyUI\%Folder%

До речі в штатній ноді "Save Image" ви також можете спрямувати результат в теку з назвою по даті вписавши туди такий шаблон: 

%date:yyyy-MM-dd%/Comfyui

Але я таке робити часто забуваю тому мені параметр output-directory подобається більше.

2) Fooocus.

В Fooocus вихідна директорія задається в config.txt:

    "path_outputs": "D:\\Outputs\\Fooocus"

Якщо ви маєте форки Fooocus-a і тримаєте їх поруч з класичним, то в файлі fooocus_version.py  кожного можете вписати унікальне ім'я щоб потім розрізняти картинки в загальному Fooocus Log.

3) Forge/Automatic1111.

В Forge/Automatic1111 вихідна директорія задається в config.json:

    "outdir_samples": "D:\\Outputs\\Forge\\"

або в самому GUI на вкладке Settings так:

Ось так, щасти.

Куди подівся Forge Flux Realistic?

Привіт, привіт.

Як я і казав - не всі оновлення однаково корисні! Ось на днях користувачі GenAI генератора Forge були неприємно здивовані що зникли з переліку семплерів 4 останніх які в своїй назві починалися як  [Forge]Flux Realistic.

Довідка: Sampling метод (sampler) - це спосіб генерації нових даних з наявних даних, використовуючи певні правила та алгоритми. У контексті генеративних нейромереж, sampling методи використовуються для генерації нових даних, які схожі на ті, що використовувалися для навчання нейромережі. 

Так от, це відбулося від останнього оновлення коли у автора Forge компанія Comfy.Org відкликала ліцензію. Як на мене звучить дикувато для безкоштовного софта, але такий вже реальний світ.

Що можно зробити? Зробити відкат так: git reset --hard f53307881bfd824dbdce6ac0d4bba04d9a74ab36

Але знову ж таки, проблема може повернутися з наступним оновленням, тому варто НЕ оновлюватись при кожному старті генератора, а все ж таки це робити вибірково, і точно не в день виходу нового релізу. Почитати відгуки фанатів та першопрохідників апдейтів тощо. В решті решт варто мати по два екземепляри схожих генераторів, один робочий, другий саме для тестів на нові апдейти. Як на мене, буває корисно деякі апдейти... пропустити. Саме так - бо апдейти несуть  в собі не тільки нові та смачні фічі, а і нові глюки.

На жаль, обхід запуску оновлення в кожного генератора свій, десь є штатні ключі (Automatic та Fooocus), а десь треба самим правити код щоб того не сталося (Fooocus Ruined). Майже всі генератори мають при запуску свої перевірки щодо доступності з вашого ПК інтернету. Як перевірити? Спробуйте відключити інтернет і запускайте Forge, Comfy або Fooocus,... побачите багато нового в консолі, хто куди стучиться та за чим.)

Щасти.

Безнодовый ComfyUI.

Привет на привет.

В сети много жалоб что интерфейс ComfyUI сложен для понимания, эти паутины, ноды,  и т.п. Согласен, порог вхождения в GenAI через ComfyUI высокий. Но с помощью youtube все возможно, более того - так сложилось у меня лично что знакомство с GenAI я начинал именно с ComfyUI.))

это потом уже были Automatic1111 с Fooocus-м. Но сейчас уже многим очевидно что за ComfyUI будущее, и гуру от GenAI начинают медленно (чтобы подписота не разбежалась), но уверенно переводить своих прихожан на религию ComfyUI. ComfyUI можно ругать за сложность и не очевидность(весьма спорно!) некоторых моментов, но с помощью этого генератора можно сделать буквально ВСЕ. Более того, в процесс генерации можно сохранить (картинка или файл json) буквально ВСЕ параметры workflow для будуших генераций в отличие от Automatic1111 или Forge.

Кроме того сегодня ComfyUI работает в качестве бекенда в Stability Matrix, SimpleSDXL и SwarmUI. этo те случаи когда разработчики прячут GUI ComfyUI от пользователя чтобы не травмировать его психику. 

SimpleSDXL алерт.

 

Привіт привіт.

Зважаючи на тещо криптомайнери не сплять їм постійно хочеться використати ІТ-потужності фанів GenAI, бажано по тихому. Ось прилетіла чергова новина, вже про SimpleSDXL.

Відомо що Fooocus форк SimpleSDXL значною мірою залежить від пакета simpleai_base, що належить тому ж автору. Пакет simpleai_base містить скомпільований Rust-код, який включає приховану функцію віддаленого доступу з використанням Rust crate rathole, яка і виконує збір великої кількості системної інформації за допомогою прихованих викликів системних виконуваних файлів та нерозкриту функцію phone-home, яка завантажує цю інформацію на tokentm.net  домен, пов'язаний із блокчейном. Нещодавно simpleai_base було видалено з PyPI після того, як про нього повідомили з тих самих причин, однак поточний код SimpleSDXL замість нього все ще встановлює попередньо скомпільоване wheel, завантажене з Github. Повний текст повідомлення тут.

Тому, наприклад, Stability Matrix терміново оновив свій код і виключив з переліку підтримки SimpleSDXL  на своїй платформі. До того ж сам автор SimpleSDXL в оcтанній версії AIO частину функцій підключив (чи заблокував) через якийсь Identity Manager. Чи то автор проєкту SimpleSDXL поступово переходить на комерційні рейки чи все більше орієнтується на запити китайських користувачів, мені невідомо. Але що є то є, тому користуватися вам далі SimpleSDXL  чи ні, вирішувати вам. Я би радив поставити його на паузу, або поки що відключити автоматичне оновлення SimpleSDXL при запуску.

Stay in touch.

Домашний GenАI сервер.

Всем привет.

Как-то под Новый год мне не удалось попасть физически на свой компьютер (с Windows 10, но далее назовем его гордо GenАI-сервер) который и выступает собственно в роли GenАI. А вот ноутбук оказался доступен. И чертовски захотелось поработать творчески...

Тут я вспонимл про то что почти все генераторы могут работать по сети.  В конце концов gradio тот же web frontend, a волшебный ключик --listen творит чудеса.

Что мы имеем в таком случае? У себя на нотубуке в web-браузере мы можем запустить тот же ComfyUI как https://GenAI_ip_adr:8187 и начинать творить. Все ресурсы для генерации, CPU+RAM+VRAM, будут использованы на удаленном сервере. Отлично. 

А что в минусах? 

Первое - у нас нет консоли (backend) самого генератора, иногда полезно и туда заглядывать, хотя для ComfyUI автор эту проблему уже решил: хитрая панелька снизу в окне web-браузера.

Второе - мы не можем переключиться на другой генератор, например на Fooocus, если тот не запущен. Я пробовал запустить их несколько одновременно, однако печаль по памяти.

Какие есть варианты?

Самый простой это использовать RDP сеанс к своему серверу. Теперь в отдельном окне у меня Desktop сервера со всеми вытекающими плюсами. Если здесь минус? Практически нет, за исключением небольших настроек для RDP.  Но можно пойти еще дальше.

Переносим кэш Python.

Всем привет. 

Уверен, что многие из вас, работая с GenAI, рано или поздно сталкивались с нехваткой свободного места на системном диске. 

Часто полагают, что проблема именно в самой генераторе, и что он непомерно "жрёт" дисковое пространство, но это не совсем так, большую часть места "съедает" кэш самого Python и устанавливаемые зависимости, коих для корректной работы любой нейросети используется достаточно большое количество. И в процессе, вы, поиграв с одной нейросетью, и даже удалив её и поставив другую в недоумении смотрите на цифры и не понимаете, куда же сегодня делось еще 10 Гб с диска "С".

Чтобы хоть частично решить эту проблему, мы можем изменить директорию, куда скачиваются устанавливаемые файлы зависимостей и в которой хранится кэш, и сделать это можно несколькими способами.

Лично я рекомендую использовать ВСЕ способы ВМЕСТЕ если вы пользуетесь портабельными версиями ИИ-генераторов. Ибо далеко не каждый генератор портабелен на все 100% и свой кэш может легко забрасывать на ваш системный диск. Особенно этим грешат сборки Spaces.

Способ 1. 

Измените переменную среды ТЕМР в своей ОС. Да, да, это банально, но частенько мы забываем что по умолчанию пользовательская "времянка" в Windows тоже указывает на системный диск.

Чтобы настроить переменные среды, нажмите правой кнопки мыши на Мой Компьютер - Свойства - Дополнительные параметры системы - в окне "Свойства системы" нажмите "Переменные среды". Нажмите на переменную, которую вы хотите изменить, нажмите "Изменить".

Способ 2. 

Задайте, или измените если она существует, переменную среды PIP_CACHE_DIR в своей ОС. После этого все операции установки пакетов с использованием PlP будут использовать указанную директорию для хранения кэша. Шаги те же что и в 1-м способе.

Способ 3. 

Задайте, или измените если она существует, переменную среды XDG_CACHE_HOME в своей ОС. Это наследие Linux с которым теперь приходиться сражаться и в Windows. Переменная XDG_CACHE_HOME является стандартом из XDG Base Directory Specification, который происходит из Linux-среды. Однако многие библиотеки Python, независимо от операционной системы (включая Windows), поддерживают эту переменную среды как способ определения места хранения кэша.

Способ 4. 

Задайте, или измените если он существует, глобальный кэш для PIP. Откройте командную строку прописав в ней команду:

..\python_embeded\python.exe -m pip config list

или

..\python_embeded\python.exe -m pip config get global.download-cache

..\python_embeded\python.exe -m pip config get global.cache-dir

Лайфхаки для Fooocus.

Привет всем.

Сегодня парочка лайфхаков для любителей Fooocus.

1. Первый хак как дополнительная фича к общепринятой поддержке wildcards - в Fooocus можно использовать чередование токенов в промпте. Например вы пишите:

[[red,blue,yellow]] Т-shirt

включаете генерацию 3-х картинок и получаете на выходе три футболки красного, голубого и желтого цветов.

Можете усложнить промпт еще вот так:

[[red,green,yellow]] apple on the [[table, bin, plate]]

и ваши первые три яблока будут на столе, следующие три в корзине, и еще три на тарелке. Разумеется генерация должна быть на 9 картинок. Если вы включите только на 3, то получите исключительно яблоки на столе. Думаю тут все понятно.

PS: увы, этот штатный хак из Fooocus не работает в RuinedFooocus, автор Ruined рановато закончил его развитие. Зато в нем можно пользоваться всеми прелестями One Button Prompt (ОВР).

2. Еще один хак для удаления лишних предметов из готовой композиции. 

Такое в Fooocus делается очень просто - закидываете картинку на вкладку "Inpaint or Outpaint", метод не меняем, direction не выбираем, рисуем маску на предмете который должен быть удален и... жмем Generate. Все, никакого промпта не пишем, и это работает на 99% случаев.

На сегодня кроме классического Fooocus-a мне в руки попадались его форки SimpleSXDL2, RuinedFooocus, FooocusExt и DeFooocus.  Из них популярную модель Flux поддерживают  RuinedFooocus и  SimpleSXDL2, остальные имеют на борту ряд других вкусных фишек (перечислять долго), которые могут сегодня работать, но могут завтра и перестать по мере развития бесплатного GenAI.

Удачи.

Flux и Fooocus? Все возможно!

Всем привет.

Вы не поверите, но меня в чате Telegram до сих пор спрашивают как использовать Flux-модели в Fooocus. Вот хочет наш пользователь, особо не вникая в тонкости GenAI, получить на выходе качество Flux-a. К сожалению  автор самого Fooocus-а закончил его обновлять еще до появления Flux. Но не все так плохо, есть два варианта на выбор.

Первое, это использовать SimpleSDXL2 - это форк Fooocus-a, где парень из Китая внедрил опцию генераций на Flux-моделях. В бекенде для генераций там используется ComfyUI, что впрочем никак не влияет на пользовательский интерфейс, для вас он чисто аля Fooocus.

Второе,  это использовать RuinedFooocus - это еще один форк Fooocus-a, где другой парень из Британии также внедрил опцию генераций на Flux-моделях. Однако здесь следует провести небольшую подготовку ибо RuinedFooocus хоть и имеет работающий интерфейс, но в нем легко можно потеряться.

Ruined Fooocus поддерживает квантованные модели GGUF Flux, которые вы можете найти здесь city96/FLUX.1-dev-gguf и city96/FLUX.1-schnell-gguf, а также некоторые модели Flux, найденные на CivitAI, которые содержат только часть Unet.

Поскольку в этих моделях отсутствуют clip, t5 и vae, вам, возможно, придется загрузить их. Это может произойти и автоматически, но вы можете сделать это вручную, если захотите использовать другие модели:

⦁ comfyanonymous/flux_text_encoders - clip_l.safetensors, положить в models\clip

⦁ city96/t5-v1_1-xxl-encoder-gguf - t5-v1_1-xxl-encoder-Q3_K_S.gguf ¹, положить в models\clip

⦁ black-forest-labs/FLUX.1-schnell - ae.safetensors, положить в models\vae.

Например t5-v1_1-xxl-encoder-Q3_K_S.gguf - самый маленький по размеру и используется по умолчанию. Вы можете изменить любой из них, отредактировав файл settings\settings.json

Про Photomaker и Forge.

Привет всем.

Вы наверное уже знаете что автор Forge решил разнообразить свой продукт и в интерфейс Forge добавил закладку Spaces куда портировал ряд проектов с портала huggingface Spaces. 

Есть среди них на закладке Spaces и популярный PhotomakerV2. Картинки для Instagram он делает просто на ура. Разумеется можно также легко пользоваться PhotomakerV2 и на портале huggingface, но там очень быстро наступает лимит по времени генерации что творческому человеку просто мука.

Однако не спешите радоваться, у меня PhotomakerV2 перестал работать после последнего обновления Forge. После недолгих поисков я обнаружил что PhotomakerV2 не дружит с новой версией xformers, или точнее сказать у xformers повысились требования к моей видеокарте и он ее обозвал "old model" именно при генерации с PhotomakerV2. В самом Forge с этим все Ок.

На мое счастье запустить его еще можно понизив версию xformers до 0.0.23, разумеется это не очень удобно так как встроенный Python используется от самого Forge. Но выпиливание PhotomakerV2 из Forge займет у вас еще больше времени. Поэтому у меня пока два портативных(!) Forge-a.

Из полезного могу добавить то что можно разнообразить стили в PhotomakerV2 дописав их в файл style_template.py в json-формате (пример ниже). Где взять? Можно аккуратно переписать их из Fooocus-а или из InstantID проекта:

style_list = [

{"name": "(No style)","prompt": "{prompt}","negative_prompt": "",},

{"name": "cinematic-default", "prompt": "cinematic still {prompt} . emotional, harmonious, vignette, highly detailed, high budget, bokeh, cinemascope, moody, epic, gorgeous, film grain, grainy", "negative_prompt": "anime, cartoon, graphic, text, painting, crayon, graphite, abstract, glitch, deformed, mutated, ugly, disfigured"},

{"name": "sai-3d-model", "prompt": "professional 3d model {prompt} . octane render, highly detailed, volumetric, dramatic lighting", "negative_prompt": "ugly, deformed, noisy, low poly, blurry, painting"},

{"name": "sai-analog film", "prompt": "analog film photo {prompt} . faded film, desaturated, 35mm photo, grainy, vignette, vintage, Kodachrome, Lomography, stained, highly detailed, found footage", "negative_prompt": "painting, drawing, illustration, glitch, deformed, mutated, cross-eyed, ugly, disfigured"}

и т.п.

Кладовая стилей: художники, дизайнеры и фотографы.

Всем привет.

Сегодня для вас третья часть от Дмитрия Невского про закрома SD, другими словами "Кладовая стилей: художники, дизайнеры, фотографы и многое другое для ваших нейросетей".

Я как-то касался этой темы, но у Дмитрия материала накопилсь больше, так что ему и слово.

Друзья, за все время изучения Stable Diffusion в моих закладках скопилась настоящая кладовая стилей художников, которые идеально подойдут для генераций в любой нейросети которую вы используете. Ниже вы найдете подборку стилей от классических художников до современных. Надеюсь, что эти ресурсы вдохновят вас на создание новых шедевров и помогут вашим нейросетям генерировать что-то по-настоящему удивительное. 

Stable Diffusion стили

SDXL Artist Study - это ресурс для тех, кто интересуется генеративным искусством и стилями художников. На сайте собрана обширная коллекция стилей, которые можно использовать для генеративных нейросетей, таких как Stable Diffusion XL.  

Stable Diffusion Artist List - это обширный каталог художественных стилей, созданный для пользователей генеративных нейросетей, таких как Stable Diffusion XL. Помимо стилей художников на этом сайте можно найти готовые промты художников для Stable Diffusion c примерами, промт генератор, генераторы картинок и др.

Urania AI - Top Stable Diffusion Artists - это подробный список художников, чьи стили изначально были предназначены для Stable Diffusion 1.4, но они хорошо подойдут так же и для других моделей Stable Diffusion и других нейросетей.  На сайте представлены визуальные примеры работ и фильтры для поиска художников по различным жанрам и направлениям. 

Стили в Forge и как их использовать на моделях FLUX

Всем привет.

Накидаю ка я вам парочку статей из блога Дмитрия Невского, энтузиаста от ИИ. Мне лично нравится его непредвзятая подача материала по Stable Diffusion и всего что около. Сегодня первая статья про быстрые стили в Forge/Automatic1111 и как их использовать, в том числе и на моделях FLUX.

Замечание: на сегодня модели FLUX не поддерживаются в Automatic1111.

Знаете ли вы, что правильное использование стилей в Stable Diffusion может увеличить качество ваших генераций на 300%? Да-да, вы не ослышались! А что, если я скажу вам, что большинство пользователей Stable Diffusion используют стили неправильно, тем самым ограничивая их потенциал? 

Немного терминологии

Стили в Stable Diffusion - это наборы слов или фраз, которые определяют визуальные характеристики генерируемого изображения. Они могут влиять на цветовую палитру, композицию, детализацию и общую атмосферу.

Стили могут быть как в интерфейсе - быстрые стили (имею ввиду для Forge/Automatic1111), могут быть прописаны в промпте, иногда установлены вместе с разными расширениями.

Стили в промпте (например "style by Tim Burton"):

- Модель попытается имитировать общий стиль Бертона.

- Результат может варьироваться в зависимости от других элементов промпта.

- Требуют знания специфики стиля художника, могут быть менее предсказуемыми, зависят от обучения модели.

- Может потребовать дополнительных уточнений для получения конкретных черт стиля Бертона.

Стили в интерфейсе:

- Это предварительно составленные наборы слов, описывающие конкретный стиль.

- Обычно более подробные и специфичные, дают более конкретный и предсказуемый результат.

- Легко применяются одним кликом.

- Могут комбинироваться с другими элементами промпта.