Как использовать Flux, SD3 и KOLORS в Fooocus.

Всем привет.

Как использoвать Flux, SD3 и KOLORS в Fooocus (по материалам Дзен.ру).

Многие пользователи Fooocus на форумах уже задавались вопросом:  можем ли мы использовать новую модель Flux в нашем любимом интерфейсе? Официальной информации от разработчика на этот счёт пока нет. Но то, что писал mashb1t на своём Github, говорит о том, что по крайней мере пока нам не светит работа с Flux в Fooocus. Его право.

Однако, благодаря неугомонным энтузиастам нашелся выход. Если вы пользуетесь только Fooocus и не хотите(и напрасно!) осваивать другие интерфейсы, такие как Forge, Automatic1111 и SwarmUI, то можно попробовать установить SimpleSDXL2. Это тот же Fooocus только "по китайски" с поддержкой работы моделей Flux, SD3 и KOLORS. Да, пока местами сыровато и непривычно, но Оно работает! И тем кто привык к удобству Fooocus может пригодиться. 

Неужели  mashb1t не смог, а какой-то студент из Шанхая смог, подумаете вы? Вовсе нет. Ответ прост - все что связано с Flux, SD3 и KOLORS  в SimpleSDXL2  реализуется через бекенд ComfyUI. Вот такой вот вышел комбайн с интерфейсом Fooocus-a.

Начнем как обычно с того, откуда и как скачать, и что с этим всем делать. Переходим по ссылке на Hugging Face и скачиваем вот этот файл (SimpleSDXL2_win_dev.exe.7z0912). После загрузки нужно создать папку, где будет лежать ваш SimpleSDXL2. Скачанный файл нужно переименовать, то есть удалить цифры в конце имени файла. В итоге у вас получится имя файла с расширением .exe - SimpleSDXL2_win2.exe. Это обычный zip-архив, который распаковывается автоматически. Для этого нужно просто нажать на него, указать путь для распаковки и немного подождать. После того как вы распакуете архив, перейдите в папку и запустите пакетный файл run_SImpleSDXL.bat.

Подождите, пока загрузятся необходимые зависимости. Если вы уже используете Fooocus, то перед запуском файла рекомендуется скопировать ваш уже настроенный файл конфигурации Fooocus (config.txt) в папку SimpleSDXL. Наличие готового файла конфигурации упростит процесс запуска и избавит вас от скачивания кучи ненужных моделей которыми вы вполне возможно и не воспользуетесь никогда.

Внимание: многие пользователи пишут, что для использования интерфейса необходимо скачать огромное количество дополнительных файлов. Для чего мне не совсем понятно, потому что достаточно скачать и распаковать указанный выше архив, а затем загрузить модели Flux, которые вам нужны для работы. Все! Дополнительно не нужно скачивать 30-40 гигабайт архивов которые внутри содержат только модели. Кстати размер общего файла в репозитории под 50 Гб многих отпугивает от использования SimpleSDXL, что вполне не заслуженно. Но если Flux-модели весят уже по 20 Гб то пора бы и привыкнуть.

После того, как скачаются и пропишутся все зависимости, загрузится уже привычный интерфейс Fooocus но с некоторыми отличиями. Их тут будет поболее чем в форке типа DeFooocus.

Как вы видите внешне интерфейс изменился в плане расположения элементов. Для меня это непривычно, а удобно или нет это вопрос вкуса.

Чтобы начать работать с Flux, необходимо выбрать preset Flux+ это Flux[schnell] или Fluxdev, режим для [DEV] моделей (верхняя панелька). Автоматически начнет загружаться модель Flux NF4. Поэтому лучше заранее прописать в config.txt путь с расположением вашей модели (если вы ее скачали заранее).

Важно: не включайте сразу все дополнительные улучшалки изображения, такие как Styles и FreeU. В противном случае интерфейс может перестать реагировать на ваши действия.

Как и при работе с Playground в Fooocus, здесь мы тоже сталкиваемся с определенными ограничениями при работе с моделью. Не работают Loras, Styles, Input image и Enhance, надеюсь, это временно и разработчик исправит упущение. Учитывая, что в ComfyUI уже давно поддерживается работа с Loras, стилями и инпейнтом, а работа с Flux здесь осуществляется именно с использованием ComfyUI.

Если что бекенд-сервер ComfyUI работает тут http://127.0.0.1:8187. Кстати все workflows(формат json) для Flux, SD3 и KOLOR вы можете загрузить самостоятельно из папки /workflows, для любознательных. А вот менять в них что-либо не рекомендую, все таки работа через API требует точности.

Если вы вдруг столкнулись с проблемой отображения сгенерированного изображения в окне Preview, то перейдите в Advanced - Developer Debug Mode - Debug Tools и отключите Save metadata to images.

Если вам необходимо поиграть с изображением посредством CFG то вам в Advanced.

Если вам необходимо увеличить-уменьшить количество шагов генерации: Advanced - Developer Debug Mode - Debug Tools

Если вы выбрали какую то другую модель Flux и при нажатии Generate вы наблюдаете "ничего", то это скорей всего означает что модель не поддерживается интерфейсом. Как правило, после выбора новой модели, если она совместима то после нажатия кнопки генерации вы увидите в строке прогресс бара различные системные сообщения. Также не забывайте подглядывать в окно консоли, там уж точно будет сообщение что SimpleSDXL не понравилось, или над чем он задумался.

Из поддерживаемых моделей, могу отметить все модели от silveroxides, естественно модели от lllyasviel,  но думаю подойдут большинство или все NF4, FP8, FP16 All in One модели, коих на Civitai.com уже просто тьма.

По скорости генерации Simple SDXL 2 практически ничем не отличается от Forge или Stable Swarm. В моем случае разница плюс минус 2-4 секунды. В принципе откуда та разница появится - как у вас бегает ComfyUI так будет и тут.

В заключение, стоит отметить, что Simple SDXL 2 при должном развитии и поддержке может действительно стать востребованным благодаря удобству использования. Например, такие функции, как Inpaint и Outpaint, реализованы в Fooocus очень удобно, чего явно не хватает в Automatic1111 или Forge. Несмотря на рост конкуренции среди интерфейсов, успех может заключаться в простоте и быстроте работы. Fooocus привлекает своей интуитивностью, что особенно важно для новичков. В настоящий момент отсутствие таких возможностей, как Inpaint, Outpaint, работа с масками и поддержка стилей портят всё положительное впечатление от Simple SDXL 2.

Из вкусностей стоит отметить опции Super Рrompt и Random Prompt. Также отдельно присутствует опция IC-Light. 

Из ключей запуска в run_SImpleSDXL.bat стоит сразу прописать английский интерфейс принудительно: --language en, ибо после очередного обновления он может вас кинуть на иероглифы, все-таки автор пишет код прежде всего для внутреннего рынка. Или можно уйти от автообновлений заменив файл  SimpleSDXL\entry_with_update.py запуска на SimpleSDXL\entry_without_update.py.

Если автор форка продолжит развивать проект, улучшая его на основе отзывов пользователей и добавляя востребованные функции, это может сделать продукт конкурентоспособным. А пока он остается очередным форком всеми нами любимого Fooocus с очень туманным будущим, если оно вообще есть. Потому как вполне возможно, что или mashb1t или lllyasviel таки одумаются и не обойдут стороной Fooocus в плане поддержки им моделей Flux.

Слышал что любители бесплатного софта уже занимаются русской локализацией интерфейса Simple SDXL 2. Как по мне совершенно ненужное и вредное занятие. Уверен что только английское меню в терминах GenAI имеeт смысл в пользовании подобными инструментами ИИ, а не чьи-то хотелки или лень.

Удачи.