Flux и Fooocus? Все возможно!

Всем привет.

Вы не поверите, но меня в чате Telegram до сих пор спрашивают как использовать Flux-модели в Fooocus. Вот хочет наш пользователь, особо не вникая в тонкости GenAI, получить на выходе качество Flux-a. К сожалению  автор самого Fooocus-а закончил его обновлять еще до появления Flux. Но не все так плохо, есть два варианта на выбор.

Первое, это использовать SimpleSDXL2 - это форк Fooocus-a, где парень из Китая внедрил опцию генераций на Flux-моделях. В бекенде для генераций там используется ComfyUI, что впрочем никак не влияет на пользовательский интерфейс, для вас он чисто аля Fooocus.

Второе,  это использовать RuinedFooocus - это еще один форк Fooocus-a, где другой парень из Британии также внедрил опцию генераций на Flux-моделях. Однако здесь следует провести небольшую подготовку ибо RuinedFooocus хоть и имеет работающий интерфейс, но в нем легко можно потеряться.

Ruined Fooocus поддерживает квантованные модели GGUF Flux, которые вы можете найти здесь city96/FLUX.1-dev-gguf и city96/FLUX.1-schnell-gguf, а также некоторые модели Flux, найденные на CivitAI, которые содержат только часть Unet.

Поскольку в этих моделях отсутствуют clip, t5 и vae, вам, возможно, придется загрузить их. Это может произойти и автоматически, но вы можете сделать это вручную, если захотите использовать другие модели:

⦁ comfyanonymous/flux_text_encoders - clip_l.safetensors, положить в models\clip

⦁ city96/t5-v1_1-xxl-encoder-gguf - t5-v1_1-xxl-encoder-Q3_K_S.gguf ¹, положить в models\clip

⦁ black-forest-labs/FLUX.1-schnell - ae.safetensors, положить в models\vae.

Например t5-v1_1-xxl-encoder-Q3_K_S.gguf - самый маленький по размеру и используется по умолчанию. Вы можете изменить любой из них, отредактировав файл settings\settings.json

У меня сейчас он такой:

"clip_g": "clip_g.safetensors",

  "clip_l": "clip_l.safetensors",

  "clip_t5": "t5-v1_1-xxl-encoder-Q4_K_S.gguf",

  "gguf_clip1": "clip_l.safetensors",

  "gguf_clip2": "t5-v1_1-xxl-encoder-Q4_K_S.gguf",

  "gguf_vae": "ae.safetensors"

RuinedFooocus может автоматически загружать некоторые файлы. Список известных ему файлов таков:

For gguf_clip1: clip_l.safetensors

For gguf_clip2: t5-v1_1-xxl-encoder-Q4_K_S.gguf

For gguf_vae: ae.safetensors

Теперь вы сможете использовать модели GGUF и Flux safetensors, в которых отсутствуют clip, t5 и vae.

Также могут работать и другие модели:

⦁ city96/FLUX.1-dev-gguf - Any of these

⦁ city96/FLUX.1-schnell-gguf - Any of these.

⦁ https://civitai.com/models/647237/flux1-dev-gguf-q2k-q3ks-q4q41q4ks-q5q51q5ks-q6k-q8

⦁ https://civitai.com/models/648580/flux1-schnell-gguf-q2k-q3ks-q4q41q4ks-q5q51-q5ks-q6k-q8

Обратите внимание, что для моделей Flux требуются другие настройки производительности, чем для SDXL. Вы можете установить их, выбрав Custom... в качестве Performance. Ниже парочка примеров, которые точно работают и могут быть вашей отправной точкой:

• Flux Dev: Sampler Euler, Steps 20, CFG 3.5
• Flux Schnell: Sampler Euler, Steps 4, CFG 1
• Flux GGUF: Sampler Euler, Steps 8, CFG 4.

Саму модель над выбирать вручную, это издержки интерфейса RuinedFooocus.

Удачи.