Стилизация в Automatic1111.

Привет всем.

Киса! Я давно хотел Вас спросить как художник художника: 

вы рисовать умеете?

"12 стульев"

Поговорим про стилизацию в А1111. Сейчас это востребованная тема в том плане что многие желают выполнить генерацию в стиле того или иного художника или направления в искусстве.

В А1111 на сегодня для этого существует три  возможности:

- используем промпт

- используем ControlNet

- используем различные extensions.

Ну что ж, самое простое это, на первый взгляд, промпт. Вы завершаете его типа "... art by style Josephine Wall" и получаете свой результат. Разумеется выбранная модель не всегда сможет понять как выполнить ваш промпт в заданном стиле конкретного художника, особенно если сам художник никогда подобного не писал. Также затруднительно будет модели реализовать ваш промпт где до "by style" вы укажите свои нюансы по стилю. Например cyberpunk by style Josephine Wall.) Также следует с осторожностью смешивать стили, которые теоретически различны, например Josephine Wall с Gustav Klimt, или oil painting c charcoal. Лучше подумайте стоит ли такое творчество того.

В ControlNet (CN), в этакой нейросети над(под) главной нейросетью, есть ряд моделей которые способны передать стиль с исходного изображения на целевое в img2img. Самая популярная из них это CN IP-Adapter с препроцессором ip_adapter_clip.

Также можно использовать CN Т2IP-Adapter с препроцессором style_clipvision, который тоже позволяет перенести стиль исходного изображения, но  IP-Adapter-у он проигрывает по качеству, хотя и существовал до него.

В разной степени результативности также можно использовать CN Lineart с препроцессором lineart_realistic, CN Tile с препроцессором resample и CN Reference с препроцессором reference_only.

Из расширений для стилизации могу предложить StylePile, SDXL styles и Stylez с разной степенью полезности и юзабилити.

StylePile - как по мне это мега расширение в плане возможностей. StylePile позоляет выбирать стиль художника (artist), направление (movement) в искусстве и даже настроение (mood) персонажа, причем StylePile позволяет все это смешивать в немыслимых пропорциях с указанием веса для каждого токена. Более того, StylePile визуально показывает шаблоны этих опций пользователю в отличие, например, от SDXL styles.

SDXL styles весьма простое расширение которое работает и для SDXL моделей и для SD v1.5. Громкое название взято, по моей версии, из Fooocus-a который работает исключительно с моделями SDXL. Расширение SDXL styles реально простое - выбором из списка стилей пользователь просто добавляет в промпт то самое "by style" или более расширенный набор токенов в случае направления в искусстве. Никаких визуальных подсказок, никого смешивания стилей расширение не содержит. Список стилей вы можете легко поменять заменой или редактированием файла sdxl_styles.json. Кстати наборы стилей от Fooocus-a  в виде файлов sdxl_styles_*.json (они находятся в папке \sdxl_styles) подходят для SDXL styles, что еще раз потверждает мою версию про источник.

Кстати, стили из SDXL styles можно запросто перенести в styles.csv самого А1111 и пользоваться им уже без самого расширения SDXL styles. И даже смешивать их.

Расширение Stylez в чем то похоже на StylePile, но беднее. Пользователя может озадачить то что сама форма Stylez открывается не слева интерфейса А1111, как все привыкли, а справа, т.е. там где обычно мы наблюдаем результаты генерации. Ах да, и сама форма активируется по кнопке с иконкой палитры под главной кнопкой Generate. В общем, в Stylez малость запутанное юзабилити.

Все? Не совсем, в качестве духовного развития и приобщения к прекрасному настоятельно рекомендую два ресурса:

1) портал SDXL 1.0 Artistic Studies. Welcome to the Stable Diffusion SDXL artist study! We are consistently adding new artists and currently have represented. Художники, направления, стили, линзы, камеры,... одним словом если вы не бездумный пользователь ИИ то вам сюда заходить обязательно!

https://rikkar69.github.io/SDXL-artist-study/

2) портал с великолепной коллекцией по художникам и фотостилям Artist Inspired Styles.

A collection of what Stable Diffusion imagines these artists' styles look like. While having an overview is helpful, keep in mind that these styles only imitate certain aspects of the artist's work (color, medium, location, etc.). They are limited by the rather superficial knowledge of SD, but can probably give you a good base for your own creations.

https://supagruen.github.io/StableDiffusion-CheatSheet/

Успехов вам, больше творчества и жизни, меньше злости и ненависти!