Пробуем Deep Fashion.

Привет всем.

Похоже что функция перекрашивания одежды и даже ее замена на топ-моделях для продажи в интернет-магазинах набирает популярности. И правда, зачем мучить девушек фотосессией когда можно их разок отснять в нужных позах, а после приодеть, или раздеть, в соответствии с новой модной линейкой одежды. И возможности Stable Diffusion тут как нельзя кстати.

Разумеется без Inpainting-a тут не обойтись. Но хотелось бы больше автоматизации в наложении масок и определении именно элементов одежды. И тут вам на помощь приходит проект DeepFashion2.

DeepFashion2 - это масштабный и всеобъемлющий набор данных изображений одежды, который можно использовать для решения различных задач, таких как обнаружение, оценка позы, сегментация и поиск. Он содержит более 800000 изображений различных предметов одежды, аннотированных богатыми атрибутами, ориентирами и масками. DeepFashion2 - это ценный ресурс для исследователей и разработчиков, которые хотят изучить применение компьютерного зрения и глубокого обучения в области моды. Отлично, но как же его использовать в А1111?

Конечно же лучшим помощником вам станет расширение ADetailer. ADetailer - это расширение для А1111, которое позволяет автоматически обнаруживать, маскировать и закрашивать объекты на изображениях с помощью  фреймворка Ultralytics, который и предоставляет современные модели для обнаружения, сегментации и классификации объектов. ADetailer может обрабатывать сложные сцены с множеством объектов и окклюзий и создавать реалистичные и высококачественные закрашенные изображения. ADetailer можно использовать для различных целей, таких как удаление нежелательных объектов, изменение фона, улучшение эстетики и создание новых композиций. Обычно в А1111 с ADetailer-ом мы улучшаем лица, руки, глаза или все тело человека, и поэтому ADetailer имеет для этого свои собственные модели, которые сам и скачивает и хранит их у себя, а не в общем хранилище А1111. Но с моделью deepfashion2_yolov8s-seg.pt малость по другому - ее вам надо скачать самостоятельно и положить, например в \models\adetailer, а после в settings не забыть указать путь к ней.

Теперь у вас все готово, далее новую модель можно использовать так же как и другие модели  ADetailer-а, меняя промптом цвет, стиль или форму одежды персонажа.

Вот здесь профессиональный фотограф подробно показывает возможности  DeepFashion2 в паре с ADetailer.

Но это еще не все. Если у вас нет терпения или времени на изучение всех опций ADetailer-а, то существует расширение для Automatic1111 a-person-mask-generator, этакая light-версия для автоматического создания масок для фона, волос, тела, лица, одежды в Img2Img. Так вот в нашем случае вас интересует последнее, и оно работает! Не так тонко как в ADetailer-е, и промпт для верхней и нижней одежды разделить сложно, потому что маска одна, но это работает.

Что можно добавить? Обычно a-person-mask-generator требует использования inpainting модели. Но это ограничение можно обойти, если задействовать в ControlNet модель Inpaint (preprocessor inpaint_only). Теперь в качестве основной можно использовать ту модель которая вам по душе.

Удачи.