Керуємо освітленням в Stable Diffusion.

Всім привіт.

Освітлення відіграє вирішальну роль у фотографії та має значний вплив на загальну якість і настрій зображення для глядача. За допомогою освітлення можна підкреслити об'єкт зйомки, створити глибину та об'єм, передати емоції та виділити важливі деталі.

То ж сьогодні ви дізнаєтесь про методи керування освітленням в Stable Diffusion:

• lighting keywords
• Regional prompting
• ControlNet img2img.

Хоча ні, про Regional prompting я не буду розповідати бо вважаю його заважким для новачка. А от про lighting keywords та ControlNet в img2img трохи поговоримо. Повний текст посібника можете отримати тут.

Для створення зображень ми будемо використовувати графічний інтерфейс стабільної дифузії AUTOMATIC1111. Хоча ці два методи так само легко використати і в ComfyUI.

Використання ключових слів (lighting keywords).

Найпростіший спосіб - додати ключові слова освітлення до підказки (prompt).

Для ілюстрації ефекту я використаю наступну базову підказку і підказку з негативним значенням:

Positive: fashion photography, a woman in field of flowers

Negative: disfigured, ugly, bad, immature, cartoon, anime, 3d, painting, b&w, nsfw

Model: DreamShaper v6 (c249d7853b)

Width: 768

Height: 512

CFG scale: 7

Приклади зображень, згенерованих за допомогою базової підказки будуть добре освітлені і мають гарний вигляд, але освітлення нецікаве. Тому додамо дещо словами.

Volumetric lighting, як об'ємне освітлення - це чіткі світлові промені на зображенні. Воно використовується у фотографії для збільшення відчуття об'єму.

Rim lighting, як контурне освітлення додає освітлений контур об'єкту зйомки. Воно може зробити об'єкт темнішим. Ви можете комбінувати з іншими термінами освітлення, щоб висвітлити об'єкт.

Sunlight, це cонячне світло додає, звичайно, сонячне світло до зображення. Воно, як правило, створює природне тло.

Backlight, як заднє підсвічування розміщує джерело світла позаду об'єкта. Ви можете створити деякі стильні ефекти, додавши це ключове слово.

Відомо, що Stable Diffusion не може створювати темні зображення некеровано. Існує багато способів вирішити цю проблему, зокрема за допомогою моделей і LoRA. Але простіший спосіб - додати кілька ключових слів із тьмяним підсвічуванням. 

Dimly lit або Crepuscular rays як сутінкове проміння додає світлові промені, що пробиваються крізь хмари. Спробуйте, це може створити приголомшливі візуальні ефекти.

Зазвичай такий промпт і портретне співвідношення сторін відтворюють зображення в повний зріст, а додавання сутінкових променів зменшує масштаб. Я використовую сутінкові промені на обличчі, щоб трохи збільшити обличчя.

Використання ControlNet.

Сьогодні жоден навчальний посібник не обходиться без згадки про ControlNet. Так ось, будь ласка - цей метод дозволяє також керувати освітленням.

Вам знадобиться встановлений сам ControlNet, зокрема модель Depth, хоча досить цікаві результати також можуть бути з Canny та LineArt.

Берем той самий AUTOMATIC1111 та вкладку txt2img.

На сторінці txt2img згенеруйте зображення, як зазвичай ви то робите.

Виберіть зображення, до якого ви хочете додати освітлення.

Збережіть його у вашому локальному сховищі (воно знадобиться нам пізніше для ControlNet).

Натисніть кнопку Надіслати до img2img.

Налаштування img2img:

ваш запит, негативний запит, розмір зображення і початкове значення тепер перенесено на сторінку img2img. На сторінці img2img перейдіть до розділу ControlNet.

УВАГА - завантажте зображення, яке ви щойно зберегли, на сторінку ControlNet Unit 0.

Використовуйте наступні налаштування:

Enable: Yes

Pixel Perfect: Yes

Allow preview: Yes

Control Type: Depth

Preprocessor: depth_zoe

Model: control_xxxx_depth

Control Weight: 0.6

Scroll up to the img2img canvas. Remove the image.

Я буду використовувати наступне зображення для керування освітленням. На цьому зображенні вказано прожектор у верхній частині ліворуч.

Завантажте це зображення на полотно img2imag.

Встановіть режим зміни розміру на "Просто змінити розмір".

Встановіть ступінь згладжування на 0.95.

Натисніть кнопку Створити.

Ви маєте отримати зображення з джерелом світла зверху. Я отримав таке:

Далі гуру радять як можно змінити область полотна img2img за допомогою інструмента "Редагування" (pencil icon) у правому верхньому куті. Нажаль в останній версії AUTOMATIC1111 1.6.1 використовує не зовсім свіжу версію Gradio, тому ця опція там відсутня. То ж шаблон джерела світла ви маєте зробити іншим інструменом або скачати такий собі Light Image Pack. Використовуйте його без змін або змінюйте область щоб досягти бажаного ефекту освітлення.

До речі, вам не обов'язково використовувати саме модель Depth. Інші моделі, такі як Сanny та LineArt realistic також підійдуть. Поекспериментуйте з препроцесорами, щоб побачити, який з них працює саме для вашого смаку. Змінюйте вагу ControlNet, якщо бачите неприродні кольори. Відрегулюйте силу розмиття і спостерігайте за ефектом.

Щасти вам.