Сегодня на слуху у всех AI-дизайнеров использующих Stable Diffusion латентные модели согласованности (LCM) которые позволяют формировать качественные изображения обычно за 2-4 шага против 20-ти обычных, что делает возможным использование диффузионных моделей практически в режиме реального времени.
Информация с официального сайта:
LCM могут быть получены из любой предварительно обученной модели стабильной диффузии (SD) всего за 4 000 шагов обучения (~32 часа работы A100 GPU) для генерации высококачественных изображений с разрешением 768 x 768 за 2~4 шага или даже за один шаг, что значительно ускоряет генерацию текста в изображение. Мы используем LCM для дистиллирования версии SD для Dreamshaper-V7 всего за 4 000 итераций обучения.
Обычно такая задача решается с помощью LoRA LCM, которая существует как для версии SD 1.5 так и для SDXL.
Практически генерация с LCM LoRA требует следующие значения:
СFG = 1,3..1,5
Sampler = LCM
Scheduler = sgm_uniform
Steps = 4..7
LCM LoRA weight = 0.62
Разумеется вы можете экспериментировать сами. И действительно, LCM LoRA неплохо и быстро отрабатывает в ComfyUI и в Fooocus. А вот в А1111 лагает, может из-за того что в А1111 до сих пор нет семплера LCM.
В ComfyUI workflow собирается стандартный как для любой другой LoRA, а в Fooocus достаточно выбрать опцию "Extreme Speed" из секции Advanced.
Сказать что я в восторге от LCM, то скорее нет. Если вам нужны фото для блога, из расчета что ваши читатели сидят исключительно в гаджетах, то да, LCM генерация картинок вполне подойдет. При малейшем зуме артефакты будут заметны невооруженным глазом, примеры из Fooocus-a ниже. Т.е. скорость генерации компенсируется в ущерб, пусть и незаметному сперва, качеству.
К сожалению, как сказал NeuroGraph на недавнем стриме, доступность бесплатных инструментов Stable Diffusion не принесла заметных визуальных шедевров. Интернет заполонили генерации полуголых девиц или фентези монстров, или персонажи из аниме. Как говорится, кисточки есть, а фантазии нет. В любом случае я полагаю что лучше иметь свою идею, пусть даже не оригинальную, чем гнить в окопе за чужую. Ну а Fooocus как нельзя будет вам кстати!
Также мне понравилось его замечание про гиков которые любят ковырять код А1111 при малейших сообщениях об ошибках в консоли Python. Скажу честно, если ваш А1111 загружается без единой ошибки, то вам крупно повезло. Automatic1111 стал уже этаким монстром (с учетом установленных расширений, которые часто не любят друг друга даже когда не активны), что может рухнуть в любой момент. Чего стоит то обстоятельство что деинсталировать любой плагин штатно до сих пор невозможно! Что делать? У меня только один совет - ваша версия Automatic1111 должна быть только portable! Никого не слушайте - в таком случае сам Automatic1111 никому не мешает, и ему никто не мешает. И обновляется он нормально. И переносится с диска на диск за пять минут при необходимости.
Или переходите на ComfyUI, но также portable!)
Удачи.
2 comments:
Появился семплер LCM в A1111 и все летает.
NeuroGraph крутой парень, на вчерашнем стриме показывал стиль cinematic, за свой туториал запросил плату небольшую, типа я же старался для вас, а на поверку мануал оказался просто переводом англоязычного оригинала другого автора.))
Post a Comment
А что вы думаете по этому поводу?