Еще раз про Stability Matrix.

Всем привет.

Я сделал над собой уcилие и установил Stability Matrix.) Не то чтобы он(она) мне сильно нужен, но уж больно его хвалят на форумах. Ниже репост про Stability Matrix с Дзен.ру, где более менее многое справедливо и по сей день. Мои выводы в самом конце.

Я хочу рассказать вам об очередном универсальном решении - оболочке Stability Matrix. Она поможет вам установить большинство популярных нейросетей на ваш компьютер, так же с её помощью вы сможете легко управлять всеми ресурсами необходимыми для работы нейросетей. (модели, лоры, апскейлеры и т.д .)

Скачать и установить её можно по ссылке. Установка очень проста и не требует сложных манипуляций.

Вам нужно будет скачать архив, затем распаковать его и запустить исполняемый файл (exe) для установки. В процессе установки можно указать свой путь, по которому вы хотите установить программу, и дождаться завершения процесса. 

При установке программы вы можете выбрать полную версию или портативную. После завершения установки запустится интерфейс программы, который сразу предложит вам установить одну или несколько нейронных сетей.

* Так как я уже имею несколько генераторов портативок, то и для Matrix выбираю тоже портативную установку.

Но вы можете пропустить установку и сначала ознакомиться с интерфейсом, настроить его под себя. Для этого нажмите «Skip first time setup».

Если вам нужен интерфейс на русском языке, перейдите в настройки. Для этого нажмите на значок шестерёнки в левом нижнем углу экрана. В разделе «Language» выберите русский язык, после чего программа попросит перезапустить интерфейс.

* Не рекомендую - кто его знает как делали ту русскую локализацию, после будете постоянно сверять имена пунктов меню.

Описывать все пункты настроек не вижу смысла, так как они интуитивно понятны а вот остальные пункты давайте рассмотрим.

Packages.

Вкладка «Packages» содержит список доступных пакетов нейросетей, которые вы можете установить. Для этого нужно нажать на кнопку «+добавить пакет». Выберите необходимый пакет из списка и, если требуется, укажите нужную директорию. После этого нажмите «Установить».

В дополнительных настройках вы можете указать, хотите ли вы создать Symlink (символическую ссылку). Затем вы можете выбрать, режим работы, на каком оборудовании вашего пк будет работать нейронная сеть: использовать ядра видеокарты CUDA для рендеринга изображений или задействовать процессор.

Когда ваша нейросеть будет установлена, вы сможете настроить её параметры при запуске, определить объём используемой памяти, указать путь к папке, где будут храниться созданные изображения, выбрать необходимый пресет и многое другое. Для этого нужно нажать на значок «шестерёнка», расположенный на карточке установленной нейросети.

Кроме того, нажав на три точки, вы можете проверить обновление для нейросети, открыть папку, в которую она установлена, перейти на страницу проекта на GitHub, просмотреть пакеты Python, создать символическую ссылку и разрешить хранение изображений, созданных всеми нейросетями, в одном месте.

Вкладка «Training» содержит модули для обучения нейронных сетей, то есть для создания моделей и Lora.

Если вам понравится оболочка и вы решите использовать её постоянно, то вы можете перенести ранее установленные нейросети, скопировав их папки в раздел «Пакеты». Модели, лоры и другие компоненты следует поместить в раздел «Модели». После того как все файлы скопируются, необходимо нажать ИМПОРТ, в появившемся окне свериться, чтобы тип пакета соответствовал тому который скопировали вы и нажать еще раз импорт.

Обратите внимание, что портативные версии генераторов работать не будут!

* Вот эта штука меня сильно огорчила, хотя всунуть портативную версию Forge в портативную Matrix cтоит попробовать.)

Inference.

Это интерфейс нейросети, встроенный в оболочку Stability Matrix. Он позволяет создавать изображения прямо в самой программе с помощью ComfyUI, которую Stability Matrix попросит установить на ваш компьютер. 

Доступны различные режимы работы: text to image (текст в изображение), image to image (изображение в изображение), upscale (повышение разрешения) и image to video (изображение в видео).

Принцип работы схож с другими нейросетями. Вам нужно выбрать нужный режим, модель, планировщик, количество шагов, размер изображения и другие дополнительные параметры, если это необходимо, а затем нажать кнопку «Generate».

Режим умеет читать PNG Info если перетащить своё изображение в окно изображения. Но не всегда.

Checkpoints.

На этой странице вы найдёте информацию об установленных моделях. Чтобы добавить новые модели, скопируйте файлы в папку Models и нажмите кнопку Refresh, чтобы обновить данные.

Вы можете удобно настроить отображение контента, используя фильтр. Для этого просто отметьте галочками пункты, которые вы используете, а ненужные - снимите.

По этому принципу работает фильтр и с отображением моделей.

Если вам удобно ориентироваться по изображениям, вы можете включить и их отображение.

Model browser.

В оболочке интегрирован браузер Civitai и реализована возможность скачивать необходимые ресурсы с Hugging Face. Это позволяет избежать постоянного переключения между вкладками. Теперь вы можете искать, скачивать или просматривать все доступные модели прямо в Stability Matrix. Также реализован удобный фильтр при помощи которого вы без труда найдете ту или иную нужную модель, апскейлер, эмбеддинг или лору.

Huggins Face также очень удобен в использовании. Вы выбираете нужные модели, а программа автоматически скачивает их и аккуратно размещает в соответствующих папках.

Output browser.

Эта вкладка покажет что вы генерировали в режиме Inference, будь это просто изображение или видео. Здесь же, нажав на три точки вы сможете настроить консолидацию изображений из всех установленных нейросетей в одном месте.

Workflow.

Эта вкладка содержит заранее настроенные рабочие пространства с узлами для работы в ComfyUI. 

Чтобы выбрать нужное рабочее пространство, найдите его в списке, затем в дополнительных настройках выберите «Install required nodes» («Установить необходимые узлы») и нажмите «Импорт».

На соседней вкладке «Installed workflows» будут отображаться все установленные вами рабочие пространства.

Больше сказать нечего. Программа действительно интересная и, на мой взгляд, будет полезна тем, кто только начинает знакомство с миром нейросетей. Она поможет вам, если вы не очень хорошо разбираетесь, как создавать символические или жёсткие ссылки, откуда скачивать нужные модули и куда их устанавливать. Программа сделает всё за вас, вам нужно только указать то, что требуется.

Однако для тех, кто уже давно пользуется Automatic1111, Forge и другими нейросетями, Stable Matrix может показаться не таким интересным решением, поскольку все модели, лоры, эмбеддинги и апскейлеры с ip адаптерами уже давно настроены и все и так отлично работает.

Теперь наблюдения:

1) в режиме Inference, как вы поняли, Matrix использует ComfyUI c базовым workflow. Сам Workflow вы не увидите даже если откроете GUI ComfyUI в браузере. Однако его все же можно поднять если закинуть результат генерации в GUI. К сожалению ничего другого из пакетов в этом режиме Matrix выбрать не дает.

2) Процеcс добавления пакетов прозрачен и отлажен, хорошее место для первого знакомства с ними. Хотя бывают и досадные исключения - например c Fooocus-м пришлось делать откат версии pip, после выполнять импорт и тут же его обновлять. А Invoke AI того хуже, вообще не стал запускаться, а проcто уронил Matrix.

Без лишних вопросов стали SD.Next, SwarmAI и SDFX. Парочка генгераторов помечены как те которые остались без поддержки, например Fooocus MRE, т.е. в будущем он будет удален из списка Matrix-а автором. Нужен он вам или нет, на ваше усмотрение.

3) На просторах интернета ближайшим аналогом Matrix является Pinokio, который имеет тучу разных ИИ-генераторов для установки в своем списке. Но он сам не имеет портабельной версии, поэтому проходит пока мимо меня.

Удачи.