Домашний GenАI сервер.

Всем привет.

Как-то под Новый год мне не удалось попасть физически на свой компьютер (с Windows 10, но далее назовем его гордо GenАI-сервер) который и выступает собственно в роли GenАI. А вот ноутбук оказался доступен. И чертовски захотелось поработать творчески...

Тут я вспонимл про то что почти все генераторы могут работать по сети.  В конце концов gradio тот же web frontend, a волшебный ключик --listen творит чудеса.

Что мы имеем в таком случае? У себя на нотубуке в web-браузере мы можем запустить тот же ComfyUI как https://GenAI_ip_adr:8187 и начинать творить. Все ресурсы для генерации, CPU+RAM+VRAM, будут использованы на удаленном сервере. Отлично. 

А что в минусах? 

Первое - у нас нет консоли (backend) самого генератора, иногда полезно и туда заглядывать, хотя для ComfyUI автор эту проблему уже решил: хитрая панелька снизу в окне web-браузера.

Второе - мы не можем переключиться на другой генератор, например на Fooocus, если тот не запущен. Я пробовал запустить их несколько одновременно, однако печаль по памяти.

Какие есть варианты?

Самый простой это использовать RDP сеанс к своему серверу. Теперь в отдельном окне у меня Desktop сервера со всеми вытекающими плюсами. Если здесь минус? Практически нет, за исключением небольших настроек для RDP.  Но можно пойти еще дальше.

Створення власного емодзі в Teams.

Привіт привіт. 

Користувачі Teams можуть створювати власні емодзі з зображення або GIF-файлу для будь-кого в своїй організації, щоб використовувати їх як додаткові реакції в чатах.

Увага: 

• адміністратор може обмежити користувачів, які можуть створювати настроювані емодзі, перш ніж їх можна буде використовувати. Крім того, будь-який користувач може клацнути правою кнопкою миші будь-який спеціальний емодзі, щоб побачити, хто його створив і коли.
• адміністратор так само може обмежити користувачів, які можуть видаляти настроювані емодзі, тобто ви зможете його створити, але не зможете видалити потім.

Щоб створити настроюваний емодзі:

1. Виберіть Емодзі, GIF-файли та наклейки Teams для чату у правій частині вікна повідомлення, а потім виберіть Емодзі.
2. Внизу ви побачите різні варіанти емодзі. Виберіть Емодзі вашої організації - крайня справа іконка.
3. Ліворуч виберіть Додати емодзі, тобто кнопка "+" , щоб вибрати будь-яке своє зображення. 

Вибираючи емодзі для завантаження, дотримуйтеся наступних рекомендацій: передавайте файли JPEG, PNG або GIF. Радимо використовувати квадратні зображення маленького розміру. 

Доданий новий емодзі у вас буде доступний відразу, а у решти користувачів організації за кілька днів.

Ось така фішка від Microsoft.

Щасти.

Переносим кэш Python.

Всем привет. 

Уверен, что многие из вас, работая с GenAI, рано или поздно сталкивались с нехваткой свободного места на системном диске. 

Часто полагают, что проблема именно в самой генераторе, и что он непомерно "жрёт" дисковое пространство, но это не совсем так, большую часть места "съедает" кэш самого Python и устанавливаемые зависимости, коих для корректной работы любой нейросети используется достаточно большое количество. И в процессе, вы, поиграв с одной нейросетью, и даже удалив её и поставив другую в недоумении смотрите на цифры и не понимаете, куда же сегодня делось еще 10 Гб с диска "С".

Чтобы хоть частично решить эту проблему, мы можем изменить директорию, куда скачиваются устанавливаемые файлы зависимостей и в которой хранится кэш, и сделать это можно несколькими способами.

Лично я рекомендую использовать ВСЕ способы ВМЕСТЕ если вы пользуетесь портабельными версиями ИИ-генераторов. Ибо далеко не каждый генератор портабелен на все 100% и свой кэш может легко забрасывать на ваш системный диск. Особенно этим грешат сборки Spaces.

Способ 1. 

Измените переменную среды ТЕМР в своей ОС. Да, да, это банально, но частенько мы забываем что по умолчанию пользовательская "времянка" в Windows тоже указывает на системный диск.

Чтобы настроить переменные среды, нажмите правой кнопки мыши на Мой Компьютер - Свойства - Дополнительные параметры системы - в окне "Свойства системы" нажмите "Переменные среды". Нажмите на переменную, которую вы хотите изменить, нажмите "Изменить".

Способ 2. 

Задайте, или измените если она существует, переменную среды PIP_CACHE_DIR в своей ОС. После этого все операции установки пакетов с использованием PlP будут использовать указанную директорию для хранения кэша. Шаги те же что и в 1-м способе.

Способ 3. 

Задайте, или измените если она существует, переменную среды XDG_CACHE_HOME в своей ОС. Это наследие Linux с которым теперь приходиться сражаться и в Windows. Переменная XDG_CACHE_HOME является стандартом из XDG Base Directory Specification, который происходит из Linux-среды. Однако многие библиотеки Python, независимо от операционной системы (включая Windows), поддерживают эту переменную среды как способ определения места хранения кэша.

Способ 4. 

Задайте, или измените если он существует, глобальный кэш для PIP. Откройте командную строку прописав в ней команду:

..\python_embeded\python.exe -m pip config list

или

..\python_embeded\python.exe -m pip config get global.download-cache

..\python_embeded\python.exe -m pip config get global.cache-dir

Update ComfyUI Pytorch.

Всем привет.

Современный ComfyUI должен работать как минимум на версиях:

• pytorch version: 2.5.1+cu124
• xformers version: 0.0.28.post3

Ok, но дело в том что апдейт pytorch-a надо пользователю выполнить самому, потому его шаги будут следующие(автор алгоритма Antinoice).

Сначала удалим действующую версию pytorch:

  1) python.exe -m pip install xformers

  2) python.exe -m pip uninstall torch

Это процесс установки xformers, совместимого с Pytorch 2.5.1, и удаления torch для работы процессора, который устанавливается одновременно.

  3) python.exe -m pip uninstall torchvision

  4) python.exe -m pip uninstall torchaudio

Теперь сама установка:

Перейдем на сайт: https://pytorch.org/ и выберем интересующую нас конфигурацию pytorch как показано на картинке ниже:

Вы сформировали нужную нам команду для установки, копируем её.

Теперь перейдем в папку \python_embeded и в адресной строке папки наберем cmd и жмем Enter - откроется консоль командной строки.

В ней вставляем нашу команду установки pytorch:

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

Также можно установить pytorch вручную:

  1) python.exe -m pip install torch --index-url https://download.pytorch.org/whl/cu124

  2) python.exe -m pip install torchvision --index-url https :/ /download.pytorch.org/whl/cu124

  3) python.exe -m pip install torchaudio --index-url https://download.pytorch.org/whl/cu124

Здесь также вы можете установить и библиотеки с onnx, и insightface:

  1) python.exe -m pip install onnx

  2) python -m pip install onnxruntime-gpu --upgrade

  3) python.exe -m pip install onnx insightface

Для завершения и применения настроек просто запустите Comfyui.

Если у вас видеокарта выше RTX3000 серии то рекомендуется использовать перекрестное внимание pytorch cross attention в параметрах запуска. Если видеокарты ниже этого уровня используем xformers.

После обновления pytorch также рекомендуется установить или обновить CuDNN. Здесь официальная инструкция от nvidia:

https://docs.nvidia.com/deeplearning/cudnn/latest/installation/windows.html

Ну вот и все, поздравляю. От себя добавлю - я все команды заношу в отдельный bat-файл, чтобы иметь историю своих ручных операций з ComfyUI.

Удачи.

Лайфхаки для Fooocus.

Привет всем.

Сегодня парочка лайфхаков для любителей Fooocus.

1. Первый хак как дополнительная фича к общепринятой поддержке wildcards - в Fooocus можно использовать чередование токенов в промпте. Например вы пишите:

[[red,blue,yellow]] Т-shirt

включаете генерацию 3-х картинок и получаете на выходе три футболки красного, голубого и желтого цветов.

Можете усложнить промпт еще вот так:

[[red,green,yellow]] apple on the [[table, bin, plate]]

и ваши первые три яблока будут на столе, следующие три в корзине, и еще три на тарелке. Разумеется генерация должна быть на 9 картинок. Если вы включите только на 3, то получите исключительно яблоки на столе. Думаю тут все понятно.

PS: увы, этот штатный хак из Fooocus не работает в RuinedFooocus, автор Ruined рановато закончил его развитие. Зато в нем можно пользоваться всеми прелестями One Button Prompt (ОВР).

2. Еще один хак для удаления лишних предметов из готовой композиции. 

Такое в Fooocus делается очень просто - закидываете картинку на вкладку "Inpaint or Outpaint", метод не меняем, direction не выбираем, рисуем маску на предмете который должен быть удален и... жмем Generate. Все, никакого промпта не пишем, и это работает на 99% случаев.

На сегодня кроме классического Fooocus-a мне в руки попадались его форки SimpleSXDL2, RuinedFooocus, FooocusExt и DeFooocus.  Из них популярную модель Flux поддерживают  RuinedFooocus и  SimpleSXDL2, остальные имеют на борту ряд других вкусных фишек (перечислять долго), которые могут сегодня работать, но могут завтра и перестать по мере развития бесплатного GenAI.

Удачи.