Патчим CuDNN для A1111.

Всем привет.

Тем кто имеет видеокарту Nvidia RTX 30-40 серий и ещё что-то с архитектурой Ada Lovelace например, предлагается относительно быстрый и безболезненный способ пересесть на cudnn 12.1 чтоб всё летало быстро и красиво с А1111.

ВНИМАНИЕ - я копирую здесь рецепт от специалиста, который лично не проверял, так как пока не на чем. Так что вся операция на ваш страх, риск и везение!

Итак:

1. Берем приложенный батник (код ниже), кидаем рядом с тем, с которого обычно запускаем Automatic1111 и запускаем его. Ждём пока оно там отработает и возможно откроет webui. Закрываем webui:

@echo off

set PYTHON=

set GIT=

set VENV_DIR=

set TORCH_COMMAND=pip install --pre torch==2.2.0.dev20231002 torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu121

set COMMANDLINE_ARGS=--reinstall-torch

call webui.bat

2. Берем самый свежий CuDNN-установщик zip-архивом, например отсюда:

https://developer.nvidia.com/downloads/compute/cudnn/secure/8.9.5/local_installers/12.x/cudnn-windows-x86_64-8.9.5.29_cuda12-archive.zip/

3. Из архива копируем все файлы из папки bin в  *\StableDif\venv\Lib\site-packages\torch\lib с заменой.

4. Берем наш стандартный батник webui.bat, удаляем все COMMANDLINE_ARGS и заменяем на строки

set CUDA_MODULE_LOADING=LAZY

set PYTORCH_CUDA_ALLOC_CONF=garbage_collection_threshold:0.9,max_split_size_mb:512

set COMMANDLINE_ARGS=--update-check --autolaunch --theme=dark --opt-channelslast --opt-sdp-attention --upcast-sampling

5. Запускаем А1111. 

Как утверждает автор рецепта теперь у вас даже ноутбук сумеет отработать 15it/s в тихом режиме.

Удачи.