Моніторинг ресурсів в GenAI.

Привіт привіт.

Моніторинг ресурсів в GenAI так само важливий як і в інших ІТ-сферах. Особливо якщо у вас локальний GenAI. Сьогодні я покажу вам відомі розширення моніторінгу для ComfyUI та ForgeUI.

Пакет crystool.

https://github.com/crystian/ComfyUI-Crystools

Популярний монітор ресурсів в ComfyUI.

Ви можете бачити ресурси, що використовуються ComfyUI (CPU, GPU, RAM, VRAM, GPU Temp і вільний простір HDD) в рядку меню в режимі реального часу. Без особливих налаштувань, тільки вибір яку опцію показати, а яку ні.

Моя оцінка - 5 з 5.

Пакет kaytool.

https://github.com/kk8bit/kaytool

Потужний і професійний інструмент моніторингу ресурсів для ComfyUI:

⦁ Відображає стан робочого процесу в реальному часі, включаючи поточний вузол, поточний вузол і поточний час виконання робочого процесу.

⦁ Відображає інформацію про використання ресурсів у реальному часі, включаючи використання пам'яті, використання пам'яті графічного процесора та використання центрального процесора.

⦁ Підтримує статистику кривих для точної оцінки споживання ресурсів робочого процесу.

⦁ Підтримує користувацькі налаштування кольорів, що дозволяє налаштувати їх відповідно до особистих уподобань.

Все гарно, але окремо поставити цей монітор без всього пакету kaytool ви не зможете. Монітор це окреме вікно в просторі робочого столу.

Моя оцінка - 3 з 5.

Надто простий аналог crystool для ForgeUI.

https://github.com/Haoming02/sd-webui-resource-monitor

Ніяких налаштувань, тільки те що ви бачите. Іноді кульгає дизайн і форма монітора наїзжає на інші поля в gradio, але то більше залежить від поточної теми ForgeUI.

Моя оцінка - 4 з 5.

Ще один аналог для ForgeUI вирішив зробити один фанат GenAI.

https://dzen.ru/a/aAozDxc4vVOB8BU_

Розширення Forge Resource Monitor, яке він розробив для інтерфейсів Forge UI та Automatic1111 - це зручний інструмент для моніторингу ресурсів вашої системи. 

Основна ідея розширення не нова - надати простий і наочний спосіб відстеження завантаження системи без встановлення додаткових програм. Його розширення на відміну від переднього має низку налаштувань адаптивного web-дизайну.

На жаль, саме розширення поки що не опубліковано на GitHub і доступне тільки в складі останньої збірки ForgeUI автора на Boosty. Зрозуміло, що доступ туди хоч і дешевий, але платний.

Що вміє розширення? Та як зазвичай, моніторинг ресурсів у реальному часі:

⦁ CPU: показує відсоток завантаження процесора.

⦁ RAM: відображає використання оперативної пам'яті.

⦁ GPU: стежить за завантаженням процесора відеокарти.

⦁ Температура GPU: показує температуру вашої відеокарти.

⦁ Відеопам'ять (VRAM): відстежує використання відеопам'яті.

⦁ Швидкість диска: вимірює швидкість читання і запису на диск.

⦁ Споживання енергії GPU: відображає енергоспоживання відеокарти.

Що з цього необхідно, вирішувати користувачу, однак слід врахувати, що будь-який моніторинг - це додаткове навантаження на той самий CPU.

Forge Resource Monitor не оцінюю, бо поки його не пробував.

Удачі.