LM Studio или Ollama Server?

Всем привет. 

Если вы еще не решили что же лучше LM STUDIO или OLLAMA server для локалки.

Оба инструмента решают одну задачу, но созданы для разных подходов:

• Ollama - минималистичный и невероятно легкий движок, идеальный для фоновой работы и жесткой экономии ресурсов.

• LM Studio - мощный визуальный комбайн для тех, кто любит кастомизацию, ручной контроль и поиск моделей напрямую с HuggingFace.

⚙️ ЧЕМ ОНИ ОТЛИЧАЮТСЯ ТЕХНИЧЕСКИ?

База у них общая - библиотека llama.cpp (написана на C++) для максимальной скорости инференса. 

1. Ollama: Работает как системный процесс (демон). Она сама управляет загрузкой слоев в видеопамять (VRAM) и автоматически выгружает модель из памяти при простое.

2. LM Studio: Базируется на фреймворке Electron. Распределение слоев нейросети между процессором (CPU) и видеокартой (GPU) настраивается вручную через интерфейс.

📦 В КАКОМ ФОРМАТЕ ХРАНЯТСЯ МОДЕЛИ? 

• В LM Studio модели используются в виде открытых файлов формата .gguf. Вы их скачиваете и сразу видите в папке.

• В Ollama под капотом используются те же файлы .gguf, но система скрывает их в своей служебной директории, переименовывая в кэшированные файлы (blobs) без расширения, чтобы удобно управлять версиями.

Можно поставить и то и то для сравнения, но вот модели они не делят между собой. Однако можно их делегировать (копировать) не перекачивая повторно с интернет.

Ollama-сервер и API

Всем привет.

LLM-модель - это языковая модель, обученная на больших объемах данных. Она помогает в обработке естественного языка для генерации текста на основе предыдущего контекста. LLM также используют в машинном переводе и при автозаполнении текста.

На рынке уже есть решения для работы с моделями с открытым исходным кодом, такие как gpt4all. Для администраторов, девопсов и безопасников подобный инструмент почти бесполезен, так как мы не можем удобно предоставить его разработчикам и контролировать учетные записи пользователей.

А проект Ollama прекрасно решает эти проблемы. И что особенно удобно его можно использовать локально на своем хосте если достаточно VRAM, или в своей локальной сети развернув на одном из серверов компании, и даже дома.

Основные отличия Ollama от других проектов - это предоставление бесплатного API. Уже есть огромный выбор графических интерфейсов для этого API. Проект доведен до ума и не требует танцев с бубном при запуске. Проект поддерживает Windows, Linux и MacOS. Многочисленные инструкции по локальной установке Ollama доступны в сети.

Самый популярный вариант это docker плюс Open WebUI. Суть в том, что сервер лучше запускать в Docker, так как это готовый проект на React и у него есть официальный образ. Также есть и официальный чарт от Open WebUI. 

Но не спешите так делать! Ну право, из-за одного сервиса я буду разворачивать у себя еще и docker. Нет, не буду, и штатно инсталировать Ollama тоже не буду. Не доверяю я всяким инсталяторам.)

И как же тогда? А я возьму из репозитория Ollama его портабельный вариант, и просто разверну его в отдельную папку. Готово! Забегая наперед, перед первым стартом  я пропишу еще две системные переменные для Ollama-сервера чтобы к нему можно было обращаться по локальной сети

OLLAMA_HOST=192.168.1.100

и отдельную папку для моделей чтобы файлы не падали на диск "С"

OLLAMA_MODELS=Е:\ollama\models

Пока все! Запускаю OLLAMA-сервер bat-файлом:

@echo off

start /B ollama.exe serve

timeout /t 5

@echo Load model to server ...

ollama.exe run "gemma:latest"

pause

Если вы заранее не загружали модель набирая ollama.exe pull "gemma:latest", то первый старт до готовности отвечать на запросы у вас займет некоторое время. Проверить работу и наличие локальных моделей можно через запрос http://192.168.1.100:11434/api/tags

Інструменти для створення prompts.

Всім привіт.

Цей пост містить перелік інструментів, що не належать до IDE, але які можуть бути корисними для підказок(prompts) для ChatGPT і не тільки.

Prompt Development, Testing, and Chaining (розробка підказок, тестування та створення ланцюжків)

LangChain

Великі мовні моделі (LLM) стають трансформаційною технологією, що дозволяє розробникам створювати додатки, які раніше були неможливі. Але використання цих LLM ізольовано часто недостатньо для створення дійсно потужного додатку - справжня сила з'являється, коли ви можете об'єднати їх з іншими джерелами обчислень або знань.

Ця бібліотека спрямована на допомогу у розробці таких типів додатків.

PromptAppGPT

PromptAppGPT - це низькокодовий фреймворк для швидкої розробки додатків на основі підказок. PromptAppGPT містить такі функції, як малокодова розробка на основі підказок, генерація тексту GPT, генерація зображень DALLE, онлайн-редактор підказок +компілятор +виконавець, автоматична генерація користувацького інтерфейсу, підтримка розширень плагінів тощо. PromptAppGPT має на меті уможливити розробку природномовних додатків на основі GPT.

PromptAppGPT забезпечує багатозадачний умовний запуск, перевірку результатів і повторні спроби, що дозволяє автоматизувати завдання ручної генерації, які в іншому випадку вимагали б багато кроків. У той же час, користувачам більше не потрібно запам'ятовувати і вводити нудну мантру підказки самостійно, і вони можуть легко виконувати завдання, вводячи лише основну необхідну інформацію для виконання завдання.

PromptAppGPT значно знижує бар'єр для розробки GPT-додатків, дозволяючи будь-кому розробляти AutoGPT-подібні додатки за допомогою декількох рядків низькорівневого коду.

Prompt-generator-for-ChatGPT

Додаток "Генератор підказок для ChatGPT" - це десктопний інструмент, призначений для допомоги користувачам у створенні специфічних підказок для ChatGPT, моделі чат-бота, розробленої OpenAI.