Обхід обмеження токенів в ChatGPT.

Всім привіт.

Як обійти обмеження токенів та проблеми зберігання історії чатів користувача в ChatGPT? 

ChatGPT автоматично реєструє кожен ваш запит. Ці записи використовуються для подальшого вдосконалення моделі та, можливо, для навчання майбутніх моделей OpenAI. Користувач не може отримати доступ до всіх цих записів. Однак, як обговорювалося раніше, обмежена кількість чатів (запитань і відповідей) зберігається в робочому списку лівої частини інтерфейсу користувача ChatGPT. Щоб найкращим чином використовувати обмежене доступне простір, ви можете видаляти чати, які вам не потрібні для зберігання, копіювати або експортувати дані для зберігання в іншому місці або попросити ChatGPT узагальнити діалог.

ChatGPT пам'ятає, що ви раніше запитували в тому ж чаті, і оперує цим під час спілкування, але тільки до певного моменту. Зокрема, модель пам'ятає до 3000 слів або 4000 токенів діалогу. Вона не може посилатися на інші діалоги, незалежно від того, чи це були раніше діалоги декілька хвилин чи тижнів тому.

Як вже зазначалося, ChatGPT розбиває ваш запит на токени. Проте токени не обов'язково складаються з цілого слова, оскільки пропуски та інша інформація також можуть міститися в токені. OpenAI радить розробникам розглядати токени як "фрагменти слів". Англійська мова більш лаконічна, ніж багато інших мов, і зазвичай вимагає менше токенів для обробки запитань англійською мовою. Нижче подано кілька способів представлення вимірювання токенів в англійській мові:

• 1 токен приблизно дорівнює 4 символам.
• 100 токенів приблизно перетворюються в 75 слів.
• два речення складають приблизно 30 токенів.
• типовий абзац становить близько 100 токенів.
• стаття з 1500 слів коштує приблизно 2048 токенів.

Токени використовуються в розрахунках вартості, а також в обмеженнях вхідних і вихідних даних в ChatGPT. Залежно від моделі штучного інтелекту, весь діалог (чат) від введення до виведення обмежений 4097 токенами. Таким чином, якщо ваш запит дуже довгий, скажімо, 4000 токенів, відповідь, яку ви отримаєте, буде обрізана на 97 токенах, навіть якщо це середина речення.

Якщо ви хочете дізнатися, скільки токенів у вашому запитанні, скористайтеся інструментом токенізації OpenAI Tokenizer, який доступний за адресою https://platform.openai.com/tokenizer. Зверніть увагу, що обмеження токенів можуть змінюватися з часом, оскільки вони ґрунтуються на поточних технічних обмеженнях, а не на чомусь випадковому, наприклад, на моделі ціноутворення.

Щоб отримати максимальну вигоду від ваших чатів в рамках обмежень токенів, стискуйте свої вхідні та вихідні дані перед введенням їх в панелі запитань ChatGPT. Щоб самостійно стиснути запит, записуйте його в іншому місці та редагуйте перед введенням його в рядок запитань. Мета полягає в тому, щоб зробити його якнайкоротшим або стислим. Це кращий спосіб, оскільки продуктивність вашого мозку в токенах варта найбільше.

Ви також можете попросити ChatGPT стиснути ваш запит. Просто введіть запит в лапках разом із текстом, який повідомляє ChatGPT, яку частину потрібно взяти в лапки. Після того, як ChatGPT відповість стиснутим запитом, введіть його в новий чат і дочекайтеся відповіді. Тим часом видаліть перший чат (де ви просили ChatGPT стиснути запит).

Ви також можете попросити ChatGPT стиснути чи узагальнити відповідь. Стискання відповіді означає редагування її в більш жорстку і коротку форму порівняно з оригіналом, зберігаючи більшу частину змісту. Узагальнення відповіді означає, що ChatGPT представить лише основні моменти. Після цього видаліть більш довгу версію чату. Це звільнить простір для зберігання більшої кількості чатів в історії.

Ви також можете перемістити кратний або стиснутий варіант відповіді в новий чат, щоб отримати більш довгу відповідь (в межах обмежень токенів діалогу). Проте цей метод не підходить для рутинних діалогів. Використовуйте його економно і тільки тоді, коли це необхідно. Для діалогу англійською мовою підходять слова "condense," "summarize," "abbreviate," "simplify," або "shorten."

Якщо відповідь обривається через обмеження токенів чи символів, запропонуйте ChatGPT продовжити з [текст, який був обрізаний]. Потім розгляньте можливість попросити ChatGPT узагальнити або стиснути відповідь за необхідності.

Щасти.