Токени і вікно контексту без інженерії

Токени і вікно контексту без інженерії

Токен і вікно контексту для власника означають стіл обмеженого розміру: усе, що не вмістилось на ньому за смислом, модель надійно не тримає.

Коротко

• Токен є одиницею обсягу тексту для моделі: слова, частини слів, знаки і фрагменти таблиць займають місце, і місце скінченне.
• Вікно контексту показує, скільки токенів система може враховувати одночасно в цій розмові. Довгий чат витісняє початок і правила.
• Великий PDF продукт може прийняти, а критичний пункт зі сторінки 17 надійніше винести в запит або коротко процитувати.
• Стиснення завдання до мети, фактів, обмежень і формату часто лікує якість швидше за дорожчу підписку.
• Лідери відкривають нову розмову на нову справу. Відстаючі додають ще три екрани пояснень у той самий тред і дивуються, чому відповіді "пливуть".

Коли менеджер три тижні веде один чат, у якому по черзі лежать прайс, клієнт А, повернення клієнта Б, допис у канал і знову клієнт А з новою адресою Нової Пошти, якість падає не через злий день моделі. Частіше спрацьовує ліміт вікна контексту: початок розмови витіснився, правила з першого повідомлення вже не на столі, а посередині навалився шум із пересилок у Telegram. У Learn to Earn Global на кейс-днях ми вчимо стискати завдання як дисципліну уваги, а не як інженерний ритуал. Нижче побутова схема без формул токенізації.

Стіл задачі замість магічної памʼяті

Токен і вікно контексту звучать як інженерія, а для власника за ними ховається побутова ідея: у моделі є стіл обмеженого розміру, на який ви кладете задачу. Все, що на стіл не вмістилось за смислом, модель у голові надійно не тримає. Довгий чат нескінченною памʼяттю колеги не є. Якщо ви шукали, що таке токени в ChatGPT людською мовою, уявіть фішки на столі: кожне слово, частина слова, знак і фрагмент таблиці займає місце, і місце закінчується.

Рахувати токени вручну щоранку не треба. Достатньо розуміти наслідки. Коротке завдання плюс фрагмент прайсу займає мало місця і дає щільний сигнал. Кинута про всяк випадок історія листування на сорок екранів займає багато місця і розмиває задачу. Підписка і тарифи вендора теж живуть у токенах: довгі порожні розмови коштують грошей і часу очікування. Економія тут починається з гігієни постановки задачі.

Вікно контексту визначає, скільки токенів модель може враховувати одночасно в цій розмові: ваші повідомлення, її попередні відповіді і прикріплені файли в межах можливостей продукту. Коли вікно заповнене, старі фрагменти відсуваються. Звідси відповідь на питання, чому довгий чат псує відповіді: система бачить зріз, який вмістився, а не всю вашу дружбу з першого дня. Нова розмова на нову справу часто лікує якість швидше, ніж перехід на дорожчу модель.

Сцена з ФОП і переповненим чатом

Менеджер веде один і той самий чат тижнями. Спочатку прайс. Потім клієнт А. Потім повернення клієнта Б. Потім "а ще зроби допис". Потім знову клієнт А з новою адресою. На четвертому тижні відповіді починають плутати імена, підсовувати старі ціни і згадувати умови, які стосувались іншої людини. Людина думає, що модель зіпсувалась.

Частіше на столі вже немає правил з першого дня, натомість лежить шум, і якість падає саме через це. Окрема розмова під допис у канал. Окрема під лист-претензію. Окрема під чернетку ТТН. Бюрократією це назвати важко. Це повага до ліміту вікна контексту.

Для чернетки ТТН потрібні ПІБ, телефон, місто, відділення, оголошена вартість і післяплата. Це короткий блок. Якщо в той самий чат додати минулотижневу суперечку про знижку, модель може почати змішувати тон переговорів із полями накладної. Чистий стіл дає чистіший вихід.

PDF, Excel і monobank без сліпої віри Чи читає модель весь PDF. Технічно продукт може прийняти файл і дати змогу ставити до нього питання. Смислово це ще не гарантія, що кожен рядок договору однаково вплине на відповідь, особливо в довгому документі з додатками. Якщо для вас критичний один пункт про повернення або один рядок прайсу, винесіть його в текст запиту або коротко процитуйте. Сподіватись, що "файл же всередині" дорівнює ідеальній увазі до сторінки 17, я не раджу. Для бізнесу надійніше стиснути завдання, ніж вірити в повне поглинання документа.

Живий приклад з Excel. Ви хочете, щоб модель допомогла зібрати відповідь клієнту про три позиції. Прайс на триста рядків вантажити не треба, якщо потрібні три. Скопіюйте три рядки. Менше токенів означає менше шансів, що модель вхопить ціну схожого артикула з сусіднього рядка. Те саме з випискою monobank: для розбору одного платежу досить кількох рядків і вашого питання, а не місяця руху коштів про запас. Ліміт контексту тут працює як дисципліна мислення.

Я сам пакую запити саме так: спочатку одне речення мети, потім блок фактів лише для цього виходу, потім обмеження, чого не вигадувати, потім формат, тобто список, таблиця чи короткий лист у Telegram. Якщо історія клієнта довга, роблю короткий підсумок на пʼять рядків і додаю дві-три цитати з повідомлень замість усього треду. Ви краще за модель знаєте, що в переписці важливе, а що є дрібницями про погоду і "доброго дня".

Памʼять продукту і вікно контексту є різними речами

Керівнику варто пояснити команді різницю між памʼяттю продукту і вікном контексту. Памʼять є тим, що продукт зберігає між сесіями за своїми правилами. Вікно є тим, що лежить на столі зараз. Можна вимкнути або почистити памʼять і все одно зіпсувати відповідь довгим чатом. Можна почати новий чат, дати ідеальний короткий пакет, і якість стрибне без зміни підписки.

Навчання команди стискати завдання дає більше ефекту, ніж суперечка про те, яка модель довша. У Learn to Earn Global ми міряємо прогрес не кількістю відкритих тредів, а тим, чи вміє людина зменшити вхід удвічі без втрати фактів, потрібних для виходу.

Інвестору і замовнику інтеграції питання вікна контексту допомагає читати обіцянки вендора. Фраза "наша система читає всю базу знань компанії" ще не означає, що в момент відповіді на столі лежать усі документи одночасно. Часто спочатку працює пошук фрагментів, а у вікно потрапляє лише знайдене. Якщо пошук приніс не той абзац, модель гарно говорить не про те. В AISync Global ми спокійніші замовники саме тому, що питаємо: що саме потрапляє в контекст і як перевірити цитату.

Лідери, коли відповіді починають пливти, відкривають нову розмову і переносять лише актуальні правила і факти. Відстаючі додають ще три екрани пояснень у той самий тред і міняють модель на розумнішу, лишаючи шум на столі.

Як скоротити запит без втрати сенсу

Спочатку одне речення мети. Потім блок фактів, лише те, що потрібно для цього виходу. Потім обмеження, чого не вигадувати. Потім формат. Якщо працюєте з великим PDF, витягніть потрібні розділи. Якщо з таблицею, дайте зріз. Якщо з листуванням, дайте підсумок і цитати.

Практичне правило на щодень звучить так. Якщо відповіді почали плутати імена і ціни, додавати ще пояснень у той самий тред безглуздо. Відкрийте нову розмову. Коротко перенесіть правила і факти, які ще актуальні. Залиште шум позаду. Так ви керуєте токенами як бюджетом уваги, а не як магічною памʼяттю колеги.

Ця дисципліна також знижує ризик галюцинації форми: менше зайвого тексту на столі означає менше шансів, що модель домріє номер, ціну чи умову зі старого фрагмента. Стіл чистий. Задача зібрана. Вихід легше звірити з джерелом.

Як виглядає зібраний пакет на одну задачу

Візьмемо відповідь клієнту про три позиції і відправку. Зібраний пакет займає пів екрана, а не сорок. Мета: короткий лист у Telegram з наявністю і строком. Факти: три рядки з Excel, підтверджений залишок, місто і відділення Нової Пошти, якщо вони вже відомі. Обмеження: ТТН і ціни поза цими рядками вигадувати заборонено. Формат: до семи рядків, без води.

Такий пакет лишає на столі сигнал замість шуму. Модель швидше тримає задачу. Людині швидше звіряти вихід. Якщо після цього відповідь усе одно пливе, причина вже рідше сидить у переповненому вікні. Тоді дивитесь на інструкцію, на свіжість прайсу або на те, чи взагалі дали факт.

Окремо варто розвести довгий корисний контекст і довгий шум. Корисний контекст є правилами компанії на пів сторінки, які ви свідомо переносите в новий чат. Шум є трьома тижнями пересилок, жартів і старих адрес. Корисне стискають і переносять. Шум лишають у старому треді і закривають.

Я бачив команди, які місяцями тримали "золотий чат", бо там уже все навчено. Насправді там накопичився архів чужих клієнтів і застарілих цін. Новий співробітник відкривав історію і вчився на шумі. Краще мати короткий шаблон стартового повідомлення на задачу: хто ми, які правила, які факти сьогодні. Це дешевше за спробу зробити з чату заміну CRM.

Для керівника метрика тижня може бути дуже приземленою: скільки відповідей клієнту пішло з нового короткого чату зі зрізом даних, а скільки з багатотижневого треду без звірки. Складну аналітику будувати не треба. Досить подивитись пʼять останніх відправок.

В AISync Global, коли вендор обіцяє повне розуміння бази знань, ми просимо показати один реальний запит і список фрагментів, які потрапили у вікно. Якщо фрагменти нерелевантні, гарна мова на виході лише маскує поганий відбір. Розуміння ліміту столу робить цю перевірку природною: ви вже не вірите в нескінченну увагу до всіх документів одночасно.

Що робити далі

Візьміть одну задачу цього тижня і зменшіть вхід удвічі: лишіть мету, факти, обмеження і формат, а історію про всяк випадок викиньте. Якщо відповіді в довгому чаті почали плутати імена чи ціни, відкрийте нову розмову і перенесіть лише актуальне. Для PDF і Excel давайте зріз або цитату критичного рядка замість усього файлу під одну відповідь клієнту. Поясніть команді різницю: памʼять продукту живе між сесіями, вікно контексту лежить на столі зараз. На розмові з вендором інтеграції спитайте, що саме потрапляє в контекст після пошуку по базі знань і як перевірити цитату. Це текст треку "Мова ШІ" про токени і вікно контексту без інженерії. Його мета, щоб власник і команда керували столом задачі як бюджетом уваги і перестали чекати від довгого чату памʼяті колеги.