Як ШІ відповідає з документів компанії і чому іноді бере не той абзац?

Як ШІ відповідає з документів компанії і чому іноді бере не той абзац?

Відповідь з документів народжується у два кроки. Спочатку система робить пошук шматків у ваших файлах: розрізає договори, оферти й інструкції на уривки і вибирає кілька таких, що за словами найбільше схожі на питання. Потім модель читає ці уривки і складає з них гладкий текст. Помилка майже завжди сидить в одному з двох місць: пошук приніс не той абзац, або модель дофантазувала між рядками те, чого в уривку немає. Тому перед тим, як надіслати таку відповідь клієнту чи партнеру, варто попросити цитату, на яку вона спирається, і звірити відповідь з цією опорою.

Типова історія виглядає так. Юристи компанії хочуть агента для роботи з договорами, створюють його і підключають папки з договорами, а відповіді виходять каламутні: впевнені, оформлені, і з посиланнями на щось стороннє. Причина часто ховається в налаштуваннях за замовчуванням. Поруч із папками договорів в агента бувають увімкнені пошта, робочі чати і пошук в інтернеті, і кожне з цих джерел підсовує свої шматки зі схожими словами: лист контрагента, де обговорювали чернетку пункту, обговорення в чаті, загальну статтю про типовий договір поставки. Пошук чесно знаходить те, що за словами схоже, і модель будує відповідь із суміші. Коли зайве вимкнути, лишити агенту тільки папки договорів і шукати за номером договору чи бізнес-процесу, відповіді стають предметними. Окремо важить і спосіб, яким документ потрапляє до агента, про це нижче.

Коротко

• Відповідь з документів складається з двох кроків: пошук шматків у файлах і переказ знайдених уривків моделлю.
• Перша дірка: пошук приносить не той абзац, найчастіше із зайвого джерела або зі схожого за словами розділу.
• Друга дірка: модель дофантазувала звʼязку між уривками і подала її як факт з документа.
• Чим менше зайвих джерел у агента і чим більше текстових документів замість сканів, тим точніше працює пошук.
• Перед тим як надіслати відповідь назовні, вимагайте цитату-опору і звіряйте відповідь з нею.

Що відбувається між питанням і відповіддю

Коли ви питаєте асистента, який строк повернення товару за вашою офертою, модель не читає оферту від першої сторінки до останньої. Система заздалегідь порізала документ на уривки по кілька абзаців, і на ваше питання шукає ті уривки, які за змістом і словами найближчі до запиту. Знайдені шматки, зазвичай від трьох до десяти, потрапляють моделі перед очима, і вона складає з них відповідь.

У цій схемі модель бачить лише те, що їй приніс пошук. Якщо пошук приніс правильний пункт про повернення, відповідь буде точною. Якщо пошук приніс пункт про гарантійний ремонт, бо там теж є слова "товар", "строк" і "днів", модель старанно перекаже гарантійний ремонт і назве це поверненням. Вона робить свою роботу добре, але з неправильним матеріалом.

Звідси правило: якість відповіді визначає пошук шматків, і саме його треба налаштовувати першим. Розумніша модель на пошук не вплине. Правильно підібрані джерела впливають одразу.

Перша дірка: не той абзац

Не той абзац зʼявляється з кількох причин, і всі вони буденні.

Зайві джерела, як у юристів. Коли агенту дозволено шукати в пошті, чатах і в інтернеті, кожне з цих місць конкурує з вашими документами за увагу пошуку. Лист, де партнер пропонував змінити пункт про штрафи, за словами майже ідентичний самому пункту, і пошук може обрати лист. Модель тоді перекаже пропозицію партнера як чинну умову договору.

Схожі за словами розділи в одному документі дають ту саму помилку. Договір поставки має пункти про строк оплати, строк поставки, строк претензії і строк дії договору. Для пошуку це чотири дуже схожі уривки, і якщо питання сформульоване розмито, перемагає будь-який із них.

Кілька версій того самого документа теж збивають пошук. Якщо в папці лежать договір і його редакція з додатковою угодою, пошук не знає, яка з них діє. Він бере найближчу за словами.

Лікування в усіх трьох випадках однакове за логікою: звузити, де шукає агент, і зробити питання точнішим. Вимкнути пошту, чати і веб для агента, який працює з договорами. Лишити одну актуальну редакцію кожного документа. Шукати за номером договору, номером бізнес-процесу або назвою контрагента, тобто за тим, що трапляється в потрібному документі і більше ніде.

Друга дірка: модель дофантазувала

Друга дірка підступніша, бо зовні відповідь виглядає чисто і впевнено. Пошук приніс правильні уривки, але відповіді в них повністю немає. Модель бачить шматок про гарантію і шматок про умови доставки, а питання стосується того, хто платить за зворотну доставку при поверненні. У жодному уривку цього не сказано прямо. Модель складає звʼязку, яка звучить логічно і типово для ринку, і подає її так само впевнено, як і все інше.

У компаніях, які ставлять асистента на питання клієнтів, часто трапляється те саме: гладка відповідь про гарантію чи повернення розходиться з тим, що реально написано в оферті. Модель описала, як зазвичай буває, а ваша оферта якраз відрізняється від звичаю. Ця відповідь нікому не здається підозрілою, доки клієнт не прийде з нею по гроші.

Захист від цієї дірки один: вимагати, щоб кожне твердження у відповіді мало опору в конкретному уривку. В інструкції агенту варто прямо написати, що відповідь складається лише з того, що є в документах, і якщо відповіді в документах немає, агент так і каже і передає питання людині. Цитата поруч з відповіддю відсіює дописане: якщо твердження є, а цитати під ним немає, твердження дофантазоване.

Текстовий документ замість скану

Пошук шматків працює з текстом. Усе, що в папці лежить картинкою, для пошуку або невидиме, або видиме з помилками розпізнавання.

Часто буває так: команда вперше завантажує свої матеріали для асистента, а частина файлів так і не підтягується. Це PDF-презентації, зібрані зі сканів і зображень слайдів. Для людини там текст, для системи там картинки. Рішення буденне: класти текстові документи, тобто PDF з текстовим шаром, DOCX, TXT або MD, а скан тримати лише як архівну копію поруч.

Те саме стосується підписаних договорів. Скан з печаткою юридично важливий, але для пошуку корисна текстова версія того самого договору. Якщо її немає, вона створюється один раз, перевіряється людиною і кладеться в папку агента. Скан лишається в архіві для юристів.

Файл у чаті чи папка: три способи дати доступ

Від способу, яким документ потрапляє до агента, залежить, чи буде пошук шматків узагалі, і наскільки він буде точним.

Посилання на хмарну папку дає агенту доступ до багатьох документів одразу, і тут працює пошук: агент шукає уривки по всій папці. Це правильний вибір, коли питання можуть стосуватися будь-якого з сотні договорів.

Агент, створений прямо з папки, працює так само через пошук, але з жорсткою межею: він бачить лише цю папку і нічого більше. Для юридичних, фінансових і клієнтських задач це добрий старт, бо зайві джерела відсічені з першого дня.

Файл у чаті працює інакше. Коли документ один і він невеликий, модель може прочитати його цілком, без нарізки на уривки. Тому, коли потрібне точне відтворення шаблону, наприклад договір за вашою формою з усіма пунктами в правильному порядку, цей шаблон краще покласти файлом у чат. Пошук по папці тут шкодить: він принесе кілька шматків з різних договорів, і модель збере з них гібрид, схожий на ваш шаблон, але неточний.

Звідси вибір: пошук по папці для питань по великому масиву, файл у чаті для роботи з одним документом цілком.

Цитата перед тим, як надіслати

Останній крок захищає від обох дірок одразу. Перед тим, як надіслати відповідь клієнту, партнеру чи в суд, попросіть асистента показати поруч з кожним важливим твердженням цитату з документа: назву файлу, пункт і сам уривок. Звірка займає хвилину. Якщо цитата з того документа і того пункту, відповідь іде далі. Якщо цитата з листа, чату або іншого договору, пошук приніс не той абзац. Якщо цитати під твердженням немає зовсім, модель дофантазувала.

Ця звичка змінює роботу команди. Менеджер перестає сприймати відповідь асистента як готовий текст і починає бачити в ній чернетку з опорами, яку він підтверджує. Відповідальність за те, що піде назовні, лишається на людині, а асистент економить їй пошук потрібного пункту в двадцяти договорах.

Що робити далі

1. Відкрийте налаштування свого асистента і подивіться, які джерела в нього увімкнені за замовчуванням: пошта, чати, інтернет, і вимкніть усе, що не стосується задачі.
2. Лишіть у папці агента одну актуальну редакцію кожного документа, а старі версії перенесіть в архів поза його доступом.
3. Замініть скани текстовими документами: PDF з текстовим шаром, DOCX, TXT або MD, а скан тримайте поруч лише для архіву.
4. Розведіть задачі: пошук по хмарній папці для питань по масиву документів, файл у чаті для точного відтворення одного шаблону.
5. Запишіть в інструкції правило: кожне важливе твердження у відповіді має цитату з назвою файлу і пунктом, а без цитати відповідь не можна надіслати.

Про цей матеріал

Це навчальна нотатка з серії про практичне впровадження ШІ у бізнесі. Приклади в тексті ілюстративні та узагальнені, назви компаній і людей прибрані. Матеріал пояснює загальну механіку відповіді асистента з документів і не є індивідуальною порадою, зокрема юридичною: налаштування джерел і правила перевірки для вашого бізнесу варто визначати з урахуванням ваших документів і процесів.