Пошуку й файлам у чаті з моделлю можна довіряти рівно настільки, наскільки ви довіряєте джерелу, з якого модель узяла відповідь, і рівно до моменту, коли людина звірила цю відповідь із першоджерелом. Інструменти чату (пошук у мережі, браузер, завантажені файли й таблиці) вмикають свідомо під конкретну задачу і вимикають, коли вони заважають. Пошук приносить знайдені сторінки, і серед них бувають застарілі й чужі. Файл і таблиця можуть містити помилку або застарілий рядок, який модель перекаже так само впевнено, як і правильний. Істиною для клієнта відповідь стає тільки після звірки людиною з договором, таблицею або першоджерелом, і слово "так" перед тим, як текст рухається далі, належить людині.
Кілька тижнів тому клієнт написав мені в Telegram пізно ввечері: хотів підтвердити графік оплат за другим етапом проєкту і уточнити, чи входить у цей етап навчання команди. Відповісти треба було до ранку, бо в нього зранку було погодження бюджету. Я завантажив у чат договір у PDF і таблицю з графіком платежів, а ще увімкнув пошук, бо в договорі сума другого етапу привʼязана до офіційного курсу на дату рахунку. За хвилину отримав впевнену чернетку: оплата протягом чотирнадцяти днів, сума з курсом, навчання команди входить у другий етап, усе ввічливо і по пунктах. Текст читався так, ніби його писав юрист, який тримав договір у руках. Я сів і звірив кожне твердження. У договорі строк оплати виявився десять банківських днів, а чотирнадцять днів прийшли з таблиці, де лишився застарілий рядок від попередньої версії додатка. Курс пошук узяв зі сторінки агрегатора тижневої давнини, а на офіційному сайті регулятора стояла інша цифра. Про навчання команди в договорі не було ні слова, воно зʼявилося в чернетці з мого ж листа, який потрапив у файли разом із договором. Два пункти я виправив за першоджерелом, а третій відхилив повністю, бо джерела для нього не існувало.
Коротко
- Інструменти чату вмикають під задачу і вимикають, коли вони підмішують зайве: пошук, браузер і файли працюють як окремі джерела з різною достовірністю.
- Пошук у мережі приносить знайдені сторінки, і відповідь стає правдою тільки тоді, коли збігається з першоджерелом.
- Файл і таблиця можуть містити помилку або застарілий рядок, і модель перекаже його так само впевнено, як правильний.
- Кожне твердження для клієнта потребує цитати з файлу або посилання на першоджерело, інакше воно відхиляється.
- Звірку з договором, таблицею чи першоджерелом робить людина, і її "так" стоїть перед кожним текстом, що йде клієнту.
Інструменти чату вмикають під задачу
Чат із моделлю вміє більше, ніж відповідати з памʼяті. Він може шукати в мережі, відкривати сторінки через вбудований браузер, читати завантажені файли й таблиці, іноді ходити у ваші підключені сервіси. Кожен такий інструмент додає в розмову нове джерело, і кожне джерело має свою достовірність. Коли ввімкнено все одразу, модель змішує їх у одну гладку відповідь, і вже неможливо сказати, яке речення прийшло з договору, яке зі сторінки новин, а яке з вашого торішнього листа.
Перше рішення в будь-якій задачі: які інструменти ввімкнути. Якщо я готую відповідь за умовами договору, мені потрібні договір і додатки, а пошук у мережі тільки заважає: він додасть чужі типові умови, які звучать правдоподібно. Якщо я питаю про свіжу новину регулятора, пошук потрібен, зате старі файли проєкту краще прибрати, щоб модель не змішала нову норму зі старою. Коли вимикати браузер моделі? Тоді, коли відповідь мусить спиратися тільки на ваші документи. Увімкнути його варто тоді, коли потрібна інформація, якої у ваших документах немає і бути не може.
Я звик ставити собі перед запитом одне питання: звідки має прийти правильна відповідь. Якщо з договору, у чаті лежить договір і нічого більше. Якщо з сайту регулятора, я вмикаю пошук і прошу модель брати дані тільки з офіційної сторінки, а всі інші результати показувати окремо. Якщо відповідь має скласти два джерела, наприклад умову з договору і свіжий курс, я розбиваю задачу на два запити, і кожен працює зі своїм інструментом. Так я завжди знаю, з якого джерела прийшло кожне речення, і звірка перестає бути розслідуванням.
Пошук приносить сторінки, правду визначає першоджерело
Чи можна довіряти пошуку в ChatGPT? Я відповідаю так само, як відповідав клієнтам про новинну стрічку брокерського термінала. За вісімнадцять років на ринках я бачив, як аналітики будували висновки на заголовку, який перепостили три агентства, і кожне трохи переказало його по-своєму. Звіт компанії, опублікований на її сайті або в офіційному реєстрі, був першоджерелом. Заголовок у стрічці був сигналом піти й прочитати звіт.
Пошук у чаті працює як така стрічка, тільки швидша і ввічливіша. Модель формулює запит, отримує кілька сторінок, вибирає ті, що здаються їй релевантними, і збирає з них відповідь. Серед знайдених сторінок легко опиняються агрегатори, форуми, старі новини без дати, переписані кимось чужі тексти. Посилання під відповіддю показують, звідки взята інформація, і саме посилання є найціннішою частиною результату. Я відкриваю їх і дивлюся на дві речі: чи це першоджерело і яка там дата. У сцені з курсом модель нічого не вигадала, вона сумлінно переказала сторінку, яка відстала на тиждень. Достовірність відповіді дорівнює достовірності сторінки, з якої вона взята.
Файл і таблиця теж можуть помилятися
Із пошуком обережність зрозуміла інтуїтивно, бо мережа чужа. З файлами пастка тонша: файл ваш, тому здається, що все в ньому правда. Робота з файлами в чаті виглядає надійно, бо модель відповідає з документа, який ви самі завантажили, і навіть може навести цитату з файлу. Цитата показує лише, що таке речення у файлі є. Чи актуальне воно, модель знати не може.
Таблиця як джерело для ШІ має особливий ризик. У живій компанії таблиці ростуть роками: хтось додає новий рядок і забуває видалити старий, хтось копіює аркуш із попередньої версії, хтось вписує умови з голосу, до підписання. Модель бачить два рядки з різними строками оплати і вибирає той, що стоїть вище або виглядає повнішим. Для неї обидва однаково справжні. Застарілий рядок у таблиці небезпечніший за помилку в мережі, бо ви йому довіряєте з першого погляду.
Правило, яке я тримаю для всіх файлів у чаті: документ отримує статус джерела тільки тоді, коли я знаю, яка це версія і хто відповідає за її актуальність. Договір з підписами має вищу вагу, ніж таблиця, зібрана за ним. Таблиця, яку веде бухгалтер і оновлює щотижня, має вищу вагу, ніж експорт трьохмісячної давнини. Листування з клієнтом показує, про що говорили, а умови записані в договорі, тому листи я даю моделі окремо і з позначкою, що це контекст розмови. Саме такий лист у сцені вище перетворився на пункт про навчання команди: я колись пропонував його клієнту як можливе доповнення, модель прочитала пропозицію як домовленість.
Звірка і моє "так"
Між чернеткою моделі і текстом, який отримує клієнт, у мене стоїть один крок, і його я роблю сам. Звірка означає взяти кожне твердження з чернетки, яке клієнт сприйме як факт, і знайти для нього місце в першоджерелі: пункт договору, рядок таблиці з датою оновлення, сторінку регулятора. Якщо місце знайдено і воно збігається, твердження лишається. Якщо розходиться, я виправляю за першоджерелом. Якщо місця немає, твердження відхиляю, навіть якщо воно звучить правильно і навіть якщо я сам наполовину памʼятаю, що так і домовлялися.
Щоб звірка займала хвилини, я прошу модель одразу працювати так, щоб її було зручно звіряти. У запиті пишу: біля кожного твердження про гроші, строки й обсяги постав цитату з файлу або посилання на сторінку, а якщо джерела немає, так і напиши. Модель із такою вимогою віддає чернетку, яку я звіряю по рядках, і сама позначає місця, де спиралася на здогад. У сцені з клієнтом саме такої вимоги мені бракувало першого разу: навчання команди зʼявилося в чернетці без жодної цитати, і я помітив це тільки тому, що шукав кожен пункт у договорі вручну.
Слово "так", після якого текст рухається далі, у моєму процесі належить мені. Модель може підготувати відповідь, знайти сторінку, звести таблицю. Рішення, що ця відповідь стала істиною для клієнта, ухвалює людина, яка звірила її з першоджерелом і готова за неї відповідати. Якщо першоджерела немає, правильна реакція одна: відхилити і повернутися до пошуку документа.
Що робити далі
- Перед кожною задачею вирішіть, які інструменти чату потрібні, і вимкніть решту: для відповіді за договором достатньо файлів, для свіжої новини потрібен пошук.
- Позначте в назві кожного завантаженого файлу версію і дату, а з таблиць приберіть застарілі рядки, перш ніж давати їх моделі.
- Додайте в запит вимогу: біля кожного твердження про гроші, строки й обсяги ставити цитату з файлу або посилання на першоджерело.
- Відкривайте посилання з пошуку і дивіться на дві речі: чи це першоджерело і яка дата публікації.
- Перед відправкою клієнту звіряйте кожне фактичне твердження з договором, таблицею або першоджерелом, а те, для чого джерела немає, відхиляйте.
Про цей матеріал
Це освітній матеріал про роботу з інструментами ШІ-чатів у малому бізнесі. Сцена з власної практики автора подана узагальнено, без назв компаній та імен. Назви інструментів і їхні можливості в різних сервісах змінюються з часом. Матеріал не є юридичною, інвестиційною чи іншою професійною порадою.