Одну й ту саму задачу варто прогнати в моделі тричі, бо той самий вхід дає різні виходи. Модель щоразу складає відповідь наново, і між прогонами можуть змінитися сума, дата, строк повернення і навіть те, що ви пообіцяли клієнту. Одна чернетка виглядає переконливо саме тому, що її нема з чим порівняти. Три чернетки поруч показують, у яких місцях модель тримається джерела, а де вона вгадує, і роблять це до того, як людина поставить під текстом свій підпис і натисне "надіслати".
П'ятниця, вечір, невеликий інтернет-магазин домашнього текстилю. Менеджерка Оксана відкриває Telegram і бачить повідомлення від клієнтки: замовлення на 4 860 гривень мало поїхати ще в середу, а тепер з'ясувалося, що однієї позиції на складі немає. Клієнтка питає, коли чекати посилку і скільки їй повернуть. Оксана збирає все, що має: скрін замовлення з трьома позиціями, рядок з виписки про оплату, статус доставки з новою датою відправлення на понеділок і умови повернення з сайту, де сказано, що гроші за відсутній товар повертаються на картку протягом трьох банківських днів. Плед за 1 290 гривень закінчився. До цього вона дописує інструкцію: ввічливо вибачитися, назвати суму повернення і нову дату, обіцяти рівно те, що записано в умовах. Далі робить те, що ще місяць тому здавалося зайвим: відкриває новий чат, вставляє той самий текст, забирає відповідь, відкриває ще один чат і повторює. Через десять хвилин на екрані три чернетки. І всі три різні.
Коротко
- Той самий запит до моделі дає різні відповіді, і це нормальна властивість генеративної моделі.
- Три прогони одного входу показують, де відповідь стабільна, а де модель домальовує від себе.
- Найчастіше між прогонами розходяться цифри: суми, дати, строки повернення.
- Друге місце розбіжностей - тон і обіцянки, яких в інструкції взагалі не було.
- Фінальний лист збирають з джерела даних і свідомо обраного тону. Факти між чернетками не усереднюють.
- Підпис під листом ставить людина, яка звірила цифри з випискою і прайсом.
Схема задачі: вхід, обробка, вихід
Перед трьома прогонами задачу зручно розкласти на три частини. Інакше незрозуміло, що саме ви порівнюєте. Вхід - це все, що модель отримує від вас: дані й інструкція. У Оксани дані складаються з чотирьох шматків: склад замовлення з цінами, рядок виписки з сумою оплати, статус доставки з датою і текст умов повернення. Інструкція - кілька речень про те, що треба написати, кому і яким тоном. Обробка - те, що відбувається всередині моделі і чого ми не бачимо. Вихід - чернетка відповіді клієнту.
Схема потрібна з однієї причини: у правильному виході немає жодного факту, якого не було на вході. Сума повернення береться з прайсу, дата - зі статусу доставки, строк - з умов повернення. Модель тут збирає ці факти в людський текст, підбирає слова вибачення і не губить деталей. Щойно у виході з'являється цифра або обіцянка, якої на вході не було, ви бачите межу, де модель перестала переказувати і почала вигадувати. Одна чернетка цю межу ховає. Три чернетки її підсвічують, бо вигадане рідко повторюється однаково.
Я собі вхід записую окремим блоком у нотатках, а не тримаю в голові. Через тиждень, коли прийде схожий лист, вставляю той самий каркас лише з новими цифрами і отримую порівнянний результат.
Як поставити той самий вхід тричі
Головна умова - щоб вхід справді був тим самим. Звучить банально, але на практиці його змінюють, навіть не помічаючи. Хтось після першої відповіді пише в тому самому чаті "а тепер ще раз", і модель уже бачить свою попередню чернетку, тож друга відповідь виростає з першої. Хтось переформульовує інструкцію, бо перший варіант здався сухим. Хтось на третьому прогоні додає "і не забудь про знижку". Після цього порівнювати вже нічого: ви змінили вхід і дивуєтеся, що змінився вихід.
Робочий порядок у мене такий. Вхід повністю, разом з даними й інструкцією, лежить в одному текстовому блоці в нотатках. Для кожного прогону відкривається новий чат без попередньої розмови. Модель у селекторі та сама на всіх трьох прогонах. Текст запиту копіюється і вставляється без правок, без коментарів і без уточнень після відповіді. Кожен вихід одразу переноситься в один документ під своїм номером, щоб три тексти лежали поруч, а не в трьох вкладках.
Навіть при такій дисципліні відповіді будуть різними. Це саме те, що треба побачити. Модель на кожному кроці вибирає наступне слово з певною часткою випадковості, тому той самий запит дає різні тексти. Для вітального листа це добре: виходить три варіанти стилю. Для листа з сумою повернення це ризик, який варто побачити очима.
Де розходяться цифри
У Оксани перша чернетка повторила все з джерела: повернення 1 290 гривень, відправлення в понеділок, гроші на картці протягом трьох банківських днів. Друга залишила суму правильною, але написала, що посилка поїде "у понеділок або вівторок", а гроші повернуться "протягом п'яти робочих днів". Ні вівторка, ні п'яти днів на вході не було. Третя назвала суму повернення 1 390 гривень: модель побачила в скріні замовлення рядок про доставку за 100 гривень і вирішила, що її теж треба компенсувати.
Кожна з цих трьох чернеток окремо виглядала б правдоподібно. Якби Оксана зробила один прогін і отримала третій варіант, вона цілком могла б надіслати клієнтці обіцянку повернути на сто гривень більше, ніж магазин збирався. Сто гривень - невеликі гроші. Але клієнтка зробить скріншот, і наступна розмова почнеться з того, що магазин не виконує власних обіцянок.
Для порівняння цифр мені зручна маленька таблиця на три рядки: сума повернення, дата відправлення, строк зарахування коштів. У кожну клітинку вписую значення з відповідної чернетки, а поруч окремою колонкою - значення з джерела. Усе, що не збігається з джерелом, позначаю. На таку звірку йде дві хвилини. Вона показує розбіжності швидше, ніж уважне перечитування.
Де розходиться тон і обіцянки
Цифри видно в таблиці. Тон видно, якщо прочитати три чернетки підряд уголос. Перша звучала тепло і по-діловому: коротке вибачення, факти, подяка за терпіння. Друга вибачалася в кожному абзаці і в кінці пообіцяла клієнтці знижку 10 відсотків на наступне замовлення. Цієї знижки ніхто не погоджував, власник магазину про неї навіть не чув. Третя вийшла сухою, як довідка з архіву: "Повідомляємо, що ваше замовлення буде відправлено після надходження товару". Товар при цьому вже ніхто не чекав, плед зняли з продажу.
Обіцянки небезпечніші за невдалий тон. Сухий лист клієнтка перетерпить. Знижку, яку їй написали, вона запам'ятає і прийде по неї. Модель додає такі речі з добрих намірів: інструкція просила вибачитися, і модель вирішила, що найкраще вибачення підкріплене подарунком. Три прогони показують, що ці додатки нестабільні: в одній чернетці є знижка, в іншій немає. Це знижка від моделі. Магазин її не давав, і в лист вона не йде.
Як зібрати фінальну відповідь
Найпоширеніша помилка на цьому кроці - вирішувати голосуванням. Дві чернетки з трьох кажуть 1 290, одна каже 1 390, значить правильно 1 290. Цього разу збіглося, але логіка хибна. Якщо дві чернетки з трьох вигадають однакову неправильну дату, голосування видасть неправильну дату. Факти не усереднюють і не вибирають більшістю. Кожну цифру у фінальному листі беруть з джерела: суму з прайсу і виписки, дату зі статусу доставки, строк з умов повернення. Три прогони тут лише показують, які саме цифри треба перевірити особливо уважно.
Тон, навпаки, обирають свідомо. Можна взяти першу чернетку як основу, позичити з другої одне вдале речення вибачення і прибрати з неї все, що звучить як догоджання. Обіцянки лишаються тільки ті, які магазин реально може виконати і які записані в умовах. Якщо хочеться дати клієнтці знижку, це рішення власника, і воно приймається окремо від моделі.
Останній крок - людина читає готовий лист ще раз, звіряє дві-три ключові цифри з випискою і прайсом, і тільки тоді ставить свій підпис. Оксана надіслала клієнтці текст на основі першої чернетки з одним реченням з другої. Клієнтка відповіла "дякую, чекаю в понеділок". На цьому історія закінчилась.
Чому ця вправа закріплює звичку перевірки
Модель може вигадувати. У довгій розмові губиться контекст. Запит працює як технічне завдання. Є межі, де модель допомагає, а де її краще не пускати. Три прогони однієї задачі складають усе це в одну звичку, яку можна повторити руками за десять хвилин. Ви бачите вхід і вихід на своїй справжній задачі. Бачите невизначеність не в теорії, а в трьох різних сумах на екрані. І бачите, де саме потрібна людська перевірка перед тим, як текст піде до клієнта.
Що робити далі
- Візьміть одну живу задачу, де в листі клієнту є сума, дата або строк, і запишіть її вхід окремим блоком: дані плюс інструкція.
- Проженіть цей вхід тричі, щоразу в новому чаті, з тією самою моделлю в селекторі і без жодних правок у тексті запиту.
- Складіть таблицю з колонками для кожної цифри і окремою колонкою для джерела, і позначте всі значення, які з джерелом не збігаються.
- Прочитайте три чернетки вголос підряд і випишіть окремо кожну обіцянку, якої немає в інструкції чи в умовах.
- Зберіть фінальний лист: цифри з джерела, тон з найвдалішої чернетки, обіцянки тільки погоджені, а після звірки поставте свій підпис.
Про цей матеріал
Це навчальна нотатка про практику роботи з моделлю. Магазин, менеджерка, суми і дати в тексті ілюстративні, вони показують механіку вправи і не описують конкретну компанію. Матеріал має освітній характер і не є індивідуальною порадою щодо ведення вашого бізнесу чи роботи з клієнтами.