Тренувальні дзвінки: перевірка ШІ-агента перед запуском
Як змодельовані тренувальні дзвінки дають змогу спершу перевірити ШІ-агента на складних випадках, як читати оцінки й уроки та як перетворити висновки на виправлення.
Кожна команда, яка навчала нових співробітників, знає: перший тиждень на телефоні — найризикованіший. Новачок знає правила, але ще не зустрічав абонента, який його перебиває, того, хто змінює тему посеред речення, чи того, хто просто шукає винного. Добрі команди відпрацьовують такі моменти в рольових іграх ще до реальної роботи.

Телефонному ШІ-агенту потрібна така сама репетиція, і її може бути набагато більше й набагато швидше. У цьому посібнику пояснено, як спланувати тренування, як читати результати і як повертати уроки назад в агента. Він спирається на матеріали про налаштування ШІ-агента і написання ефективних промптів.
Навіщо тренуватися перед запуском
Перші реальні дзвінки формують уявлення клієнтів про весь сервіс. Агент, який неправильно почув ім'я, перебиває абонента чи вигадує відповідь, коштує дорожче за пропущений дзвінок, бо тепер клієнтові є що розповісти. Тренування виявляє ці проблеми, поки єдина аудиторія — ваша власна команда.
- Охоплення. В одному пакеті можна перевірити десятки дзвінків, зокрема незвичні, які можуть не трапитися в перші тижні.
- Повторюваність. Після зміни промпту запустіть такий самий пакет і порівняйте.
- Безпека. Помилки нічого не коштують у стосунках з реальними клієнтами.
- Докази. Оцінки й позначки дають предмет для обговорення замість думок.
Тренування — не доказ. Хороша оцінка на змодельованих абонентах не означає, що реальні абоненти поводитимуться так само, а поведінка в живому голосовому каналі може відрізнятися від симуляції. Сприймайте хороший результат як дозвіл обережно спробувати реальні дзвінки, а не як сертифікат.
Що тестувати
Цінність пакета залежить від ситуацій, які він охоплює. Свідомо поєднуйте прості й складні випадки.
Сценарії, що виявляють слабкі місця
- ПеребиванняАбонент говорить одночасно з агентом. Чи агент зупиняється й слухає, чи продовжує напролом?
- Зміна мовиАбонент починає однією мовою й переходить на іншу. Чи агент підлаштовується?
- Прохання покликати людинуАбонент каже: «З'єднайте мене з кимось». Чи передача чітка й швидка?
- Запитання про цінуАбонент питає, скільки це коштує. Чи агент відповідає лише те, що знає, і не вгадує?
- СкаргиЗасмучений абонент. Чи агент зберігає спокій і пропонує наступний крок?
- Повсякденні запитанняЗапитання з власної бази знань агента. Чи відповіді правильні й короткі?
Баланс важливий. Пакет лише зі складних випадків завжди виглядатиме погано й мало скаже про повсякденну роботу; пакет лише з простих запитань прикрасить агента, який провалюється під тиском. Поєднання обох зазвичай дає найбільше інформації на старті.
Запуск пакета тренувальних дзвінків у Call
У Call тренування розміщено в розділі «ШІ-агенти» → «Чого він навчився» на вкладці «Тренувальні дзвінки». ШІ-абоненти телефонують вашим ШІ-агентам у симуляції японською та англійською мовами, і кожен дзвінок оцінюється. Ви обираєте агентів (до десяти одночасно; агент, який ще не може приймати дзвінки, неактивний), скільки дзвінків японською та англійською має отримати кожен (від нуля до двадцяти п'яти кожною мовою) і набір сценаріїв.
| Набір сценаріїв | Що охоплює | Коли використовувати |
|---|---|---|
| Збалансований | Кожен складний випадок по одному разу, решта — запитання з бази знань агента | Ви вперше тестуєте нового агента |
| База знань | Лише запитання на основі того, що знає агент | Ви змінили його знання й хочете перевірити точність |
| Граничні випадки | Лише складні випадки | Ви змінили правила поведінки чи промпт |
Запуск пакета
- Відкрийте «Тренувальні дзвінки»Перейдіть до «ШІ-агенти», потім «Чого він навчився», потім «Тренувальні дзвінки».
- Оберіть агентів і кількістьПозначте агентів і задайте кількість дзвінків кожною мовою.
- Оберіть набір«Збалансований», «База знань» або «Граничні випадки».
- Запустіть пакетЧисло біля кнопки — загальна кількість: агенти, помножені на дзвінки обома мовами.
- Стежте за перебігомСписок оновлюється сам; відкрийте пакет, щоб побачити оцінки й результати дзвінків.
Кнопка запуску залишається неактивною при нулі дзвінків або коли загальна кількість перевищує триста, тож великі тести запускають частинами. Пакет, що очікує або виконується, можна скасувати: дзвінки, які ще не почалися, скасовуються, а дзвінок, що вже триває, завершується. Для пакета можна ввімкнути голос, щоб біля кожної репліки з'явилася кнопка відтворення; аудіо створюється лише тоді, коли ви її натискаєте.
Як читати результати
Відкрийте завершений пакет і почніть зі зведення, а не з окремої розшифровки. Підсумки показують кількість виконаних дзвінків, середню оцінку, виправлені відповіді, запитання, що потребують відповіді, і поради щодо стилю. Нижче — оцінка за критеріями, головні проблеми із середнім балом кожного агента та таблиця дзвінків зі сценарієм, мовою, оцінкою й позначками.
- Подивіться на оцінку за критеріями, щоб знайти найслабше місце.
- Прочитайте головні проблеми; якщо одна з них трапляється в кількох агентів, імовірно, причина в спільному промпті чи правилі.
- Відсортуйте дзвінки за оцінкою й повністю прочитайте три найгірші розшифровки.
- Читайте примітку оцінювача до кожної відповіді, а не лише підсумкову оцінку.
- Порівняйте мови: розрив може означати, що для однієї мови потрібні власні формулювання.
Як застосовувати уроки
Тренування дає уроки, і вони чекають на ваш перегляд, а не змінюють агента автоматично. Кожен урок можна застосувати або відхилити. Виправлені відповіді та запитання, що потребують відповіді, також чекають у розділі «Пропозиції». Це зроблено навмисно: що має вивчити агент, вирішує людина.
Перегляд уроків
- Чи відповідає урок вашій політиці й тону
- Чи виправлена відповідь справді правильна, а не лише правдоподібна
- Чи стосується урок кожного абонента, чи лише цього сценарію
- Чи не суперечать два уроки один одному
- Чи потрібен агенту новий запис у базі знань, а не зміна промпту
Застосувавши зміни, знову запустіть невеликий пакет і порівняйте. За можливості змінюйте щось одне за раз, інакше не знатимете, яка зміна допомогла. Де мають зберігатися фактичні відповіді, див. у матеріалі про джерела знань.
Розумний ритм тренувань
Тренування найкраще окупається, коли воно стає звичкою, а не разовою подією. Прив'язуйте пакети до моментів, коли щось змінюється.
| Момент | Що запускати | На що звертати увагу |
|---|---|---|
| Новий агент перед запуском | Збалансований пакет для кожної мови, якою ви обслуговуєте клієнтів | Слабкі критерії, поведінка під час передачі |
| Після зміни промпту чи правила | Пакет граничних випадків | Чи виправила зміна проблему, не зламавши чогось іншого |
| Після додавання знань | Пакет за базою знань | Правильні короткі відповіді без вигаданих фактів |
| Перед напруженим періодом | Збалансований пакет для ліній, які будуть найзавантаженішими | Стабільність за типового набору запитань |
| Після проблеми в реальному дзвінку | Пакет, що відтворює збій | Чи тримається виправлення |
Ведіть короткий журнал: дата, що ви змінили, який пакет запустили і головний результат. Через кілька місяців ця історія покаже, які зміни допомогли, і вбереже від повторення експерименту, що вже провалився.
Гіпотетична клініка може запустити збалансований пакет для агента рецепції перед відкриттям нової лінії, пакет граничних випадків після додавання правила щодо термінових симптомів і пакет за базою знань щоразу, коли змінюються години роботи чи послуги. Три невеликі пакети в потрібні моменти скажуть більше, ніж один величезний разовий тест.
Поза межами симуляції
Симуляція — це репетиція. Перед запуском також зробіть реальний тестовий дзвінок на власний телефон і послухайте агента так, як його почує клієнт. Запускайтеся обережно: почніть із лінії з низьким ризиком або обмежених годин, залиште простий шлях до людини (див. матеріал про передачу дзвінка людині) і щодня слухайте перші реальні дзвінки. Для операторів-людей діє та сама ідея; про репетиції та зворотний зв'язок із людьми див. систему коучингу.
Часті запитання
Чи є тренувальні дзвінки справжніми телефонними дзвінками?
Це змодельовані дзвінки, у яких ШІ-абоненти телефонують вашим ШІ-агентам. Щоб почути агента на реальній лінії, зробіть окремий тестовий дзвінок на власний телефон.
Чи можна тренуватися кількома мовами?
Інструмент тренування запускає змодельовані дзвінки японською та англійською. Задайте, скільки дзвінків кожною мовою потрібно для кожного агента.
Скільки дзвінків запускати?
Почніть з малого — по кілька дзвінків на кожен сценарій для кожного агента — і уважно прочитайте результати. Збільшуйте кількість лише за наявності причини, наприклад щоб перевірити зміну кількома мовами.
Чи змінюють уроки мого агента автоматично?
Ні. Уроки чекають на ваш перегляд. Ви застосовуєте ті, з якими згодні, і відхиляєте решту.
Що показує оцінка?
Вона показує, як пройшов змодельований дзвінок відповідно до критеріїв, з примітками оцінювача до кожної відповіді. Це доказ, але реальні абоненти можуть поводитися інакше.
Що означає, якщо агент неактивний?
Агента, який ще не може приймати дзвінки, позначено як недоступного, і його не можна обрати. Спершу завершіть його налаштування.