Технології голосового ШІ

Як протестувати голосового ШІ-агента перед запуском: практичний план

Покроковий план тестування телефонного голосового ШІ-агента перед запуском: скрипти, точність, слух, перебіг розмови, передавання, журнали й чітке рішення.

Редакція Call · Опубліковано · Читати 5 хв

Голосовий агент, який добре відповідає в тихому офісі в присутності свого розробника, може поводитися зовсім інакше на розі вулиці з абонентом, що говорить нерозбірливо. Більшість проблем під час запуску не є загадкою: це речі, яких ніхто не спробував. Структурований план тестування виявляє їх, поки їх ще дешево виправити.

Тестувальник якості в гарнітурі перевіряє сценарій дзвінка на ноутбуці
Ілюстрація

Цей посібник пропонує практичний план: що підготувати, які шість напрямів тестувати, як оцінювати результати і що робити після запуску. Наприкінці розглянуто інструменти в Call. Про метрики, на яких ґрунтується оцінювання, читайте в статті Метрики оцінювання голосового ШІ.

Підготовка до тестування

Почніть зі списку реальних дзвінків. Зберіть запитання, які люди справді ставлять, з електронних листів, пам'яті співробітників і нотаток до дзвінків. Додайте незручні: розгніваного абонента, абонента з розмитим запитом, абонента, який просить те, чого ви не пропонуєте. Добрий тестовий набір поєднує поширені, рідкісні та складні випадки.

Від скрипту до запуску

  1. Написати тестові скриптиРеальні запитання з правильною відповіддю на кожне.
  2. Протестувати змістЧи відповідає агент правильно і чи не виходить за межі.
  3. Протестувати слухЧи розуміє він імена, числа й акценти.
  4. Протестувати перебіг розмовиЧи розмова йде природно й добре завершується.
  5. Протестувати передаванняЧи працюють прохання з'єднати з людиною і термінові випадки.
  6. Перевірити записиЧи правильні резюме, повідомлення та журнали.
  7. Ухвалити рішенняПорівняти результати з правилом проходження й зробити вибір.

Визначте, хто тестуватиме. Залучіть людей, які не створювали агента, бо вони ставитимуть запитання несподіваним чином. Якщо ваші абоненти говорять з регіональними акцентами або кількома мовами, залучіть і ці голоси.

Тестування змісту

Перше запитання — чи каже агент правду. Поставте кожне запитання зі свого списку й порівняйте з правильною відповіддю. Позначте кожну відповідь як правильну, частково правильну, неправильну чи вигадану. Найважливіша — вигадана відповідь, коли агент стверджує щось, чого йому ніколи не надавали, бо абоненти в неї вірять.

Чому виникають вигадані відповіді, пояснює стаття Галюцинації голосового ШІ, а як використовуються знання — стаття RAG для голосових агентів.

Тестування того, що агент чує

Голосові агенти часто помиляються саме на етапі слухання. Звичайні проблеми — імена, поштові індекси, номери телефонів і дати. Тестуйте на справжніх телефонах, а не лише через мікрофон комп'ютера, і додавайте фоновий шум, гучний зв'язок і поганий мобільний сигнал.

ПеревіркаЯкНа що звертати увагу
ІменаПродиктувати й вимовити незвичні іменаПравильне фіксування або ввічливе прохання повторити
ЧислаПродиктувати номер телефону й датуПравильні цифри та їх повторення вголос
АкцентиПопросити колег з різними акцентамиМенше непорозумінь і коректне відновлення
ШумЗателефонувати з людного місцяЖодних хибних спрацювань і чіткі прохання повторити

Числа й імена в голосовому ШІ і Розпізнавання мовлення в дзвінках пояснюють ці проблеми глибше.

Тестування перебігу розмови

Зміст може бути правильним, а розмова все одно незграбною. Прислухайтеся до початку, темпу, того, чи агент перебиває абонента, як він поводиться з тишею і як завершує дзвінок. Перебийте його, помовчіть, скажіть «Алло?» і передумайте посеред розмови.

Поведінка в розмові, яку варто перевірити

  • ПеребиванняЗаговоріть, поки говорить агент, і перевірте, чи він зупиняється й слухає.
  • ТишаНічого не кажіть і перевірте, чи він ввічливо нагадує про себе, а потім доречно завершує дзвінок.
  • Зміна думкиЗмініть тему посеред відповіді й перевірте, чи він підхоплює.
  • ЗавершенняПодякуйте й попрощайтеся та перевірте, чи дзвінок коректно завершується.

Сюди ж належить і швидкість. Фіксуйте довгі паузи та їхні причини. Затримка голосового ШІ пояснює звичайні причини.

Тестування передавання й безпеки

Кожен голосовий агент потребує шляху до людини для запитів, які він не може або не повинен обробляти. Протестуйте його за кожної умови: у робочі години, поза ними, коли ніхто не відповідає і коли абонент у стані стресу. Спробуйте термінові фрази. Перевірте, що агент ніколи не видає себе за людину й не обіцяє того, чого не може виконати, як-от підтвердженого бронювання.

Перевірки передавання

  • Прохання з'єднати з людиною в робочі години потрапляє до потрібних людей
  • Прохання поза робочими годинами отримує чесне повідомлення та спосіб залишити контактні дані
  • Якщо ніхто не відповідає, абонент може залишити повідомлення
  • Абонентів у терміновій ситуації чи стресі швидко передають далі
  • На запитання агент повідомляє, що він ШІ
  • Чутливі дані не збираються, коли їх не слід збирати

Тестування записів і журналів

Дзвінок має два результати: що пережив абонент і що ви зафіксували. Після кожного тесту перевіряйте резюме, транскрипт, залишене повідомлення та будь-яке подальше завдання. Чи правильні імена й числа? Чи точно вказано причину дзвінка? Чи не вигадує резюме чогось? Ідеальний дзвінок із неправильним записом усе одно спрямовує команду хибним шляхом. Дивіться статтю Резюме дзвінків від ШІ.

Рішення: пройдено чи ні

Перш ніж починати, запишіть правило, яке визначає, чи можна запускати агента. Воно може бути простим: жодних вигаданих відповідей у тестовому наборі, працює кожен випадок передавання, і визначена частка поширених запитань отримує правильну відповідь. Письмове правило запобігає запуску під тиском дедлайнів.

Рішення про запуск

Правило записано заздалегідьОцінено постфактум
ЯсністьУсі знають планкуПланка змінюється разом із настроєм
ТискЛегко сказати «ще ні»Важко встояти перед дедлайном
НавчанняЗбої вказують, що виправитиЗбої стають предметом суперечок
ОблікРезультати можна порівнювати з часомНема з чим порівнювати

Ведіть журнал кожного тесту: дата, версія агента, хто телефонував, запитання, результат і виправлення. Коли змінюєте промпт чи знання, повторюйте попередні тести, бо виправлення іноді ламають щось інше.

Варто також тестувати тихі збої, на які жоден абонент не поскаржиться, але які з часом коштують вам дорого. Перевірте, що дзвінок, який завершився передчасно, усе одно дає осмислений запис, що абонент, який поклав слухавку посеред речення, не залишає по собі недоробленого завдання, і що з повторними абонентами поводяться послідовно. Такі випадки рідко потрапляють до першого плану тестування, проте становлять напрочуд значну частку реального трафіку.

Після запуску

Тестування не припиняється, коли агент починає працювати. Почніть з обмеженого обсягу, наприклад неробочих годин або переповнення, щодня протягом першого тижня прослуховуйте вибірку реальних дзвінків і розширюйте обсяг, коли будете впевнені. Переглядайте запитання, на які агент не зміг відповісти, і додавайте відсутні знання. Майте змогу повернутися до попередньої версії, якщо зміна погіршить ситуацію. Перший тиждень вашого ШІ-адміністратора — добре доповнення до цього посібника.

Тестування в Call

Call дає кілька способів протестувати ШІ-агента раніше, ніж це зроблять абоненти. Пісочниця у розділі «ШІ-агенти» дає змогу поспілкуватися з агентом у чаті, показує, скільки нотаток зі знань відповідали кожній відповіді, і перелічує їх, а також дає змогу оцінити відповідь або навчити агента кращої. Функція агента Тестовий дзвінок телефонує на ваш власний телефон через його лінію, тож ви чуєте агента так, як чує абонент; кожен такий тест — справжній платний дзвінок. Майстер налаштування також пропонує розмову на екрані, дзвінок на ваш телефон і дзвінок агента на вказаний номер. Перевірка готовності, яка виконується без набору номера, показує, чого ще бракує для ШІ-дзвінка з цієї лінії.

Тренувальні дзвінкиу розділі «ШІ-агенти» → «Чого він навчився» дають змогу ШІ-абонентам телефонувати вашим агентам японською та англійською. Кожен дзвінок оцінюється, а висновки чекають на ваш перегляд, тож без вас нічого не змінюється. Перед ризикованою зміною збережіть для агента точку відновлення, щоб мати змогу відкотитися, і використовуйте «Запустити» або «Зробити чернеткою», щоб керувати тим, коли агент відповідає. Про саме налаштування читайте в статті Створення ШІ-агента в Call .

Часті запитання

Скільки тестових дзвінків достатньо?

Достатньо, щоб охопити кожне поширене запитання, кожен випадок передавання та вибірку складної поведінки. Для невеликого агента це можуть бути десятки дзвінків; продовжуйте, доки нові тести не перестануть виявляти нові проблеми.

Хто має тестувати агента?

Люди, які його не створювали, зокрема ті, хто має інші акценти й телефонні звички. Вони запитують так, як розробникові ніколи не спаде на думку.

Чи тестувати на справжньому телефоні?

Так. Телефонний звук вужчий і шумніший за комп'ютерний, і багато проблем проявляються лише на справжній лінії.

Що вважається серйозним збоєм?

Вигадана відповідь, висловлена впевнено, передавання, що не спрацювало, або запис, який спрямовує команду хибним шляхом. Такі збої мають блокувати запуск.

Чи треба повторно тестувати після дрібних змін?

Так, принаймні базовий набір. Дрібні зміни промпту чи знань можуть змінити відповіді в інших місцях.

За чим стежити після запуску?

Спочатку щодня прослуховуйте вибірку дзвінків, фіксуйте запитання, на які агент не зміг відповісти, і відстежуйте передавання та скарги. Щотижня поповнюйте знання.

Проводьте тестові й тренувальні дзвінки для свого ШІ-агента в Call

У демоконсолі можна випробувати вхідні дзвінки в симуляції.

Схожі посібники

Технології голосового ШІ

Промпти для кращих резюме дзвінків: шаблони й тести

Як написати промпт, що перетворює розшифровку дзвінка на коротку точну нотатку: для кого вона, що включати, правила проти вигадок і як це протестувати.

Редакція Call ·
Технології голосового ШІ

Аналіз тональності дзвінків: користь, межі й відповідальність

Що вимірює аналіз тональності дзвінків, де він допомагає сортувати й бачити тенденції, де вводить в оману і як уникнути несправедливих автоматичних рішень.

Редакція Call ·
Технології голосового ШІ

Основи SIP-транкінгу: як бізнес-дзвінки передаються через інтернет

Що таке SIP-транк, чим він відрізняється від традиційних телефонних ліній, що перевірити щодо кодеків, каналів і резервування та як обрати провайдера.

Редакція Call ·
Технології голосового ШІ

Моделі speech-to-speech і каскадні голосові конвеєри: порівняння

Два способи побудувати телефонного голосового агента: моделі speech-to-speech і каскадні конвеєри. Сильні й слабкі сторони кожного та як обрати за допомогою тестів.

Редакція Call ·