Технології голосового ШІ

Як оцінювати розмови голосового агента: метрики й перегляд

Практичний спосіб оцінити телефонного голосового агента: які метрики відстежувати, як робити вибірку й оцінювати дзвінки і як перетворювати висновки на виправлення.

Редакція Call · Опубліковано · Читати 5 хв

Коли голосовий агент уже відповідає на справжні дзвінки, запитання змінюється з «чи він працює?» на «чи він працює добре?». Багато команд відповідають на нього розмитим враженням від кількох дзвінків. Трохи структури дає значно кращу інформацію й підказує, що виправляти далі.

Керівник команди переглядає нотатки щодо якості дзвінків разом із колегою
Ілюстрація

Цей посібник пропонує простий підхід до оцінювання телефонного голосового агента: які метрики відстежувати, як переглядати дзвінки вручну і як перетворювати висновки на покращення. Він спирається на матеріал Як протестувати голосового ШІ-агента і загальні показники з матеріалу KPI кол-центру.

Почніть із того, що для вас означає «добре»

Вдалий дзвінок для ресторану — не те саме, що вдалий дзвінок для клініки. Перш ніж обирати метрики, одним-двома реченнями запишіть, як виглядає успішний дзвінок кожного очікуваного типу: на запитання абонента відповіли, повідомлення прийнято з правильними даними або абонент потрапив до потрібної людини. Усе інше випливає з цих визначень.

П'ять запитань будь-якого оцінювання

  • Чи зрозуміли абонента?Чи правильно агент почув запитання й подробиці?
  • Чи правильна відповідь?Чи була вона точною, у межах затвердженої інформації та без вигадок?
  • Чи дійшов дзвінок до корисного завершення?Чи виконано завдання, прийнято повідомлення чи передано розмову?
  • Чи прийнятний досвід?Темп, тон, повтори й зусилля абонента.
  • Чи це було безпечно?Чи дотримався агент своїх меж і чи передав розмову, коли мав?

Метрики, які варто відстежувати

МетрикаЩо вона показуєЯк її отримати
Виконання завданняЧастка дзвінків, у яких мету абонента досягнутоПерегляд вибірки людиною плюс результати дзвінків
Точність відповідейЧи відповідали твердження затвердженій інформаціїПерегляд людиною з порівнянням із вашими джерелами
Частка передаваньЯк часто абоненти просять людину чи потребують їїРезультати дзвінків і запити в службі підтримки
Частка повторівЯк часто агент просив абонента сказати щось ще разПерегляд розшифровок
Пауза перед відповіддюЧас між кінцем репліки абонента й відповіддю агентаТаймінг кожної репліки в історії дзвінків
Частка покинутих дзвінківАбоненти, які кладуть слухавку до результатуЖурнал дзвінків
Відгуки абонентівЯк люди сприйняли дзвінокКороткі опитування чи коментарі після дзвінка

Зверніть увагу: більшість корисних показників потребують людського судження. Підрахунки з журналу кажуть, скільки, але лише людина, що читає розмову, може сказати, чи дзвінок пройшов добре. Розраховуйте на поєднання обох підходів. Показники, що стосуються будь-яких дзвінків, описують матеріали Вирішення з першого дзвінка і Частка відповідей і частка покинутих дзвінків.

Перегляд дзвінків вручну

Невелика регулярна вибірка краща за епізодичний великий перегляд. Обирайте дзвінки випадково, а також кілька незвичних: дуже короткі чи дуже довгі, дзвінки, що завершилися передаванням, і ті, де абонент поклав слухавку.

Порядок перегляду дзвінків

  1. ВибіркаЩотижня обирайте фіксовану кількість дзвінків, поєднуючи випадкові й незвичні.
  2. Слухайте й читайтеПрогравайте запис і читайте розшифровку разом.
  3. ОцінкаОцініть кожен дзвінок за вашими критеріями за простою шкалою.
  4. ПричиниЗапишіть, чому щось пішло не так.
  5. Виправлення й повторний тестЗмініть джерело, промпт чи налаштування, а потім повторно протестуйте той самий випадок.

Тримайте оцінювання простим

Трьох рівнів достатньо: добре, прийнятно й погано, або для окремих тверджень — точно, частково й неправильно. Дрібні шкали породжують суперечки, не додаючи розуміння. Час від часу давайте двом людям оцінити кілька тих самих дзвінків; якщо вони часто не погоджуються, ваші критерії потребують чіткіших формулювань.

Пам'ятайте, що розшифровки можуть помилятися

Розшифровка — це здогадка системи розпізнавання, а не істина. Якщо розшифровка виглядає дивно, прослухайте звук, перш ніж звинувачувати агента. Дивіться матеріал Чому телефонний звук складний для розпізнавання мовлення.

Вимірювання швидкості й ритму

Абоненти помічають затримку більше, ніж майже будь-що інше. Відстежуйте паузу перед кожною відповіддю й дивіться на найгірші випадки, а не лише на середнє, бо кілька дуже довгих пауз псують враження. Якщо паузи довгі, розкладіть, куди йде час; матеріал Затримка голосового ШІ показує, як це зробити. Звертайте увагу й на перебивання: як часто агент говорив поверх абонента і як часто змушував його чекати?

Ручний перегляд чи автоматичне оцінювання

Як обрати метод

Ручний переглядАвтоматичне оцінювання
Сильна сторонаРозуміє нюанси, тон і контекстШвидко охоплює кожен дзвінок
Слабка сторонаПовільно; лише вибіркаМоже пропустити тонкі проблеми чи помилитися в оцінці
Найкраще дляТочності, безпеки й досвіду абонентаПозначення дзвінків, які варто переглянути людині

Автоматичне оцінювання, зокрема моделі, що оцінюють інші моделі, корисне для сортування: воно може ранжувати дзвінки за ознаками проблем, щоб люди першими переглядали потрібні. Воно не повинно замінювати вибірковий перегляд людиною, особливо щодо точності й безпеки. Хоч яку автоматичну перевірку ви використовуєте, протестуйте її, порівнявши її висновки з вашими на наборі вже переглянутих дзвінків.

Як розумно читати цифри

Малі вибірки вводять в оману. Якщо ви переглянули десять дзвінків і два пройшли погано, не можна стверджувати, що погано проходить кожен п'ятий дзвінок; можна лише сказати, що ви знайшли дві проблеми, які варто виправити. Використовуйте вибірки, щоб знаходити причини, а не оголошувати частки, якщо вибірка не досить велика й випадкова, щоб це підтвердити.

Відокремлюйте агента від обставин. Падіння виконання завдань у тиждень, коли був збій сервісу, — не вирок промпту. Записуйте події поруч із метриками: нові години роботи, кампанію, після якої абоненти телефонували з новим запитанням, зміну джерел. Простий журнал змін робить тенденції зрозумілими.

І нарешті, заздалегідь вирішіть, що робитимете з кожним результатом. Зростання повторів може привести вас до налаштувань тиші; зростання передавань з однієї теми — до додавання точної відповіді на неї. Метрика без пов'язаної дії — лише прикраса.

Діліться результатами не лише з керівниками, а й з тими, хто відповідає на дзвінки. Працівники часто знають, чому виникає певна закономірність, і саме вони прийматимуть дзвінки, які передає агент. Короткий щомісячний перегляд із прикладами, зокрема кількома вдалими дзвінками, тримає роботу прив'язаною до справжніх розмов.

Оцінювання в Call

У Call історія ШІ-дзвінків показує дзвінки за період із результатом і, якщо відомо, тональністю та відкриває всю розмову репліка за реплікою. Керівники можуть відкрити дзвінок і побачити, скільки тривала кожна репліка. Розділ автоматичного перегляду групує нещодавні дзвінки за темами, ранжує нещодавні дзвінки без перегляду людиною за наявними ознаками й пропонує вибірку ШІ-резюме, які ви позначаєте як точні, часткові чи неправильні, — з цього формується поточна картина точності резюме. Розділ розмовного ШІ також дає змогу шукати фразу в усіх збережених розшифровках. Разом це дає потрібні вам підрахунки й вибірки. Історія правок показує виправлення, внесені у формулювання агента.

Щотижневий чек-лист оцінювання

  • Прочитайте фіксовану вибірку дзвінків — випадкових і незвичних
  • Оцініть виконання завдань і точність
  • Порахуйте передавання й запишіть, чому вони сталися
  • Перевірте найдовші паузи перед відповіддю
  • Шукайте в розшифровках фрази, що свідчать про плутанину
  • Записуйте кожну проблему й внесене виправлення
  • Повторно протестуйте виправлені випадки, перш ніж їх закривати

Часті запитання

Яка метрика голосового агента найкорисніша?

Єдиної немає. Виконання завдання показує, чи отримали абоненти потрібне, але щоб зрозуміти чому, потрібні також точність, якість передавання й таймінг.

Скільки дзвінків мені переглядати?

Фіксована щотижнева вибірка, яку ви здатні підтримувати, краща за епізодичну велику. Почніть зі скромної кількості й збільшуйте її після змін під час запуску чи коли з'являються проблеми.

Чи можна покладатися лише на автоматичне оцінювання?

Не щодо точності чи безпеки. Використовуйте його, щоб ранжувати й позначати дзвінки, а потім доручайте людям переглянути позначені й випадкову вибірку.

Чому розшифровки іноді не збігаються із записом?

Розшифровку створює система розпізнавання мовлення, і вона може містити помилки. Прослухайте звук, перш ніж оцінювати агента.

Як зрозуміти, чи зміна щось покращила?

Тримайте фіксований набір тестових випадків і регулярний порядок перегляду, а потім порівнюйте результати до і після зміни за тими самими критеріями.

Чи варто опитувати абонентів?

Коротке запитання після дзвінка може додати корисної інформації, але робіть його стислим і дотримуйтеся правил щодо зв'язку з людьми. Поєднуйте його з власним переглядом розмови.

Переглядайте ШІ-розмови в історії дзвінків Call

У демоконсолі можна випробувати вхідні дзвінки в симуляції.

Схожі посібники

Технології голосового ШІ

Промпти для кращих резюме дзвінків: шаблони й тести

Як написати промпт, що перетворює розшифровку дзвінка на коротку точну нотатку: для кого вона, що включати, правила проти вигадок і як це протестувати.

Редакція Call ·
Технології голосового ШІ

Аналіз тональності дзвінків: користь, межі й відповідальність

Що вимірює аналіз тональності дзвінків, де він допомагає сортувати й бачити тенденції, де вводить в оману і як уникнути несправедливих автоматичних рішень.

Редакція Call ·
Технології голосового ШІ

Основи SIP-транкінгу: як бізнес-дзвінки передаються через інтернет

Що таке SIP-транк, чим він відрізняється від традиційних телефонних ліній, що перевірити щодо кодеків, каналів і резервування та як обрати провайдера.

Редакція Call ·
Технології голосового ШІ

Моделі speech-to-speech і каскадні голосові конвеєри: порівняння

Два способи побудувати телефонного голосового агента: моделі speech-to-speech і каскадні конвеєри. Сильні й слабкі сторони кожного та як обрати за допомогою тестів.

Редакція Call ·