Як оцінювати розмови голосового агента: метрики й перегляд
Практичний спосіб оцінити телефонного голосового агента: які метрики відстежувати, як робити вибірку й оцінювати дзвінки і як перетворювати висновки на виправлення.
Коли голосовий агент уже відповідає на справжні дзвінки, запитання змінюється з «чи він працює?» на «чи він працює добре?». Багато команд відповідають на нього розмитим враженням від кількох дзвінків. Трохи структури дає значно кращу інформацію й підказує, що виправляти далі.

Цей посібник пропонує простий підхід до оцінювання телефонного голосового агента: які метрики відстежувати, як переглядати дзвінки вручну і як перетворювати висновки на покращення. Він спирається на матеріал Як протестувати голосового ШІ-агента і загальні показники з матеріалу KPI кол-центру.
Почніть із того, що для вас означає «добре»
Вдалий дзвінок для ресторану — не те саме, що вдалий дзвінок для клініки. Перш ніж обирати метрики, одним-двома реченнями запишіть, як виглядає успішний дзвінок кожного очікуваного типу: на запитання абонента відповіли, повідомлення прийнято з правильними даними або абонент потрапив до потрібної людини. Усе інше випливає з цих визначень.
П'ять запитань будь-якого оцінювання
- Чи зрозуміли абонента?Чи правильно агент почув запитання й подробиці?
- Чи правильна відповідь?Чи була вона точною, у межах затвердженої інформації та без вигадок?
- Чи дійшов дзвінок до корисного завершення?Чи виконано завдання, прийнято повідомлення чи передано розмову?
- Чи прийнятний досвід?Темп, тон, повтори й зусилля абонента.
- Чи це було безпечно?Чи дотримався агент своїх меж і чи передав розмову, коли мав?
Метрики, які варто відстежувати
| Метрика | Що вона показує | Як її отримати |
|---|---|---|
| Виконання завдання | Частка дзвінків, у яких мету абонента досягнуто | Перегляд вибірки людиною плюс результати дзвінків |
| Точність відповідей | Чи відповідали твердження затвердженій інформації | Перегляд людиною з порівнянням із вашими джерелами |
| Частка передавань | Як часто абоненти просять людину чи потребують її | Результати дзвінків і запити в службі підтримки |
| Частка повторів | Як часто агент просив абонента сказати щось ще раз | Перегляд розшифровок |
| Пауза перед відповіддю | Час між кінцем репліки абонента й відповіддю агента | Таймінг кожної репліки в історії дзвінків |
| Частка покинутих дзвінків | Абоненти, які кладуть слухавку до результату | Журнал дзвінків |
| Відгуки абонентів | Як люди сприйняли дзвінок | Короткі опитування чи коментарі після дзвінка |
Зверніть увагу: більшість корисних показників потребують людського судження. Підрахунки з журналу кажуть, скільки, але лише людина, що читає розмову, може сказати, чи дзвінок пройшов добре. Розраховуйте на поєднання обох підходів. Показники, що стосуються будь-яких дзвінків, описують матеріали Вирішення з першого дзвінка і Частка відповідей і частка покинутих дзвінків.
Перегляд дзвінків вручну
Невелика регулярна вибірка краща за епізодичний великий перегляд. Обирайте дзвінки випадково, а також кілька незвичних: дуже короткі чи дуже довгі, дзвінки, що завершилися передаванням, і ті, де абонент поклав слухавку.
Порядок перегляду дзвінків
- ВибіркаЩотижня обирайте фіксовану кількість дзвінків, поєднуючи випадкові й незвичні.
- Слухайте й читайтеПрогравайте запис і читайте розшифровку разом.
- ОцінкаОцініть кожен дзвінок за вашими критеріями за простою шкалою.
- ПричиниЗапишіть, чому щось пішло не так.
- Виправлення й повторний тестЗмініть джерело, промпт чи налаштування, а потім повторно протестуйте той самий випадок.
Тримайте оцінювання простим
Трьох рівнів достатньо: добре, прийнятно й погано, або для окремих тверджень — точно, частково й неправильно. Дрібні шкали породжують суперечки, не додаючи розуміння. Час від часу давайте двом людям оцінити кілька тих самих дзвінків; якщо вони часто не погоджуються, ваші критерії потребують чіткіших формулювань.
Пам'ятайте, що розшифровки можуть помилятися
Розшифровка — це здогадка системи розпізнавання, а не істина. Якщо розшифровка виглядає дивно, прослухайте звук, перш ніж звинувачувати агента. Дивіться матеріал Чому телефонний звук складний для розпізнавання мовлення.
Вимірювання швидкості й ритму
Абоненти помічають затримку більше, ніж майже будь-що інше. Відстежуйте паузу перед кожною відповіддю й дивіться на найгірші випадки, а не лише на середнє, бо кілька дуже довгих пауз псують враження. Якщо паузи довгі, розкладіть, куди йде час; матеріал Затримка голосового ШІ показує, як це зробити. Звертайте увагу й на перебивання: як часто агент говорив поверх абонента і як часто змушував його чекати?
Ручний перегляд чи автоматичне оцінювання
Як обрати метод
| Ручний перегляд | Автоматичне оцінювання | |
|---|---|---|
| Сильна сторона | Розуміє нюанси, тон і контекст | Швидко охоплює кожен дзвінок |
| Слабка сторона | Повільно; лише вибірка | Може пропустити тонкі проблеми чи помилитися в оцінці |
| Найкраще для | Точності, безпеки й досвіду абонента | Позначення дзвінків, які варто переглянути людині |
Автоматичне оцінювання, зокрема моделі, що оцінюють інші моделі, корисне для сортування: воно може ранжувати дзвінки за ознаками проблем, щоб люди першими переглядали потрібні. Воно не повинно замінювати вибірковий перегляд людиною, особливо щодо точності й безпеки. Хоч яку автоматичну перевірку ви використовуєте, протестуйте її, порівнявши її висновки з вашими на наборі вже переглянутих дзвінків.
Як розумно читати цифри
Малі вибірки вводять в оману. Якщо ви переглянули десять дзвінків і два пройшли погано, не можна стверджувати, що погано проходить кожен п'ятий дзвінок; можна лише сказати, що ви знайшли дві проблеми, які варто виправити. Використовуйте вибірки, щоб знаходити причини, а не оголошувати частки, якщо вибірка не досить велика й випадкова, щоб це підтвердити.
Відокремлюйте агента від обставин. Падіння виконання завдань у тиждень, коли був збій сервісу, — не вирок промпту. Записуйте події поруч із метриками: нові години роботи, кампанію, після якої абоненти телефонували з новим запитанням, зміну джерел. Простий журнал змін робить тенденції зрозумілими.
І нарешті, заздалегідь вирішіть, що робитимете з кожним результатом. Зростання повторів може привести вас до налаштувань тиші; зростання передавань з однієї теми — до додавання точної відповіді на неї. Метрика без пов'язаної дії — лише прикраса.
Діліться результатами не лише з керівниками, а й з тими, хто відповідає на дзвінки. Працівники часто знають, чому виникає певна закономірність, і саме вони прийматимуть дзвінки, які передає агент. Короткий щомісячний перегляд із прикладами, зокрема кількома вдалими дзвінками, тримає роботу прив'язаною до справжніх розмов.
Оцінювання в Call
У Call історія ШІ-дзвінків показує дзвінки за період із результатом і, якщо відомо, тональністю та відкриває всю розмову репліка за реплікою. Керівники можуть відкрити дзвінок і побачити, скільки тривала кожна репліка. Розділ автоматичного перегляду групує нещодавні дзвінки за темами, ранжує нещодавні дзвінки без перегляду людиною за наявними ознаками й пропонує вибірку ШІ-резюме, які ви позначаєте як точні, часткові чи неправильні, — з цього формується поточна картина точності резюме. Розділ розмовного ШІ також дає змогу шукати фразу в усіх збережених розшифровках. Разом це дає потрібні вам підрахунки й вибірки. Історія правок показує виправлення, внесені у формулювання агента.
Щотижневий чек-лист оцінювання
- Прочитайте фіксовану вибірку дзвінків — випадкових і незвичних
- Оцініть виконання завдань і точність
- Порахуйте передавання й запишіть, чому вони сталися
- Перевірте найдовші паузи перед відповіддю
- Шукайте в розшифровках фрази, що свідчать про плутанину
- Записуйте кожну проблему й внесене виправлення
- Повторно протестуйте виправлені випадки, перш ніж їх закривати
Часті запитання
Яка метрика голосового агента найкорисніша?
Єдиної немає. Виконання завдання показує, чи отримали абоненти потрібне, але щоб зрозуміти чому, потрібні також точність, якість передавання й таймінг.
Скільки дзвінків мені переглядати?
Фіксована щотижнева вибірка, яку ви здатні підтримувати, краща за епізодичну велику. Почніть зі скромної кількості й збільшуйте її після змін під час запуску чи коли з'являються проблеми.
Чи можна покладатися лише на автоматичне оцінювання?
Не щодо точності чи безпеки. Використовуйте його, щоб ранжувати й позначати дзвінки, а потім доручайте людям переглянути позначені й випадкову вибірку.
Чому розшифровки іноді не збігаються із записом?
Розшифровку створює система розпізнавання мовлення, і вона може містити помилки. Прослухайте звук, перш ніж оцінювати агента.
Як зрозуміти, чи зміна щось покращила?
Тримайте фіксований набір тестових випадків і регулярний порядок перегляду, а потім порівнюйте результати до і після зміни за тими самими критеріями.
Чи варто опитувати абонентів?
Коротке запитання після дзвінка може додати корисної інформації, але робіть його стислим і дотримуйтеся правил щодо зв'язку з людьми. Поєднуйте його з власним переглядом розмови.