Технологии голосового ИИ

Как оценивать разговоры голосового агента: метрики и разборы

Практичный способ оценить телефонного голосового агента: какие метрики отслеживать, как делать выборку и оценивать звонки и как превращать выводы в исправления.

Редакция Call · Опубликовано · Читать 5 мин

Когда голосовой агент начинает отвечать на реальные звонки, вопрос меняется с «работает ли он» на «хорошо ли он работает». Многие команды отвечают на него смутным впечатлением от нескольких звонков. Немного структуры даёт гораздо лучшую информацию и подсказывает, что исправлять дальше.

Руководитель группы обсуждает с коллегой заметки о качестве звонков
Иллюстрация

В этом руководстве предлагается простой подход к оценке телефонного голосового агента: какие метрики отслеживать, как разбирать звонки вручную и как превращать выводы в улучшения. Оно опирается на статью «Тестирование голосового ИИ-агента» и общие показатели из статьи «KPI колл-центра».

Начните с того, что для вас значит «хорошо»

Хороший звонок для ресторана — не то же самое, что хороший звонок для клиники. Прежде чем выбирать метрики, запишите в одном-двух предложениях, как выглядит успешный звонок для каждого ожидаемого типа звонков: на вопрос звонящего дан ответ, сообщение принято с правильными данными или звонящий попал к нужному человеку. Всё остальное следует из этих определений.

Пять вопросов любой оценки

  • Поняли ли звонящего?Правильно ли агент расслышал вопрос и данные?
  • Был ли ответ верным?Был ли он точным, в рамках утверждённой информации и без выдумок?
  • Пришёл ли звонок к полезному итогу?Выполнена ли задача, принято ли сообщение или звонок передан?
  • Был ли опыт приемлемым?Темп, тон, повторы и усилия звонящего.
  • Было ли это безопасно?Соблюдал ли агент свои границы и передавал ли звонок, когда следовало?

Метрики, которые стоит отслеживать

МетрикаО чём говоритКак получить
Выполнение задачиДоля звонков, где цель звонящего достигнутаРазбор выборки людьми плюс результаты звонков
Точность ответовСовпадали ли утверждения с утверждённой информациейРазбор людьми по вашим источникам
Доля передачКак часто звонящие просят человека или он им нуженРезультаты звонков и запросы в службе поддержки
Доля повторовКак часто агент просил звонящего повторитьРазбор расшифровок
Пауза перед ответомВремя между концом реплики звонящего и ответом агентаВремя каждой реплики в истории звонков
Доля брошенных звонковЗвонящие, повесившие трубку до результатаЖурнал звонков
Отзывы звонящихКак люди восприняли звонокКороткие опросы или последующие комментарии

Обратите внимание: большинство полезных показателей требует человеческого суждения. Подсчёты из журнала говорят «сколько», но только человек, прочитавший разговор, может сказать, хорошо ли прошёл звонок. Будьте готовы сочетать и то и другое. Показатели, применимые к любым звонкам, описаны в статьях «Решение с первого обращения» и «Доля отвеченных и брошенных звонков».

Разбор звонков вручную

Небольшая регулярная выборка лучше редкого большого разбора. Выбирайте звонки случайно, плюс несколько необычных: очень коротких или очень длинных, закончившихся передачей человеку и тех, где звонящий повесил трубку.

Порядок разбора звонков

  1. ВыборкаКаждую неделю выбирайте фиксированное число звонков, сочетая случайные и необычные.
  2. Слушайте и читайтеВоспроизводите запись и одновременно читайте расшифровку.
  3. ОценивайтеОценивайте каждый звонок по вашим критериям по простой шкале.
  4. Фиксируйте причиныЗаписывайте, почему что-то пошло не так.
  5. Исправляйте и перепроверяйтеМеняйте источник, промпт или настройку, затем снова проверяйте тот же случай.

Оценивайте просто

Трёх уровней достаточно: «хорошо», «приемлемо» и «плохо» или, для отдельных утверждений, «точно», «частично» и «неверно». Детальные шкалы порождают споры, не добавляя понимания. Время от времени просите двух человек оценить несколько одних и тех же звонков; если они часто расходятся, критерии нужно сформулировать чётче.

Помните, что расшифровки бывают ошибочными

Расшифровка — это догадка распознавателя, а не истина. Если расшифровка выглядит странно, прослушайте аудио, прежде чем винить агента. См. статью «Почему телефонный звук труден для распознавания речи».

Измерение скорости и ритма

Задержку звонящие замечают сильнее почти любого другого фактора. Отслеживайте паузу перед каждым ответом и смотрите на худшие случаи, а не только на среднее: несколько очень долгих пауз портят впечатление. Если паузы длинные, разберите, куда уходит время; как это сделать, показано в статье «Задержка голосового ИИ». Обращайте внимание и на перебивания: как часто агент говорил поверх звонящего и как часто заставлял его ждать?

Ручная проверка или автоматическая оценка

Выбор метода

Разбор вручнуюАвтоматическая оценка
Сильная сторонаПонимает нюансы, тон и контекстБыстро охватывает все звонки
Слабая сторонаМедленно; только выборкаМожет пропускать тонкие проблемы или ошибаться в оценке
Лучше всего дляТочности, безопасности и опыта звонящихОтбора звонков, которые стоит посмотреть человеку

Автоматическая оценка, включая модели, оценивающие другие модели, полезна для сортировки: она может ранжировать звонки по признакам проблем, чтобы люди в первую очередь смотрели нужные. Она не должна заменять выборочный разбор людьми, особенно в вопросах точности и безопасности. Какую бы автоматическую проверку вы ни использовали, проверьте её саму, сравнив её вердикты со своими на наборе уже разобранных звонков.

Как здраво читать цифры

Малые выборки вводят в заблуждение. Если вы разобрали десять звонков и два прошли плохо, нельзя утверждать, что плохо проходит каждый пятый звонок; можно лишь сказать, что вы нашли две проблемы, которые стоит исправить. Используйте выборки, чтобы находить причины, а не объявлять доли, если только выборка не достаточно велика и случайна.

Отделяйте агента от обстоятельств. Падение доли выполненных задач в неделю сбоя сервиса — не приговор промпту. Отмечайте события рядом с метриками: новые часы работы, кампанию, после которой звонящие пришли с новым вопросом, изменение источников. Простой журнал изменений делает тенденции объяснимыми.

Наконец, заранее решите, что вы будете делать с каждым результатом. Рост повторов может подтолкнуть вас посмотреть настройки тишины; рост передач по одной теме — добавить для неё точный ответ. Метрика без связанного действия — просто украшение.

Делитесь результатами не только с руководителями, но и с теми, кто отвечает на звонки. Сотрудники часто знают, почему возникает та или иная закономерность, и именно они принимают звонки, которые передаёт агент. Короткий ежемесячный разбор с примерами, включая несколько удачных звонков, удерживает работу в связи с реальными разговорами.

Оценка в Call

В Call история ИИ-звонков показывает звонки за период с результатом и, если она известна, тональностью и открывает весь разговор реплика за репликой. Руководители могут открыть звонок и посмотреть, сколько длилась каждая реплика. Раздел автоматического разбора группирует недавние звонки по темам, ранжирует недавние звонки без разбора человеком по имеющимся в них сигналам и предлагает выборку ИИ-резюме, которые вы отмечаете как точные, частично точные или неверные, — так складывается текущая картина точности резюме. Раздел разговорного ИИ также позволяет искать фразу по всем сохранённым расшифровкам. Вместе это даёт и подсчёты, и выборки. Исправления формулировок агента можно посмотреть в истории правок.

Еженедельный чек-лист оценки

  • Прочитать фиксированную выборку звонков, случайных и необычных
  • Оценить выполнение задач и точность
  • Посчитать передачи человеку и отметить их причины
  • Проверить самые долгие паузы перед ответом
  • Поискать в расшифровках фразы, указывающие на растерянность
  • Записать каждую проблему и сделанное исправление
  • Перепроверить исправленные случаи, прежде чем их закрыть

Частые вопросы

Какая метрика для голосового агента самая полезная?

Единственной нет. Выполнение задачи показывает, получили ли звонящие нужное, но чтобы понять почему, нужны также точность, качество передачи и время ответа.

Сколько звонков нужно разбирать?

Фиксированная еженедельная выборка, которую вы в состоянии поддерживать, лучше редкой большой. Начните со скромного числа и увеличивайте его после изменений при запуске или при появлении проблем.

Можно ли полагаться только на автоматическую оценку?

Не в вопросах точности и безопасности. Используйте её, чтобы ранжировать и отмечать звонки, а затем пусть люди разбирают отмеченные и случайную выборку.

Почему расшифровки иногда расходятся с записью?

Расшифровку создаёт распознавание речи, и в ней могут быть ошибки. Прослушайте аудио, прежде чем оценивать агента.

Как понять, улучшило ли изменение ситуацию?

Держите фиксированный набор тестовых случаев и регулярный порядок разбора, а затем сравнивайте результаты до и после изменения по тем же критериям.

Стоит ли опрашивать звонящих?

Короткий вопрос после звонка может дать полезную информацию, но делайте его кратким и соблюдайте правила связи с людьми. Дополняйте его собственным разбором разговора.

Разбирайте ИИ-разговоры в истории звонков Call

В демо-консоли можно попробовать входящие звонки в режиме симуляции.

Похожие руководства

Технологии голосового ИИ

Промпты для качественных резюме звонков: шаблоны и проверка

Как написать промпт, превращающий расшифровку звонка в короткую точную заметку: для кого она, что в неё включать, правила против выдумок и как её проверить.

Редакция Call ·
Технологии голосового ИИ

Анализ тональности звонков: применение, ограничения, ответственность

Что измеряет анализ тональности звонков, где он помогает с сортировкой и трендами, где вводит в заблуждение и как избежать несправедливых автоматических решений.

Редакция Call ·
Технологии голосового ИИ

SIP-транк: как деловые звонки идут через интернет

Что такое SIP-транк, чем он отличается от обычных телефонных линий, что проверить по кодекам, каналам и резервированию и как выбрать провайдера.

Редакция Call ·
Технологии голосового ИИ

Модели speech-to-speech и каскадные голосовые конвейеры: сравнение

Два способа построить телефонного голосового агента: модели speech-to-speech и каскадные конвейеры. Сильные и слабые стороны и как выбрать по результатам тестов.

Редакция Call ·