Работа с Call

Тренировочные звонки: проверка ИИ-агента перед запуском

Как смоделированные тренировочные звонки помогают проверить ИИ-агента на сложных случаях, как читать оценки и уроки и как превращать выводы в исправления.

Редакция Call · Опубликовано · Читать 5 мин

Любая команда, которая обучала новых сотрудников, знает: первая неделя на телефоне — самая рискованная. Новичок знает регламенты, но ещё не встречал собеседника, который его перебивает, того, кто меняет тему на полуслове, или того, кто просто ищет виноватого. Хорошие команды отрабатывают такие моменты в ролевых играх до реальной работы.

Руководитель группы перед запуском изучает оценки и расшифровки звонков на мониторе
Иллюстрация

ИИ-агенту для звонков нужна такая же репетиция, и её можно провести гораздо больше и гораздо быстрее. В этом руководстве объясняется, как спланировать тренировки, как читать результаты и как возвращать уроки в работу. Оно опирается на материалы о настройке ИИ-агента и о написании эффективных промптов.

Зачем тренироваться до запуска

Первые реальные звонки формируют мнение клиентов обо всём сервисе. Агент, который неправильно расслышал имя, перебивает собеседника или выдумывает ответ, обходится дороже пропущенного звонка: у клиента появляется история, которую он будет рассказывать. Тренировки выявляют такие проблемы, пока единственная аудитория — ваша собственная команда.

Тренировка — не доказательство. Хорошая оценка на смоделированных собеседниках не означает, что реальные будут вести себя так же, а поведение голоса в живом звонке может отличаться от симуляции. Считайте хороший результат разрешением осторожно попробовать реальные звонки, а не сертификатом.

Что проверять

Ценность серии зависит от ситуаций, которые она охватывает. Сознательно сочетайте простые и сложные случаи.

Сценарии, выявляющие слабые места

  • ПеребиванияСобеседник перебивает агента. Агент останавливается и слушает или продолжает говорить?
  • Смена языкаСобеседник начинает на одном языке и переходит на другой. Следует ли за ним агент?
  • Просьба соединить с человекомСобеседник говорит: «Соедините меня с сотрудником». Понятна ли и быстра ли передача?
  • Вопросы о ценеСобеседник спрашивает, сколько это стоит. Отвечает ли агент только то, что знает, и не гадает ли?
  • ЖалобыРасстроенный собеседник. Сохраняет ли агент спокойствие и предлагает ли следующий шаг?
  • Повседневные вопросыВопросы из базы знаний самого агента. Верны ли ответы и коротки ли они?

Баланс важен. Серия только из сложных случаев всегда будет выглядеть плохо и мало расскажет о повседневной работе; серия только из простых вопросов приукрасит агента, который не справляется под давлением. Сочетание обоих видов обычно даёт самый информативный старт.

Запуск серии тренировочных звонков в Call

В Call тренировки находятся в разделе «ИИ-агенты» → «Чему он научился» на вкладке «Тренировочные звонки». ИИ-собеседники звонят вашим ИИ-агентам в режиме симуляции на японском и английском языках, и каждый звонок оценивается. Вы выбираете агентов (до десяти одновременно; агент, который пока не может принимать звонки, отображается серым), число звонков на японском и английском для каждого (от нуля до двадцати пяти на каждом языке) и набор сценариев.

Набор сценариевЧто охватываетКогда использовать
СбалансированныйКаждый сложный случай по одному разу, остальное — вопросы из базы знаний агентаВы впервые тестируете нового агента
База знанийТолько вопросы на основе того, что знает агентВы изменили его знания и хотите проверить точность
Пограничные случаиТолько сложные случаиВы изменили правила поведения или промпт

Запуск серии

  1. Откройте «Тренировочные звонки»Перейдите в «ИИ-агенты», затем «Чему он научился», затем «Тренировочные звонки».
  2. Выберите агентов и количествоОтметьте агентов и задайте число звонков на каждом языке.
  3. Выберите набор«Сбалансированный», «База знаний» или «Пограничные случаи».
  4. Запустите сериюЧисло рядом с кнопкой — итоговое количество: агенты, умноженные на звонки на обоих языках.
  5. Следите за ходомСписок обновляется сам; откройте серию, чтобы увидеть оценки и результаты звонков.

Кнопка запуска остаётся неактивной при нуле звонков или при общем числе свыше трёхсот, поэтому крупные тесты проводятся частями. Ожидающую или выполняющуюся серию можно отменить: ещё не начатые звонки отменяются, а уже идущий звонок завершается. Для серии можно включить голос — тогда у каждой реплики появляется кнопка воспроизведения, а звук создаётся только при её нажатии.

Как читать результаты

Откройте завершённую серию и начните со сводки, а не с отдельной расшифровки. Итоги показывают число выполненных звонков, среднюю оценку, исправленные ответы, вопросы, требующие ответа, и советы по стилю. Ниже — оценка по критериям, главные проблемы со средним баллом каждого агента и таблица звонков со сценарием, языком, оценкой и отметками.

  1. По оценке по критериям найдите самую слабую область.
  2. Прочитайте главные проблемы; если одна из них встречается у разных агентов, скорее всего, дело в общем промпте или правиле.
  3. Отсортируйте звонки по оценке и полностью прочитайте три худшие расшифровки.
  4. Читайте комментарий оценщика к каждому ответу, а не только итоговую оценку.
  5. Сравните языки: разрыв может означать, что одному языку нужны собственные формулировки.

Применение уроков

Тренировки порождают уроки, и они ждут вашей проверки, а не меняют агента автоматически. Каждый урок можно применить или отклонить. Исправленные ответы и вопросы, требующие ответа, также ждут в разделе «Предложения». Так задумано: чему должен научиться агент, решает человек.

Проверка уроков

  • Соответствует ли урок вашим правилам и тону
  • Действительно ли исправленный ответ верен, а не просто правдоподобен
  • Относится ли он ко всем собеседникам или только к этому сценарию
  • Не противоречат ли два урока друг другу
  • Не нужна ли агенту новая запись в базе знаний вместо изменения промпта

После внесения изменений снова запустите небольшую серию и сравните. По возможности меняйте что-то одно за раз, иначе вы не узнаете, какое изменение помогло. О том, где место фактическим ответам, читайте в материале об источниках знаний.

Разумная периодичность тренировок

Тренировки приносят больше всего пользы, когда становятся привычкой, а не разовым мероприятием. Привязывайте серии к моментам, когда что-то меняется.

МоментЧто запускатьНа что смотреть
Новый агент перед запускомСбалансированную серию на каждом языке, на котором вы обслуживаете клиентовСлабые критерии, поведение при передаче звонка
После изменения промпта или правилаСерию пограничных случаевУстранило ли изменение проблему, не сломав что-то другое
После пополнения знанийСерию по базе знанийВерные и краткие ответы без выдуманных фактов
Перед напряжённым периодомСбалансированную серию на линиях, которые будут наиболее загруженыСтабильность при типичном наборе вопросов
После проблемы в реальном звонкеСерию, воспроизводящую сбойРаботает ли исправление

Ведите краткий журнал: дата, что вы изменили, какую серию запустили и главный результат. Через несколько месяцев эта история покажет, какие изменения помогли, и убережёт от повторения уже неудачного эксперимента.

Гипотетическая клиника могла бы запустить сбалансированную серию для агента регистратуры перед открытием новой линии, серию пограничных случаев после добавления правила о срочных симптомах и серию по базе знаний при каждом изменении часов работы или услуг. Три небольшие серии, запущенные в нужный момент, скажут больше, чем один огромный тест.

За пределами симуляции

Симуляция — это репетиция. Перед запуском также сделайте реальный тестовый звонок на собственный телефон и послушайте агента так, как его услышит клиент. Запускайтесь осторожно: начните с линии с низким риском или с ограниченных часов, сохраните простой путь к человеку (см. материал о передаче звонка сотруднику) и ежедневно слушайте первые реальные звонки. Для операторов-людей действует та же идея; о репетициях и обратной связи с сотрудниками читайте в материале о системе коучинга.

Частые вопросы

Тренировочные звонки — это настоящие телефонные звонки?

Это смоделированные звонки, в которых ИИ-собеседники звонят вашим ИИ-агентам. Чтобы услышать агента на реальной линии, сделайте отдельный тестовый звонок на свой телефон.

Можно ли тренироваться на нескольких языках?

Инструмент тренировок проводит смоделированные звонки на японском и английском языках. Задайте, сколько звонков на каждом языке нужно для каждого агента.

Сколько звонков запускать?

Начните с малого — по несколько звонков на каждый сценарий для каждого агента — и внимательно изучите результаты. Увеличивайте объём только при наличии причины, например чтобы проверить изменение на разных языках.

Меняют ли уроки агента автоматически?

Нет. Уроки ждут вашей проверки. Вы применяете те, с которыми согласны, и отклоняете остальные.

О чём говорит оценка?

Она показывает, как прошёл смоделированный звонок по критериям, с комментариями оценщика к каждому ответу. Это доказательство, но реальные собеседники всё равно могут вести себя иначе.

Что, если агент отображается серым?

Агент, который пока не может принимать звонки, помечается как недоступный и не может быть выбран. Сначала завершите его настройку.

Запустите серию тренировочных звонков для ИИ-агента в Call

В демо-консоли можно попробовать входящие звонки в режиме симуляции.

Похожие руководства

Работа с Call

Статусы операторов в Call: доступен, перерыв и «не беспокоить»

Статусы операторов в Call: что они означают, кто и как их меняет, как работает автоматический перерыв и какие привычки делают очереди и перерывы справедливыми.

Редакция Call ·
Работа с Call

Передача звонка от ИИ-агента сотруднику: руководство

Как выстроить чёткую передачу звонка от ИИ-агента команде: когда передавать, кому звонить, тёплый или холодный перевод, нерабочее время и дальнейшие действия.

Редакция Call ·
Работа с Call

Как выбрать и проверить ИИ-голос для телефонной линии

Как подобрать ИИ-голос под ваших клиентов, сравнить образцы, настроить темп и произношение, задать голос для линии и проверить его до запуска.

Редакция Call ·
Работа с Call

Экраны аналитики в Call: отчёты, табло и голосовая аналитика

Обзор аналитики Call: плитки главной страницы, вкладки отчётов, табло, аналитика администратора и голосовая аналитика — и вопрос, на который отвечает каждый экран.

Редакция Call ·