Тренировочные звонки: проверка ИИ-агента перед запуском
Как смоделированные тренировочные звонки помогают проверить ИИ-агента на сложных случаях, как читать оценки и уроки и как превращать выводы в исправления.
Любая команда, которая обучала новых сотрудников, знает: первая неделя на телефоне — самая рискованная. Новичок знает регламенты, но ещё не встречал собеседника, который его перебивает, того, кто меняет тему на полуслове, или того, кто просто ищет виноватого. Хорошие команды отрабатывают такие моменты в ролевых играх до реальной работы.

ИИ-агенту для звонков нужна такая же репетиция, и её можно провести гораздо больше и гораздо быстрее. В этом руководстве объясняется, как спланировать тренировки, как читать результаты и как возвращать уроки в работу. Оно опирается на материалы о настройке ИИ-агента и о написании эффективных промптов.
Зачем тренироваться до запуска
Первые реальные звонки формируют мнение клиентов обо всём сервисе. Агент, который неправильно расслышал имя, перебивает собеседника или выдумывает ответ, обходится дороже пропущенного звонка: у клиента появляется история, которую он будет рассказывать. Тренировки выявляют такие проблемы, пока единственная аудитория — ваша собственная команда.
- Охват. В одной серии можно проверить десятки звонков, включая необычные, которые могут не встретиться в первые недели.
- Повторяемость. После изменения промпта запустите серию того же типа и сравните.
- Безопасность. Ошибки не стоят ничего, потому что реальные клиенты их не видят.
- Доказательства. Оценки и отметки дают предмет для обсуждения, помимо мнений.
Тренировка — не доказательство. Хорошая оценка на смоделированных собеседниках не означает, что реальные будут вести себя так же, а поведение голоса в живом звонке может отличаться от симуляции. Считайте хороший результат разрешением осторожно попробовать реальные звонки, а не сертификатом.
Что проверять
Ценность серии зависит от ситуаций, которые она охватывает. Сознательно сочетайте простые и сложные случаи.
Сценарии, выявляющие слабые места
- ПеребиванияСобеседник перебивает агента. Агент останавливается и слушает или продолжает говорить?
- Смена языкаСобеседник начинает на одном языке и переходит на другой. Следует ли за ним агент?
- Просьба соединить с человекомСобеседник говорит: «Соедините меня с сотрудником». Понятна ли и быстра ли передача?
- Вопросы о ценеСобеседник спрашивает, сколько это стоит. Отвечает ли агент только то, что знает, и не гадает ли?
- ЖалобыРасстроенный собеседник. Сохраняет ли агент спокойствие и предлагает ли следующий шаг?
- Повседневные вопросыВопросы из базы знаний самого агента. Верны ли ответы и коротки ли они?
Баланс важен. Серия только из сложных случаев всегда будет выглядеть плохо и мало расскажет о повседневной работе; серия только из простых вопросов приукрасит агента, который не справляется под давлением. Сочетание обоих видов обычно даёт самый информативный старт.
Запуск серии тренировочных звонков в Call
В Call тренировки находятся в разделе «ИИ-агенты» → «Чему он научился» на вкладке «Тренировочные звонки». ИИ-собеседники звонят вашим ИИ-агентам в режиме симуляции на японском и английском языках, и каждый звонок оценивается. Вы выбираете агентов (до десяти одновременно; агент, который пока не может принимать звонки, отображается серым), число звонков на японском и английском для каждого (от нуля до двадцати пяти на каждом языке) и набор сценариев.
| Набор сценариев | Что охватывает | Когда использовать |
|---|---|---|
| Сбалансированный | Каждый сложный случай по одному разу, остальное — вопросы из базы знаний агента | Вы впервые тестируете нового агента |
| База знаний | Только вопросы на основе того, что знает агент | Вы изменили его знания и хотите проверить точность |
| Пограничные случаи | Только сложные случаи | Вы изменили правила поведения или промпт |
Запуск серии
- Откройте «Тренировочные звонки»Перейдите в «ИИ-агенты», затем «Чему он научился», затем «Тренировочные звонки».
- Выберите агентов и количествоОтметьте агентов и задайте число звонков на каждом языке.
- Выберите набор«Сбалансированный», «База знаний» или «Пограничные случаи».
- Запустите сериюЧисло рядом с кнопкой — итоговое количество: агенты, умноженные на звонки на обоих языках.
- Следите за ходомСписок обновляется сам; откройте серию, чтобы увидеть оценки и результаты звонков.
Кнопка запуска остаётся неактивной при нуле звонков или при общем числе свыше трёхсот, поэтому крупные тесты проводятся частями. Ожидающую или выполняющуюся серию можно отменить: ещё не начатые звонки отменяются, а уже идущий звонок завершается. Для серии можно включить голос — тогда у каждой реплики появляется кнопка воспроизведения, а звук создаётся только при её нажатии.
Как читать результаты
Откройте завершённую серию и начните со сводки, а не с отдельной расшифровки. Итоги показывают число выполненных звонков, среднюю оценку, исправленные ответы, вопросы, требующие ответа, и советы по стилю. Ниже — оценка по критериям, главные проблемы со средним баллом каждого агента и таблица звонков со сценарием, языком, оценкой и отметками.
- По оценке по критериям найдите самую слабую область.
- Прочитайте главные проблемы; если одна из них встречается у разных агентов, скорее всего, дело в общем промпте или правиле.
- Отсортируйте звонки по оценке и полностью прочитайте три худшие расшифровки.
- Читайте комментарий оценщика к каждому ответу, а не только итоговую оценку.
- Сравните языки: разрыв может означать, что одному языку нужны собственные формулировки.
Применение уроков
Тренировки порождают уроки, и они ждут вашей проверки, а не меняют агента автоматически. Каждый урок можно применить или отклонить. Исправленные ответы и вопросы, требующие ответа, также ждут в разделе «Предложения». Так задумано: чему должен научиться агент, решает человек.
Проверка уроков
- Соответствует ли урок вашим правилам и тону
- Действительно ли исправленный ответ верен, а не просто правдоподобен
- Относится ли он ко всем собеседникам или только к этому сценарию
- Не противоречат ли два урока друг другу
- Не нужна ли агенту новая запись в базе знаний вместо изменения промпта
После внесения изменений снова запустите небольшую серию и сравните. По возможности меняйте что-то одно за раз, иначе вы не узнаете, какое изменение помогло. О том, где место фактическим ответам, читайте в материале об источниках знаний.
Разумная периодичность тренировок
Тренировки приносят больше всего пользы, когда становятся привычкой, а не разовым мероприятием. Привязывайте серии к моментам, когда что-то меняется.
| Момент | Что запускать | На что смотреть |
|---|---|---|
| Новый агент перед запуском | Сбалансированную серию на каждом языке, на котором вы обслуживаете клиентов | Слабые критерии, поведение при передаче звонка |
| После изменения промпта или правила | Серию пограничных случаев | Устранило ли изменение проблему, не сломав что-то другое |
| После пополнения знаний | Серию по базе знаний | Верные и краткие ответы без выдуманных фактов |
| Перед напряжённым периодом | Сбалансированную серию на линиях, которые будут наиболее загружены | Стабильность при типичном наборе вопросов |
| После проблемы в реальном звонке | Серию, воспроизводящую сбой | Работает ли исправление |
Ведите краткий журнал: дата, что вы изменили, какую серию запустили и главный результат. Через несколько месяцев эта история покажет, какие изменения помогли, и убережёт от повторения уже неудачного эксперимента.
Гипотетическая клиника могла бы запустить сбалансированную серию для агента регистратуры перед открытием новой линии, серию пограничных случаев после добавления правила о срочных симптомах и серию по базе знаний при каждом изменении часов работы или услуг. Три небольшие серии, запущенные в нужный момент, скажут больше, чем один огромный тест.
За пределами симуляции
Симуляция — это репетиция. Перед запуском также сделайте реальный тестовый звонок на собственный телефон и послушайте агента так, как его услышит клиент. Запускайтесь осторожно: начните с линии с низким риском или с ограниченных часов, сохраните простой путь к человеку (см. материал о передаче звонка сотруднику) и ежедневно слушайте первые реальные звонки. Для операторов-людей действует та же идея; о репетициях и обратной связи с сотрудниками читайте в материале о системе коучинга.
Частые вопросы
Тренировочные звонки — это настоящие телефонные звонки?
Это смоделированные звонки, в которых ИИ-собеседники звонят вашим ИИ-агентам. Чтобы услышать агента на реальной линии, сделайте отдельный тестовый звонок на свой телефон.
Можно ли тренироваться на нескольких языках?
Инструмент тренировок проводит смоделированные звонки на японском и английском языках. Задайте, сколько звонков на каждом языке нужно для каждого агента.
Сколько звонков запускать?
Начните с малого — по несколько звонков на каждый сценарий для каждого агента — и внимательно изучите результаты. Увеличивайте объём только при наличии причины, например чтобы проверить изменение на разных языках.
Меняют ли уроки агента автоматически?
Нет. Уроки ждут вашей проверки. Вы применяете те, с которыми согласны, и отклоняете остальные.
О чём говорит оценка?
Она показывает, как прошёл смоделированный звонок по критериям, с комментариями оценщика к каждому ответу. Это доказательство, но реальные собеседники всё равно могут вести себя иначе.
Что, если агент отображается серым?
Агент, который пока не может принимать звонки, помечается как недоступный и не может быть выбран. Сначала завершите его настройку.