Как протестировать голосового ИИ-агента перед запуском
Пошаговый план тестирования голосового ИИ-агента перед запуском: скрипты, точность, распознавание, ход диалога, передача оператору, журналы и решение о запуске.
Голосовой агент, который хорошо отвечает в тихом офисе в присутствии своего создателя, может вести себя совсем иначе на шумной улице с абонентом, говорящим невнятно. Большинство проблем при запуске не загадочны: просто никто не попробовал. Структурированный план тестирования выявляет их, пока исправление обходится дёшево.

Это руководство даёт практический план: что подготовить, какие шесть областей проверить, как оценивать результаты и что делать после запуска. В завершение — инструменты Call. О метриках, на которых основана оценка, читайте в статье Метрики оценки голосового ИИ.
Подготовка к тестированию
Начните со списка реальных обращений. Соберите вопросы, которые люди действительно задают, — из писем, опыта сотрудников и заметок о звонках. Добавьте неудобные: рассерженного абонента, абонента, который выражается расплывчато, абонента, который просит то, чего вы не предлагаете. Хороший набор тестов сочетает частые, редкие и сложные случаи.
От скрипта к запуску
- Напишите тестовые сценарииРеальные вопросы с правильным ответом на каждый.
- Проверьте содержаниеОтвечает ли агент правильно и не выходит ли за рамки.
- Проверьте распознаваниеПонимает ли он имена, числа и акценты.
- Проверьте ход диалогаЕстественно ли развивается разговор и хорошо ли завершается.
- Проверьте передачу операторуРаботают ли просьбы соединить с человеком и срочные случаи.
- Проверьте записиВерны ли сводки, сообщения и журналы.
- Примите решениеСравните результаты с критерием прохождения и сделайте выбор.
Определите, кто будет тестировать. Привлеките людей, которые не создавали агента: они будут спрашивать неожиданным образом. Если ваши абоненты говорят с региональным акцентом или на нескольких языках, включите и эти голоса.
Проверка содержания
Первый вопрос — говорит ли агент правду. Задайте каждый вопрос из списка и сравните ответ с правильным. Отметьте каждый ответ как верный, частично верный, неверный или выдуманный. Выдуманный ответ, в котором агент утверждает то, чего ему никогда не давали, важнее всего, потому что абоненты ему верят.
- Задайте один и тот же вопрос разными словами.
- Спросите о том, чего нет в базе знаний, и проверьте, признаёт ли агент, что не знает ответа.
- Попросите о том, в чём он должен отказать, например о консультации или данных других клиентов.
- Попробуйте сбить его с толку уверенным неверным утверждением и проверьте, что он не соглашается просто так.
Почему возникают выдуманные ответы, объясняет статья Галлюцинации голосового ИИ, а как используются знания — статья Поиск по знаниям для голосовых агентов.
Проверка распознавания
Голосовые агенты часто ошибаются именно на этапе восприятия речи. Обычные трудности — имена, почтовые индексы, телефонные номера и даты. Тестируйте на реальных телефонах, а не только через микрофон компьютера, и включайте фоновый шум, громкую связь и плохой мобильный сигнал.
| Проверка | Как | На что обращать внимание |
|---|---|---|
| Имена | Произнесите по буквам и вслух необычные имена | Правильное распознавание или вежливая просьба повторить |
| Числа | Продиктуйте номер телефона и дату | Правильные цифры и повтор для подтверждения |
| Акценты | Попросите коллег с разными акцентами | Меньше недопониманий и корректное восстановление |
| Шум | Позвоните из людного места | Отсутствие ложных срабатываний и чёткие просьбы повторить |
Числа и имена в голосовом ИИ и Распознавание речи в телефонном звуке — в этих статьях проблемы разобраны подробнее.
Проверка хода диалога
Содержание может быть верным, а разговор — всё равно неловким. Обратите внимание на начало, темп, на то, перебивает ли агент абонента, как он справляется с тишиной и как завершает звонок. Перебейте его, помолчите, скажите «Алло?» и передумайте посреди разговора.
Какое поведение стоит проверить
- ПеребиваниеЗаговорите поверх агента и проверьте, что он останавливается и слушает.
- ТишинаНичего не говорите и проверьте, что он вежливо переспрашивает, а затем разумно завершает звонок.
- Смена решенияСмените тему посреди ответа и проверьте, что он следует за вами.
- ЗавершениеПоблагодарите и попрощайтесь и проверьте, что звонок корректно завершается.
Сюда же относится скорость. Отмечайте долгие паузы и их причины. Обычные причины объясняет статья «Задержка голосового ИИ».
Проверка передачи оператору и безопасности
Каждому голосовому агенту нужен путь к человеку для запросов, которые он не может или не должен обрабатывать. Проверьте его в каждом случае: в рабочее время, в нерабочее время, когда никто не отвечает и когда абонент взволнован. Попробуйте срочные фразы. Убедитесь, что агент никогда не выдаёт себя за человека и не обещает того, чего не может выполнить, например подтверждённой записи.
Проверки передачи оператору
- Просьба соединить с человеком в рабочее время доходит до нужных сотрудников
- В нерабочее время абонент получает честное сообщение и возможность оставить свои данные
- Если никто не отвечает, абонент может оставить сообщение
- Срочные звонки и звонки от взволнованных абонентов быстро передаются дальше
- Агент сообщает, что он ИИ, когда его об этом спрашивают
- Конфиденциальные данные не собираются там, где этого делать не следует
Проверка записей и журналов
У звонка два результата: то, что пережил абонент, и то, что вы зафиксировали. После каждого теста проверяйте сводку, расшифровку, оставленное сообщение и любую последующую задачу. Верны ли имена и числа? Точно ли указана причина звонка? Не выдумывает ли что-нибудь сводка? Идеальный звонок с неверной записью всё равно направит команду по ложному пути. См. «Сводки звонков с помощью ИИ».
Решение: пройден тест или нет
Перед началом сформулируйте правило, по которому решается, можно ли запускать агента. Оно может быть простым: ни одного выдуманного ответа в наборе тестов, все случаи передачи оператору работают, а заранее оговорённая доля частых вопросов получает верный ответ. Письменная фиксация предотвращает запуск под давлением сроков.
Решения о запуске
| Критерий сформулирован заранее | Оценка задним числом | |
|---|---|---|
| Ясность | Все знают планку | Планка меняется вместе с настроением |
| Давление | Легко сказать «пока нет» | Трудно устоять перед дедлайном |
| Обучение | Неудачи указывают на исправления | Неудачи превращаются в споры |
| Учёт | Результаты можно сравнивать во времени | Сравнивать не с чем |
Ведите журнал каждого теста: дата, версия агента, кто звонил, вопрос, результат и исправление. При изменении промпта или базы знаний повторяйте прежние тесты, поскольку исправления иногда ломают что-то другое.
Стоит проверять и «тихие» сбои, на которые ни один абонент не пожалуется, но которые со временем обходятся вам дорого. Убедитесь, что звонок, завершившийся раньше времени, всё равно даёт осмысленную запись, что абонент, положивший трубку на полуслове, не оставляет после себя незавершённую задачу, а повторно звонящие обслуживаются единообразно. Такие случаи редко попадают в первый план тестирования, но составляют удивительно большую долю реального трафика.
После запуска
Тестирование не заканчивается, когда агент начинает работать. Начните с ограниченной области, например нерабочего времени или переполнения очереди, в первую неделю ежедневно прослушивайте выборку реальных звонков и расширяйте охват, когда будете уверены. Просматривайте вопросы, на которые агент не смог ответить, и добавляйте недостающие знания. Сохраняйте возможность откатиться к предыдущей версии, если изменение ухудшит ситуацию. Хорошим дополнением станет статья «Первая неделя вашего ИИ-администратора».
Тестирование в Call
Call предлагает несколько способов протестировать ИИ-агента раньше абонентов. «Песочница» в разделе «ИИ-агенты» позволяет переписываться с агентом, показывает, сколько заметок из базы знаний подошло к каждому ответу, и перечисляет их, а также позволяет оценить ответ или научить агента лучшему варианту. «Тестовый звонок» агента поступает на ваш собственный телефон через его линию, поэтому вы слышите агента так же, как абонент; каждый такой тест — это реальный тарифицируемый звонок. Мастер настройки также предлагает разговор на экране, звонок на ваш телефон и звонок агента на указанный номер. Проверка готовности, которая выполняется без набора номера, сообщает, чего ещё не хватает для ИИ-звонка с этой линии.
«Тренировочные звонки» в разделе «ИИ-агенты» → «Чему он научился» позволяют ИИ-абонентам звонить вашим агентам на японском и английском языках. Каждый звонок оценивается, а выводы ждут вашей проверки, поэтому без вас ничего не меняется. Перед рискованным изменением сохраните точку восстановления агента, чтобы можно было откатиться, и используйте кнопки «Запустить» и «В черновик», чтобы управлять тем, когда агент отвечает на звонки. О самой настройке см. «Настройка ИИ-агента в Call».
Частые вопросы
Сколько тестовых звонков достаточно?
Столько, чтобы охватить каждый частый вопрос, каждый случай передачи оператору и выборку сложного поведения. Для небольшого агента это могут быть десятки звонков; продолжайте, пока новые тесты не перестанут выявлять новые проблемы.
Кто должен тестировать агента?
Люди, которые его не создавали, в том числе с разными акцентами и привычками говорить по телефону. Они спрашивают так, как создатель и не подумает.
Нужно ли тестировать на настоящем телефоне?
Да. Телефонный звук более узкополосный и шумный, чем звук компьютера, и многие проблемы проявляются только на реальной линии.
Что считается серьёзным сбоем?
Уверенно произнесённый выдуманный ответ, неработающая передача оператору или запись, которая направляет команду по ложному пути. Такие сбои должны блокировать запуск.
Нужно ли тестировать заново после небольших изменений?
Да, как минимум базовый набор. Небольшие изменения промпта или базы знаний могут повлиять на ответы в других местах.
За чем следить после запуска?
Поначалу ежедневно прослушивайте выборку звонков, отмечайте вопросы, на которые агент не смог ответить, и отслеживайте передачи оператору и жалобы. Каждую неделю пополняйте базу знаний.