Технологии голосового ИИ

Как протестировать голосового ИИ-агента перед запуском

Пошаговый план тестирования голосового ИИ-агента перед запуском: скрипты, точность, распознавание, ход диалога, передача оператору, журналы и решение о запуске.

Редакция Call · Опубликовано · Читать 5 мин

Голосовой агент, который хорошо отвечает в тихом офисе в присутствии своего создателя, может вести себя совсем иначе на шумной улице с абонентом, говорящим невнятно. Большинство проблем при запуске не загадочны: просто никто не попробовал. Структурированный план тестирования выявляет их, пока исправление обходится дёшево.

Специалист по контролю качества в гарнитуре проверяет скрипт звонка на ноутбуке
Иллюстрация

Это руководство даёт практический план: что подготовить, какие шесть областей проверить, как оценивать результаты и что делать после запуска. В завершение — инструменты Call. О метриках, на которых основана оценка, читайте в статье Метрики оценки голосового ИИ.

Подготовка к тестированию

Начните со списка реальных обращений. Соберите вопросы, которые люди действительно задают, — из писем, опыта сотрудников и заметок о звонках. Добавьте неудобные: рассерженного абонента, абонента, который выражается расплывчато, абонента, который просит то, чего вы не предлагаете. Хороший набор тестов сочетает частые, редкие и сложные случаи.

От скрипта к запуску

  1. Напишите тестовые сценарииРеальные вопросы с правильным ответом на каждый.
  2. Проверьте содержаниеОтвечает ли агент правильно и не выходит ли за рамки.
  3. Проверьте распознаваниеПонимает ли он имена, числа и акценты.
  4. Проверьте ход диалогаЕстественно ли развивается разговор и хорошо ли завершается.
  5. Проверьте передачу операторуРаботают ли просьбы соединить с человеком и срочные случаи.
  6. Проверьте записиВерны ли сводки, сообщения и журналы.
  7. Примите решениеСравните результаты с критерием прохождения и сделайте выбор.

Определите, кто будет тестировать. Привлеките людей, которые не создавали агента: они будут спрашивать неожиданным образом. Если ваши абоненты говорят с региональным акцентом или на нескольких языках, включите и эти голоса.

Проверка содержания

Первый вопрос — говорит ли агент правду. Задайте каждый вопрос из списка и сравните ответ с правильным. Отметьте каждый ответ как верный, частично верный, неверный или выдуманный. Выдуманный ответ, в котором агент утверждает то, чего ему никогда не давали, важнее всего, потому что абоненты ему верят.

Почему возникают выдуманные ответы, объясняет статья Галлюцинации голосового ИИ, а как используются знания — статья Поиск по знаниям для голосовых агентов.

Проверка распознавания

Голосовые агенты часто ошибаются именно на этапе восприятия речи. Обычные трудности — имена, почтовые индексы, телефонные номера и даты. Тестируйте на реальных телефонах, а не только через микрофон компьютера, и включайте фоновый шум, громкую связь и плохой мобильный сигнал.

ПроверкаКакНа что обращать внимание
ИменаПроизнесите по буквам и вслух необычные именаПравильное распознавание или вежливая просьба повторить
ЧислаПродиктуйте номер телефона и датуПравильные цифры и повтор для подтверждения
АкцентыПопросите коллег с разными акцентамиМеньше недопониманий и корректное восстановление
ШумПозвоните из людного местаОтсутствие ложных срабатываний и чёткие просьбы повторить

Числа и имена в голосовом ИИ и Распознавание речи в телефонном звуке — в этих статьях проблемы разобраны подробнее.

Проверка хода диалога

Содержание может быть верным, а разговор — всё равно неловким. Обратите внимание на начало, темп, на то, перебивает ли агент абонента, как он справляется с тишиной и как завершает звонок. Перебейте его, помолчите, скажите «Алло?» и передумайте посреди разговора.

Какое поведение стоит проверить

  • ПеребиваниеЗаговорите поверх агента и проверьте, что он останавливается и слушает.
  • ТишинаНичего не говорите и проверьте, что он вежливо переспрашивает, а затем разумно завершает звонок.
  • Смена решенияСмените тему посреди ответа и проверьте, что он следует за вами.
  • ЗавершениеПоблагодарите и попрощайтесь и проверьте, что звонок корректно завершается.

Сюда же относится скорость. Отмечайте долгие паузы и их причины. Обычные причины объясняет статья «Задержка голосового ИИ».

Проверка передачи оператору и безопасности

Каждому голосовому агенту нужен путь к человеку для запросов, которые он не может или не должен обрабатывать. Проверьте его в каждом случае: в рабочее время, в нерабочее время, когда никто не отвечает и когда абонент взволнован. Попробуйте срочные фразы. Убедитесь, что агент никогда не выдаёт себя за человека и не обещает того, чего не может выполнить, например подтверждённой записи.

Проверки передачи оператору

  • Просьба соединить с человеком в рабочее время доходит до нужных сотрудников
  • В нерабочее время абонент получает честное сообщение и возможность оставить свои данные
  • Если никто не отвечает, абонент может оставить сообщение
  • Срочные звонки и звонки от взволнованных абонентов быстро передаются дальше
  • Агент сообщает, что он ИИ, когда его об этом спрашивают
  • Конфиденциальные данные не собираются там, где этого делать не следует

Проверка записей и журналов

У звонка два результата: то, что пережил абонент, и то, что вы зафиксировали. После каждого теста проверяйте сводку, расшифровку, оставленное сообщение и любую последующую задачу. Верны ли имена и числа? Точно ли указана причина звонка? Не выдумывает ли что-нибудь сводка? Идеальный звонок с неверной записью всё равно направит команду по ложному пути. См. «Сводки звонков с помощью ИИ».

Решение: пройден тест или нет

Перед началом сформулируйте правило, по которому решается, можно ли запускать агента. Оно может быть простым: ни одного выдуманного ответа в наборе тестов, все случаи передачи оператору работают, а заранее оговорённая доля частых вопросов получает верный ответ. Письменная фиксация предотвращает запуск под давлением сроков.

Решения о запуске

Критерий сформулирован заранееОценка задним числом
ЯсностьВсе знают планкуПланка меняется вместе с настроением
ДавлениеЛегко сказать «пока нет»Трудно устоять перед дедлайном
ОбучениеНеудачи указывают на исправленияНеудачи превращаются в споры
УчётРезультаты можно сравнивать во времениСравнивать не с чем

Ведите журнал каждого теста: дата, версия агента, кто звонил, вопрос, результат и исправление. При изменении промпта или базы знаний повторяйте прежние тесты, поскольку исправления иногда ломают что-то другое.

Стоит проверять и «тихие» сбои, на которые ни один абонент не пожалуется, но которые со временем обходятся вам дорого. Убедитесь, что звонок, завершившийся раньше времени, всё равно даёт осмысленную запись, что абонент, положивший трубку на полуслове, не оставляет после себя незавершённую задачу, а повторно звонящие обслуживаются единообразно. Такие случаи редко попадают в первый план тестирования, но составляют удивительно большую долю реального трафика.

После запуска

Тестирование не заканчивается, когда агент начинает работать. Начните с ограниченной области, например нерабочего времени или переполнения очереди, в первую неделю ежедневно прослушивайте выборку реальных звонков и расширяйте охват, когда будете уверены. Просматривайте вопросы, на которые агент не смог ответить, и добавляйте недостающие знания. Сохраняйте возможность откатиться к предыдущей версии, если изменение ухудшит ситуацию. Хорошим дополнением станет статья «Первая неделя вашего ИИ-администратора».

Тестирование в Call

Call предлагает несколько способов протестировать ИИ-агента раньше абонентов. «Песочница» в разделе «ИИ-агенты» позволяет переписываться с агентом, показывает, сколько заметок из базы знаний подошло к каждому ответу, и перечисляет их, а также позволяет оценить ответ или научить агента лучшему варианту. «Тестовый звонок» агента поступает на ваш собственный телефон через его линию, поэтому вы слышите агента так же, как абонент; каждый такой тест — это реальный тарифицируемый звонок. Мастер настройки также предлагает разговор на экране, звонок на ваш телефон и звонок агента на указанный номер. Проверка готовности, которая выполняется без набора номера, сообщает, чего ещё не хватает для ИИ-звонка с этой линии.

«Тренировочные звонки» в разделе «ИИ-агенты» → «Чему он научился» позволяют ИИ-абонентам звонить вашим агентам на японском и английском языках. Каждый звонок оценивается, а выводы ждут вашей проверки, поэтому без вас ничего не меняется. Перед рискованным изменением сохраните точку восстановления агента, чтобы можно было откатиться, и используйте кнопки «Запустить» и «В черновик», чтобы управлять тем, когда агент отвечает на звонки. О самой настройке см. «Настройка ИИ-агента в Call».

Частые вопросы

Сколько тестовых звонков достаточно?

Столько, чтобы охватить каждый частый вопрос, каждый случай передачи оператору и выборку сложного поведения. Для небольшого агента это могут быть десятки звонков; продолжайте, пока новые тесты не перестанут выявлять новые проблемы.

Кто должен тестировать агента?

Люди, которые его не создавали, в том числе с разными акцентами и привычками говорить по телефону. Они спрашивают так, как создатель и не подумает.

Нужно ли тестировать на настоящем телефоне?

Да. Телефонный звук более узкополосный и шумный, чем звук компьютера, и многие проблемы проявляются только на реальной линии.

Что считается серьёзным сбоем?

Уверенно произнесённый выдуманный ответ, неработающая передача оператору или запись, которая направляет команду по ложному пути. Такие сбои должны блокировать запуск.

Нужно ли тестировать заново после небольших изменений?

Да, как минимум базовый набор. Небольшие изменения промпта или базы знаний могут повлиять на ответы в других местах.

За чем следить после запуска?

Поначалу ежедневно прослушивайте выборку звонков, отмечайте вопросы, на которые агент не смог ответить, и отслеживайте передачи оператору и жалобы. Каждую неделю пополняйте базу знаний.

Проводите тестовые и тренировочные звонки с ИИ-агентом в Call

В демо-консоли можно попробовать входящие звонки в режиме симуляции.

Похожие руководства

Технологии голосового ИИ

Промпты для качественных резюме звонков: шаблоны и проверка

Как написать промпт, превращающий расшифровку звонка в короткую точную заметку: для кого она, что в неё включать, правила против выдумок и как её проверить.

Редакция Call ·
Технологии голосового ИИ

Анализ тональности звонков: применение, ограничения, ответственность

Что измеряет анализ тональности звонков, где он помогает с сортировкой и трендами, где вводит в заблуждение и как избежать несправедливых автоматических решений.

Редакция Call ·
Технологии голосового ИИ

SIP-транк: как деловые звонки идут через интернет

Что такое SIP-транк, чем он отличается от обычных телефонных линий, что проверить по кодекам, каналам и резервированию и как выбрать провайдера.

Редакция Call ·
Технологии голосового ИИ

Модели speech-to-speech и каскадные голосовые конвейеры: сравнение

Два способа построить телефонного голосового агента: модели speech-to-speech и каскадные конвейеры. Сильные и слабые стороны и как выбрать по результатам тестов.

Редакция Call ·