Технологии голосового ИИ

Как не дать голосовому ИИ выдумывать ответы в звонках

Почему голосовые агенты иногда говорят неправду и какие практические шаги это ограничивают: надёжные источники, запасные ответы, вопросы-ловушки и проверка.

Редакция Call · Опубликовано · Читать 5 мин

Спросите голосового агента о часах работы — и он ответит гладко. Проблема возникает, когда он так же гладко отвечает о том, о чём ему никогда не сообщали. Именно это и называют галлюцинацией: ответ звучит правильно, но не имеет основы в вашей информации.

Человек за рабочим столом внимательно слушает телефонный разговор
Иллюстрация

На телефонной линии риск острее, чем в окне чата. Звонящий слышит одну уверенную фразу — без ссылки, без источника и без простого способа вернуться назад. В этом руководстве объясняется, почему возникают галлюцинации, как их сократить и как проверить, что исправления работают.

Что такое галлюцинация и почему она возникает

Языковая модель выдаёт наиболее правдоподобное продолжение разговора. Она обучена на огромных объёмах текста и не имеет встроенного понимания, какие утверждения верны для вашего бизнеса. Когда ответа нет ни в промпте, ни в источниках, модель может заполнить пробел чем-то, что выглядит разумно.

Типичные причины у телефонного агента

  • Отсутствующая информацияЗвонящий спрашивает о том, что никто не записал, и модель импровизирует.
  • Устаревшая информацияВ источнике осталась старая цена или старые часы работы.
  • Неоднозначные источникиДва документа противоречат друг другу, и агент выбирает один.
  • Давление «быть полезным»Промпт с указанием всегда отвечать подталкивает к догадкам.
  • Ошибки распознавания речиНеверно расслышанное слово меняет вопрос, и агент отвечает на другой.

Последнюю причину легко упустить. Если в расшифровке «вторник», а звонящий сказал «четверг», ответ может быть совершенно точным — но на другой вопрос. Как возникают ошибки распознавания, описано в статье «Распознавание речи в телефонных звонках».

Как это выглядит на практике

Условная стоматологическая клиника может рассказать агенту о часах работы и предлагаемых услугах. Звонящий спрашивает, принимает ли клиника определённый полис страхования. Сведений об этом нет, и небрежный агент может ответить «да», потому что многие клиники принимают. Звонящий приходит, рассчитывая на покрытие, и остаётся недоволен. Решение — не более умная модель, а чёткая инструкция и источник, где сказано, что делать, если ответ неизвестен.

Типичные темы повышенного риска — цены, наличие свободного времени, медицинские или юридические советы, обещания возврата денег и всё, что звучит как обязательство. Отметьте их как области, где агенту нельзя импровизировать.

Почему голос усугубляет проблему

Письменный ответ чат-бота может содержать ссылку, оговорку или видимый список источников. В речи ничего этого нет. Синтетические голоса к тому же ровные и уверенные, поэтому догадка звучит в точности как факт: нет заминки, которая насторожила бы звонящего. Звонящие часто действуют по услышанному сразу: едут куда-то, что-то отменяют или за что-то платят.

Поэтому при проектировании телефонных агентов стоит склоняться к сдержанности. Короткий честный ответ с предложением связаться с человеком стоит нескольких секунд. Уверенный неверный ответ может стоить клиента. Решая, насколько строгими быть, подумайте о худшем правдоподобном последствии неверного ответа по каждой теме и задайте правило соответственно: мягкое для часов работы и строгое для всего, что касается денег, здоровья или законных прав.

Как сократить выдуманные ответы

Многоуровневый подход

  1. Заземлите агентаДайте ему утверждённые факты и велите отвечать только на их основе.
  2. Определите неизвестноеПропишите, что он должен говорить, когда у него нет ответа.
  3. Ограничьте обязательстваЗапретите обещания, которые он не может выполнить, например скидки или подтверждённые записи.
  4. Предложите путьВсегда давайте следующий шаг: человека, сообщение или обратный звонок.
  5. Тестируйте и проверяйтеЗадавайте вопросы за пределами источников и читайте реальные расшифровки.

Опирайте его на утверждённые источники

Поиск по базе знаний (retrieval) означает, что в момент вопроса из ваших документов находятся подходящие фрагменты и модели передаются только они. Так ответы остаются привязанными к написанному вами тексту. Идея объясняется в статье «Поиск по базе знаний для голосовых агентов», а то, как это выглядит в продукте, — в статье «Источники знаний в Call».

Пишите короткие однозначные факты

Один факт на запись, вместе с условием, работает лучше длинной брошюры. Вместо «Мы работаем по выходным» напишите «Суббота с 9 до 13, воскресенье — выходной». Если у темы есть исключения, укажите их в той же записи.

Используйте точные ответы на ключевые вопросы

Для вопросов, где важна формулировка, например правил отмены, дайте агенту точный ответ для зачитывания. В Call можно добавить вопрос и точный ответ, который должен дать агент, чтобы ему не приходилось пересказывать.

Научите его говорить «я не знаю»

Честное «Во время этого звонка я не могу это подтвердить, но могу записать ваши данные, и с вами свяжутся» гораздо лучше догадки. В Call агент устроен так, чтобы прямо говорить, что не может что-то подтвердить, если ничто в его инструкциях или источниках не отвечает на вопрос, и предлагать человека, если линия позволяет переводить звонящих. Он также никогда не выдумывает цены, часы работы, даты и другие факты, которых нет в ваших инструкциях и источниках, и ваши инструкции не могут отключить эти правила.

Ответы с опорой на источники и без неё

Один вопрос, две настройки

Агент без опоры на источникиАгент с опорой на источники
Откуда ответОбщие знания и правдоподобные догадкиТолько ваши утверждённые факты
Когда информации нетВыдумывает что-то гладкоеГоворит, что не может подтвердить, предлагает следующий шаг
Риск для звонящегоМожет действовать по неверным сведениямЗнает, что не определено
ПоддержкаЛегко начать, трудно доверятьИсточники нужно поддерживать актуальными

Целенаправленно проверяйте на галлюцинации

Не ждите, пока пробелы найдёт клиент. Составьте небольшой набор вопросов-ловушек и прогоняйте его при каждом изменении промпта или источников.

Набор проверок на галлюцинации

  • Спросите об услуге, которую вы не оказываете
  • Спросите цену, которой нет в источниках
  • Спросите об исключении из правил, которое никто не записал
  • Спросите о дате в далёком будущем
  • Задайте вопрос в формулировке, отличной от ваших письменных ответов
  • Спросите о чём-то, похожем на охваченную тему
  • Убедитесь, что каждый неизвестный вопрос заканчивается безопасным следующим шагом

Повторяйте набор после изменений и добавляйте в него каждый найденный реальный сбой. Более широкий процесс тестирования описан в статье «Тестирование голосового ИИ-агента».

Продолжайте наблюдение после запуска

Борьба с галлюцинациями — не разовая задача. Информация меняется, появляются новые вопросы, а промпты постепенно расходятся с исходным замыслом по мере правок. Заведите распорядок: каждую неделю читайте выборку расшифровок, ищите фразы, сигнализирующие о сомнениях, и обновляйте источники. В Call можно открыть полный разговор любого звонка, искать фразу по всем сохранённым расшифровкам и видеть историю исправлений формулировок агента. Помните, что расшифровки хранятся ограниченный срок, поэтому просматривайте их без промедления.

Как применить это в Call

Начните с того, что запишите самые частые вопросы в виде точных пар «вопрос — ответ», добавьте короткие фактические источники для всего остального и привязывайте агента к линии только после тестирования. Если вам нужна помощь в составлении промптов, удерживающих от догадок, прочитайте статью «Промпты для телефонного агента на базе LLM». Ограничители, которые работают вместе с этим, описаны в статье «Ограничители для голосовых ИИ-агентов».

Частые вопросы

Что такое галлюцинация голосового ИИ?

Это ответ, который звучит уверенно, но не подкреплён вашей информацией, например выдуманная цена или правило. Она возникает, когда модель заполняет пробел вместо того, чтобы признать, что не знает.

Можно ли полностью устранить галлюцинации?

Ни один инструмент не может этого обещать. Их можно значительно сократить, ограничив, что агенту можно говорить, поддерживая источники актуальными и дав ему безопасный запасной вариант, но тестировать и проверять нужно постоянно.

Почему агент отвечает на вопрос, которому я его не учил?

Языковые модели созданы, чтобы выдавать правдоподобный текст. Без чёткой инструкции не выходить за рамки источников и говорить, когда он не может что-то подтвердить, он может импровизировать.

Неверно расслышанное слово — это галлюцинация?

Не совсем. Неверно расслышанное слово — ошибка распознавания, но она может привести к неверному ответу, похожему на галлюцинацию. Посмотрите расшифровку, чтобы понять, что именно произошло.

Какие темы самые рискованные?

Цены, наличие свободного времени, медицинские или юридические советы, возвраты денег и любые обещания или обязательства. Для них дайте агенту точные формулировки или порядок передачи человеку.

Как часто просматривать расшифровки?

При запуске — ежедневно или раз в несколько дней, затем еженедельно. После изменений промпта или источников — чаще.

Опирайте ответы ИИ-агента на утверждённые материалы в Call

В демо-консоли можно попробовать входящие звонки в режиме симуляции.

Похожие руководства

Технологии голосового ИИ

Промпты для качественных резюме звонков: шаблоны и проверка

Как написать промпт, превращающий расшифровку звонка в короткую точную заметку: для кого она, что в неё включать, правила против выдумок и как её проверить.

Редакция Call ·
Технологии голосового ИИ

Анализ тональности звонков: применение, ограничения, ответственность

Что измеряет анализ тональности звонков, где он помогает с сортировкой и трендами, где вводит в заблуждение и как избежать несправедливых автоматических решений.

Редакция Call ·
Технологии голосового ИИ

SIP-транк: как деловые звонки идут через интернет

Что такое SIP-транк, чем он отличается от обычных телефонных линий, что проверить по кодекам, каналам и резервированию и как выбрать провайдера.

Редакция Call ·
Технологии голосового ИИ

Модели speech-to-speech и каскадные голосовые конвейеры: сравнение

Два способа построить телефонного голосового агента: модели speech-to-speech и каскадные конвейеры. Сильные и слабые стороны и как выбрать по результатам тестов.

Редакция Call ·