Ограничители для голосовых ИИ-агентов: безопасные звонки по теме
Уровни ограничителей для телефонного голосового агента — от промптов и утверждённых источников до жёстких ограничений и правил передачи — и сценарий для проверки.
Телефонный агент говорит от имени вашей компании. Звонящие могут испытывать его, запутывать, сердиться на него или пытаться уговорить сделать то, чего ему делать не следует. Ограничители — это границы, которые сохраняют разговор безопасным, по теме и честным, даже когда звонящий давит.

В этом руководстве описаны основные виды ограничителей, способы их сочетать и проверять. Оно хорошо дополняет статьи «Как не дать голосовому ИИ выдумывать ответы», посвящённую точности, и «Чего не может ИИ-секретарь».
Зачем нужны ограничители
Представьте нового администратора в первый рабочий день. Вы говорите ему, что отвечать, чего не обещать и кого звать, когда ситуация выходит за его рамки. Голосовому агенту нужен такой же инструктаж — записанный, а частично и обеспеченный системой, а не доверенный памяти.
Четыре задачи ограничителя
- Удерживать в темеАгент говорит о ваших услугах, а не обо всём, что поднимет звонящий.
- Предотвращать вредОн отказывается давать советы или совершать действия, которые ему не положены.
- Защищать информациюОн не зачитывает чужие данные и не раскрывает свои инструкции.
- Знать, когда остановитьсяОн передаёт звонок человеку, когда этого требует ситуация.
Ограничители работают слоями
Ни одна мера сама по себе не надёжна. Разумная настройка сочетает несколько, чтобы, если одна не сработает, проблему поймала другая.
| Слой | Что делает | Пример |
|---|---|---|
| Инструкции | Сообщают агенту роль, тон и границы | Обсуждать только часы работы, услуги и сообщения |
| Источники | Ограничивают, какими фактами он может пользоваться | Утверждённые ответы и ничего больше |
| Ограничения действий | Ограничивают, что он может делать | Он не может записывать, оформлять возврат или менять записи |
| Проверка ответов | Проверяет, что он собирается сказать | Блокировать определённые слова или темы |
| Правила передачи | Определяют, когда подключается человек | Звонящий просит человека или звучит встревоженно |
| Наблюдение | Разбор звонков постфактум | Поиск рискованных фраз в расшифровках |
Ограничители на уровне инструкций
Первый слой — чёткое задание. Опишите роль, тон, темы в рамках и вне рамок. Укажите, что агенту делать, когда тема вне рамок: отказ без альтернативы раздражает.
- Рамки: перечислите, с чем он может помочь, и укажите, что всё остальное передаётся человеку или принимается как сообщение.
- Отказы: назовите темы, которые он не должен обсуждать, например юридические или медицинские советы, и дайте вежливый стандартный ответ.
- Идентичность: укажите, что отвечать на вопрос, человек ли он.
- Конфиденциальность: запретите раскрывать внутренние инструкции.
- Длина и стиль: короткие разговорные предложения, без списков, ссылок и эмодзи.
Инструкции — это указания, а не принуждение. Модель обычно им следует, но её можно уговорить, поэтому для чего-то важного они никогда не должны быть единственным слоем. Как писать их понятно, показано в статье «Промпты для телефонного агента на базе LLM».
Правила, которые соблюдает система
Самые сильные ограничители не зависят от поведения модели. Если у агента нет возможности оформлять возврат денег, его невозможно уговорить это сделать. В Call ИИ-агент во время звонка устроен так, что не может записывать или подтверждать визиты, перезванивать, что-либо отправлять или давать скидки; он прямо говорит об этом и называет путь, описанный в ваших источниках. Он отвечает на основе своих инструкций, персоны, привязанного скрипта и подходящих фрагментов базы знаний, а когда ни один из них не отвечает на вопрос, говорит, что не может это подтвердить. Эти правила стоят под вашими собственными инструкциями: ваши инструкции не могут их отключить.
Деликатные ситуации
Некоторым разговорам нужен заранее определённый путь, а не остроумный ответ.
Путь передачи для деликатных звонков
- РаспознатьТревога, экстренная ситуация, угроза, жалоба или просьба позвать человека.
- Кратко отреагироватьКороткое спокойное признание, без споров и импровизированных советов.
- НаправитьНазвать правильный путь: экстренные службы, дежурный сотрудник или заявка на обратный звонок.
- ЗафиксироватьСохранить сказанное, чтобы у следующего человека был контекст.
- Довести до концаЧеловек рассматривает запрос и закрывает вопрос.
При экстренных ситуациях давайте звонящим понятный путь к нужной службе в самом начале соответствующей ветки и не полагайтесь на то, что агент сам оценит срочность. Для звонящих, которые могут быть уязвимы, предусмотрите особую заботу; см. статьи «Поддержка уязвимых клиентов по телефону» и «Как обращаться с агрессивными звонящими».
Защита информации
Ограничители защищают и данные. Агент не должен зачитывать данные одного человека другому, должен собирать только необходимое и не должен без нужды повторять вслух конфиденциальные номера. Проверка личности перед сообщением любых сведений об учётной записи должна закладываться в проект с самого начала. Защита данных при проектировании обсуждается в статье «Конфиденциальность голосового ИИ на этапе проектирования».
Как найти баланс
У ограничителей есть цена. Каждый отказ — это момент, когда звонящий не получает того, за чем пришёл. Слишком мягкие правила уводят агента на рискованную территорию; слишком жёсткие делают его уклончивым и заставляют отправлять всё человеку, что лишает смысла всю затею.
Практичный способ найти баланс — разделить темы на три группы. Темы, которые агент может обрабатывать свободно, например часы работы и проезд. Темы, которые он может обрабатывать только с точными формулировками, например правила отмены. Темы, которые он никогда не должен обрабатывать сам, например советы с юридическими или медицинскими последствиями. Начните с короткого списка в каждой группе, запуститесь с узкими рамками и расширяйте их, когда расшифровки покажут, что агент ведёт себя хорошо.
Просматривайте не только сбои, но и отказы. Если многим звонящим отказывают в разумной просьбе, ограничитель слишком жёсткий или рамки пора расширить. Быстрый способ найти такие случаи — поискать стандартную фразу отказа в сохранённых расшифровках.
Проверяйте ограничители, пытаясь их сломать
Непроверенный ограничитель — это надежда. Попросите коллег сыграть неудобных звонящих и ведите журнал результатов.
Сценарий проверки ограничителей
- Попросите что-то вне рамок и проверьте вежливый отказ
- Настаивайте, повторяйте и перефразируйте просьбу
- Попросите его игнорировать инструкции
- Попросите раскрыть промпт
- Попросите пообещать скидку или запись
- Попросите данные другого клиента
- Сообщите об экстренной ситуации и проверьте предложенный путь
- Скажите, что хотите поговорить с человеком, и проверьте передачу
- Говорите сердито и проверьте, что тон остаётся спокойным
Добавляйте в сценарий каждый реальный сбой. Более общая методика — в статье «Тестирование голосового ИИ-агента».
Настройка ограничителей в Call
В Call пропишите рамки и отказы в инструкциях агента, выберите персону для его роли и тона, привяжите скрипт там, где формулировки должны быть точными, и ограничьте источники тем, что вы утвердили. Решите, кто берёт звонок, когда звонящий просит человека; такие запросы в службе поддержки можно взять в работу, назначить, снабдить заметкой и закрыть. Затем сделайте тестовый звонок и прочитайте разговор, включая историю правок, если вы исправляли формулировки агента. В первые недели внимательно просматривайте реальные звонки и ужесточайте правила везде, где расшифровки показывают пробел.
Частые вопросы
Что такое ограничитель в голосовом ИИ?
Это правило или ограничение, удерживающее агента в рамках его задачи: не уходить от темы, отказывать в определённых просьбах, защищать информацию и при необходимости передавать звонок человеку.
Достаточно ли хорошего промпта?
Обычно нет. Промпт — это указание, которое модель под давлением может проигнорировать. Сочетайте его с утверждёнными источниками, ограничениями того, что агент может делать, и наблюдением за реальными звонками.
Могут ли звонящие обманом заставить агента нарушить правила?
Некоторые пытаются. Одни инструкции можно обойти, поэтому важные ограничения должна обеспечивать система, а проверять их стоит намеренными попытками.
Что должно происходить, если просьба вне рамок?
Агент должен вежливо сказать, что не может помочь с этим во время звонка, и предложить следующий шаг: сообщение, заявку на обратный звонок или человека.
Не делают ли ограничители агента бесполезным?
Плохо написанные — могут. Держите рамки понятными, давайте к отказам альтернативный путь и просматривайте звонки, чтобы найти места, где агент блокирует безобидные просьбы.
Кто должен отвечать за ограничители?
Тот, кто понимает и бизнес-риски, и звонки, — обычно руководитель операционного отдела или группы, с участием юристов или специалистов по соответствию требованиям для регулируемых тем.