Технологии голосового ИИ

Как голосовой агент получает данные: инструменты и вызов функций

Как работает вызов функций у телефонных голосовых агентов: запросы данных и действия, каким должен быть инструмент, риски речевого ввода и естественность разговора.

Редакция Call · Опубликовано · Читать 5 мин

Информация, которая меняется каждый час, не может жить в промпте. Статус заказа, остаток на складе или свободное время для записи верны лишь на момент. Чтобы пользоваться такими фактами, голосовому агенту нужен способ обратиться к другой системе, и этот механизм обычно называют вызовом функций (function calling) или использованием инструментов (tool use).

Сотрудник поддержки проверяет информацию на экране во время звонка
Иллюстрация

В этом руководстве простыми словами объясняется, как это работает, каким должен быть хороший инструмент, где кроются риски и как эта идея соотносится с тем, как сегодня работают ИИ-агенты Call. Общие сведения о самом голосовом конвейере — в статье «Как голосовой ИИ работает в телефонном звонке».

Как работает вызов инструмента

Языковая модель пишет текст. Она не может открыть базу данных или нажать кнопку. Вызов функций — это договорённость: вы описываете модели набор функций с названием, назначением и ожидаемыми входными данными, и модель может ответить запросом на использование одной из них.

Жизненный цикл вызова инструмента

  1. Звонящий спрашиваетНапример: где мой заказ?
  2. Модель предлагает вызовОна возвращает название функции и аргументы, например номер заказа.
  3. Ваша программа проверяетОна проверяет аргументы, права звонящего и любые ограничения.
  4. Система выполняетОна обращается к системе заказов и получает результат.
  5. Результат возвращается моделиМодель превращает данные в короткий устный ответ.

Главное: действие выполняет ваша программа, а не модель. Это даёт вам место, где можно применять правила, вести журнал произошедшего и отказывать во всём неразумном.

Запросы данных и действия

Не все инструменты одинаково рискованны. Запрос данных читает информацию. Действие что-то меняет в мире. Относитесь к ним по-разному.

Запросы только на чтение и действия, которые что-то меняют

Запрос данныхДействие
ПримерыЧасы работы, статус заказа, длина очередиОтменить запись, оформить возврат, изменить адрес
Риск при ошибкеНеверный ответ, который можно исправитьИзменение, которое может быть трудно отменить
Типичные меры защитыПроверка личности, ограниченный набор полейШаг подтверждения, одобрение человеком, журнал аудита
Подходит для начала?ДаТолько после того, как запросы данных работают хорошо

Осторожный путь — запуститься только с запросами данных, понаблюдать за реальными звонками и медленно добавлять действия, требуя подтверждения человеком для всего значимого. Тот же подход лежит в основе статьи «Ограничители для голосовых ИИ-агентов».

Каким должен быть хороший инструмент

Названия и описания важны

Модель выбирает инструменты по названиям и описаниям, которые вы им дали. Расплывчатые формулировки ведут к неверному выбору. Пишите описания как инструкции новому коллеге: когда использовать инструмент, когда нет и что означает каждый входной параметр.

Речевой ввод неаккуратен

Аргументы приходят из речи. Номер заказа может прийти с неверной цифрой, а имя — с необычным написанием. Повторяйте ключевые значения звонящему, прежде чем их использовать, и проектируйте инструмент так, чтобы при почти совпадениях он возвращал полезный результат. Приёмы подтверждения подробно описаны в статье «Как правильно записывать имена, числа и адреса на слух».

Риски, которые нужно учесть при проектировании

Где использование инструментов даёт сбой

  • Неверный инструмент или аргументыМодель неверно понимает запрос, поэтому проверяйте всё перед выполнением.
  • Избыточное раскрытиеЗапрос возвращает больше, чем звонящему положено услышать, поэтому возвращайте только необходимое.
  • Непроверенная личностьДанные учётной записи зачитываются не тому человеку, поэтому проверяйте личность до раскрытия.
  • Медленные или сбоящие системыМёртвая тишина или непонятная ошибка, поэтому задавайте лимиты времени и устные запасные варианты.
  • Внедрённые инструкцииТекст из результата запроса пытается отдавать модели команды, поэтому считайте результаты только данными.

Для каждого риска есть инженерное решение, но самый безопасный принцип — давать агенту минимальный доступ, достаточный для задачи. Не давайте ему общее подключение к базе данных, если хватит одного узкого запроса.

Как сохранить естественность звонка

Вызов инструмента добавляет время: модель принимает решение, ваша система отвечает, модель пишет ответ, затем синтезируется речь. Звонящий слышит тишину. Помогают очень короткое подтверждение перед запросом, кэширование редко меняющихся значений и ограничение в один вызов инструмента на реплику. Откуда берётся задержка, описано в статье «Задержка голосового ИИ». Если запрос не удался или превысил время ожидания, агент должен кратко сказать об этом и предложить сообщение или человека, а не ждать.

Пример по шагам

Представьте условный мебельный магазин, агент которого отвечает на вопросы о доставке. Магазин определяет один инструмент только для чтения, который принимает номер заказа и возвращает статус и интервал доставки. Агенту велено использовать его только после того, как звонящий назвал номер заказа и подтвердил его, услышав повтор.

  1. Звонящий говорит, что ждёт диван, и называет номер заказа.
  2. Агент повторяет номер группами, и звонящий подтверждает.
  3. Инструмент возвращает статус «передан в доставку» и интервал «во второй половине дня».
  4. Агент говорит, что заказ передан в доставку и должен прибыть сегодня во второй половине дня, а затем спрашивает, нужно ли что-то ещё.
  5. Если инструмент возвращает «не найдено», агент говорит, что не может найти такой заказ, и предлагает принять сообщение для сотрудников.

Обратите внимание, чего здесь нет: агент не может перенести доставку. Если звонящему нужен другой день, агент принимает заявку, а занимаются ею сотрудники. Начав с такого узкого безопасного инструмента, вы узнаете, как на самом деле говорят звонящие, прежде чем расширять рамки. Ведите учёт каждого обращения к инструменту, чтобы замечать закономерности, например частое неверное распознавание одной цифры, и исправлять их на этапе подтверждения.

Как это соотносится с Call

В Call ИИ-агент отвечает на основе своих инструкций, своей персоны, скрипта, привязанного к линии, и подходящих к вопросу фрагментов базы знаний. Он не предназначен для таких действий во время звонка, как запись или подтверждение визитов, обратный звонок, отправка чего-либо или предоставление скидок. Он прямо говорит об этом и называет путь, описанный в ваших источниках, например ссылку на запись или обратный звонок от ваших сотрудников. Часто меняющиеся факты держите в источниках агента и обновляйте их, а для последующей работы, требующей человека, используйте службу поддержки. Если вы хотите подключить Call к своим системам, интерфейс для разработчиков описан в статье «Call для разработчиков и API»; прежде чем строить решение в расчёте на какое-то поведение, проверьте, что он предлагает.

Оценивая любую платформу, которая заявляет об использовании инструментов, задайте практические вопросы из чек-листа ниже.

Вопросы об инструментах голосового агента

  • К каким системам он имеет доступ и с какими правами?
  • Отделены ли запросы данных от действий, меняющих данные?
  • Ведётся ли журнал каждого вызова с аргументами и результатами?
  • Что происходит, когда запрос не удаётся или выполняется медленно?
  • Может ли человек одобрять значимые действия?
  • Как проверяется личность звонящего до того, как ему сообщают сведения?
  • Можно ли протестировать инструменты на реалистичном речевом вводе до запуска?

Об оценке читайте в статье «Как оценивать разговоры голосового агента».

Частые вопросы

Что такое вызов функций простыми словами?

Это способ, которым ИИ-модель просит вашу программу что-то сделать, например найти заказ. Модель формулирует запрос, ваша система выполняет его и возвращает результат, который модель объясняет.

ИИ сам выполняет функцию?

Нет. Модель только предлагает вызов. Проверяет и выполняет его ваш собственный код — именно там можно применять правила, ограничения и вести журнал.

Безопасно ли разрешать голосовому агенту менять записи?

Это можно делать осторожно, но начинайте с запросов только на чтение. Для всего, что меняет данные, добавляйте подтверждение, ограничения и одобрение человеком там, где ставки высоки.

Почему из-за запроса звонок кажется медленным?

Каждый шаг занимает время: решение о вызове, выполнение, составление ответа и его озвучивание. Быстрые инструменты, короткое подтверждение и один запрос на реплику удерживают задержку в приемлемых пределах.

Может ли звонящий обманом заставить агента неправильно использовать инструмент?

Попытаться может. Проверяйте аргументы, контролируйте права в своём коде и давайте агенту узкие инструменты, чтобы ошибочный запрос не мог причинить реального вреда.

Ищет ли ИИ-агент Call данные в моих системах?

Агент Call работает по своим инструкциям, скрипту и источникам знаний и во время звонка ничего не записывает, не отправляет и не подтверждает. Держите меняющиеся факты в его источниках, а последующую работу поручайте сотрудникам.

Посмотрите, как ИИ-агент Call отвечает по вашим источникам

В демо-консоли можно попробовать входящие звонки в режиме симуляции.

Похожие руководства

Технологии голосового ИИ

Промпты для качественных резюме звонков: шаблоны и проверка

Как написать промпт, превращающий расшифровку звонка в короткую точную заметку: для кого она, что в неё включать, правила против выдумок и как её проверить.

Редакция Call ·
Технологии голосового ИИ

Анализ тональности звонков: применение, ограничения, ответственность

Что измеряет анализ тональности звонков, где он помогает с сортировкой и трендами, где вводит в заблуждение и как избежать несправедливых автоматических решений.

Редакция Call ·
Технологии голосового ИИ

SIP-транк: как деловые звонки идут через интернет

Что такое SIP-транк, чем он отличается от обычных телефонных линий, что проверить по кодекам, каналам и резервированию и как выбрать провайдера.

Редакция Call ·
Технологии голосового ИИ

Модели speech-to-speech и каскадные голосовые конвейеры: сравнение

Два способа построить телефонного голосового агента: модели speech-to-speech и каскадные конвейеры. Сильные и слабые стороны и как выбрать по результатам тестов.

Редакция Call ·