Технологии голосового ИИ

Как работает голосовой ИИ: распознавание речи, LLM и синтез речи

Простой обзор устройства голосовых ИИ-агентов для телефона: речь в текст, языковая модель, текст в речь, очерёдность реплик, задержки и передача человеку.

Редакция Call · Опубликовано · Читать 5 мин

Телефонный разговор с ИИ-агентом может казаться магией или головоломкой — в зависимости от того, работает ли он. За ним стоит довольно простая идея: превратить голос звонящего в текст, позволить языковой модели решить, что сказать, и превратить ответ обратно в речь, причём достаточно быстро, чтобы это напоминало беседу. В руководстве объясняется каждый этап, где что идёт не так и что это значит для настройки агента. Для общей картины начните со статьи Что такое ИИ-приём звонков?.

Телефон рядом со схемой, где звуковые волны превращаются в текст и снова в речь
Иллюстрация

Базовый цикл звонка с голосовым ИИ

  1. СлушатьЗвук от звонящего захватывается и очищается.
  2. РасшифроватьРаспознавание речи превращает звук в слова.
  3. РешитьЯзыковая модель выбирает, что сказать или сделать дальше.
  4. ПроизнестиСинтез речи превращает ответ в звук.
  5. ПовторитьЦикл идёт на каждой реплике, пока звонок не завершится или не будет передан.

Этап первый: речь в текст

Распознавание речи превращает звук в слова. На телефонной линии звук узкополосный и сжатый, что делает задачу труднее, чем студийная запись. На точность влияют акценты, фоновый шум, одновременная речь и необычные имена. Современные системы хорошо справляются с обычной речью, но числа, написание по буквам, имена и специальные слова, такие как лекарства или названия улиц, — частые слабые места.

Подробнее — в статьях распознавание речи в телефонных звонках, обработка чисел и имён и акценты и диалекты.

Этап второй: языковая модель

Большая языковая модель читает расшифровку на данный момент вместе с написанными вами инструкциями и предоставленной информацией и выдаёт следующий ответ. Она не ищет ничего сама; она полагается на то, что ей дали. Поэтому промпт и база знаний так важны. Модель может звучать бегло и при этом ошибаться, поэтому ограничители и тестирование необходимы.

Что формирует ответ модели

  • ИнструкцииРоль, тон, правила и ограничения, которые вы ей задаёте.
  • ЗнанияДокументы, вопросы и ответы и факты, на которые она может опираться.
  • Разговор до сих порЧто было сказано в этом звонке.
  • ИнструментыДействия, которые она может выполнять, например найти заказ или записать сообщение.

Глубже раскрывают такие материалы, как промптинг телефонного агента, RAG для голосовых агентов, галлюцинации и ограничители . Промпт, говорящий, что делать при неуверенности, например предложить человека или принять сообщение, предотвращает многие проблемы.

Этап третий: текст в речь

Синтез речи превращает ответ в звук. Голоса различаются по чёткости, теплоте и тому, как они обрабатывают паузы, числа и имена на вашем языке. Некоторые можно настраивать или корректировать словарём произношения. Выбирайте голос ради чёткости на телефонной линии, а не ради новизны, и проверяйте его на тех фразах, которые он будет произносить. Пример языковых особенностей — в статье синтез речи на японском , а о согласии и рисках при использовании собственного голоса — в статье клонирование голоса .

Почему время определяет впечатление

В человеческом разговоре реплики быстрые. Пауза больше секунды кажется странной. В трёхэтапном конвейере каждый шаг добавляет задержку, а модели может потребоваться время подумать. Разработчики сокращают задержку потоковой обработкой: начинают говорить, прежде чем готов весь ответ, и начинают расшифровку, прежде чем звонящий закончил. Они также настраивают момент, когда решается, что звонящий закончил.

Конвейер и «речь в речь»

Трёхэтапный конвейерМодель «речь в речь»
Как работаетРаздельные распознавание, модель и голосОдна модель обрабатывает входящий и исходящий звук
УправлениеКаждый этап можно настраивать или заменятьМенее прозрачно, более интегрировано
ЗадержкаСкладывается по этапамМожет быть ниже
РасшифровкаТекст доступен на каждом шагеДля получения текста может потребоваться дополнительная работа
ЗрелостьШироко используетсяНовее, быстро меняется

Модели «речь в речь» — более новый подход. В любом случае задержка, перебивания и очерёдность реплик определяют, будет ли агент казаться естественным.

Перебивания

Люди перебивают. Хороший агент перестаёт говорить, когда звонящий начинает, и не принимает кашель или фоновый голос за перебивание. Это зависит от обнаружения речи, о чём рассказывает статья определение голосовой активности. Плохо настроенные системы либо говорят поверх звонящих, либо ждут слишком долго.

Инструменты, знания и действия

Голосовой агент становится полезным, когда умеет больше, чем болтать. С подключёнными инструментами он может искать информацию, записывать сообщение, отмечать запрос на обратный звонок или передавать звонок человеку. У каждого инструмента должна быть узкая цель и чёткие правила. Агент может принять заявку на приём; подтвердить её — другое дело, и многие компании предпочитают, чтобы это делал человек. Как инструменты описываются модели, объясняет статья Вызов функций .

Что происходит со звуком и текстом

Каждый этап обрабатывает персональные данные. Звук содержит голос; расшифровка — то, что было сказано, часто включая имена, адреса и причины звонка. Перед внедрением узнайте, где работает каждый этап, что хранится, как долго и кто может это читать. Решите, должен ли агент вообще собирать чувствительные сведения, такие как платёжные или медицинские данные, или передавать их человеку. Подробнее — в статье Проектирование голосового ИИ с учётом конфиденциальности .

Держите задачу агента узкой. Агента, который отвечает на частые вопросы, принимает сообщение и передаёт дальше, проще тестировать, проще объяснять звонящим и проще удерживать в рамках ваших обещаний по конфиденциальности, чем того, кто пытается делать всё.

Чего ожидать на практике

Ожидайте хорошего результата на простых предсказуемых звонках: часы работы, как проехать, базовые вопросы, приём сообщения. Ожидайте больших трудностей с долгими, эмоциональными или неоднозначными звонками, сильными акцентами, плохими линиями и просьбами, требующими суждения. Разумное внедрение начинается с небольшого набора типов звонков, сначала прослушивает каждый звонок, затем расширяется по мере роста уверенности. Стоит запомнить: агент создан помогать в определённых задачах, а не заменять суждение.

Где всё идёт не так

Проектируйте с учётом этого. Упростите связь с человеком, делайте ответы короткими, подтверждайте важные данные, такие как числа и даты, и регулярно разбирайте реальные звонки. Как это делать, объясняют статьи Тестирование голосового агента и метрики оценки .

Как это делается в Call

В Call ИИ-агент собирается из персоны и промпта, голоса, языка и источников знаний, затем тестируется на экране и по телефону, прежде чем включается для линии. Call позволяет выбирать среди голосов, настраивать произношение словарём, регулировать распознавание речи и поддерживать источники в актуальном состоянии. Агент рассчитан на то, чтобы соединять звонящих с человеком по просьбе, и может принять сообщение. Пока вы не включили агента для линии, звонки поступают вашей команде. Всегда сначала тестируйте на собственных звонках. Шаги описаны в статье Настройка ИИ-агента в Call .

Частые вопросы

Каковы три части голосового ИИ-агента?

Речь в текст, чтобы слышать звонящего, языковая модель, чтобы решать, что сказать, и текст в речь, чтобы произнести ответ. Некоторые новые системы объединяют их.

Почему ИИ иногда делает паузу перед ответом?

Каждому этапу нужно время, а системе нужно решить, что звонящий закончил. Потоковая обработка и настройка могут сократить паузу, но не убрать её.

Может ли ИИ выдумывать?

Да. Языковая модель может выдавать правдоподобные, но неверные ответы. Дайте ей хорошие знания, чёткие ограничения и инструкцию предлагать человека при неуверенности.

Может ли голосовой агент записывать на приём?

Он может принять заявку и передать дальше. Многие компании предпочитают, чтобы подтверждал человек, поэтому решите, что агенту разрешено обещать.

Нужно ли сообщать звонящим, что это ИИ?

Во многих местах люди ожидают этого или вправе знать. Скажите об этом ясно в начале звонка и проверьте применимые вам правила.

Как проверить, что всё работает?

Тестируйте на реальных звонках с разными акцентами и уровнями шума, прослушивайте результаты и ведите список вопросов, который перепроверяете после каждого изменения.

Попробуйте голосового ИИ-агента на своей линии в Call

В демо-консоли можно попробовать входящие звонки в режиме симуляции.

Похожие руководства

Технологии голосового ИИ

Промпты для качественных резюме звонков: шаблоны и проверка

Как написать промпт, превращающий расшифровку звонка в короткую точную заметку: для кого она, что в неё включать, правила против выдумок и как её проверить.

Редакция Call ·
Технологии голосового ИИ

Анализ тональности звонков: применение, ограничения, ответственность

Что измеряет анализ тональности звонков, где он помогает с сортировкой и трендами, где вводит в заблуждение и как избежать несправедливых автоматических решений.

Редакция Call ·
Технологии голосового ИИ

SIP-транк: как деловые звонки идут через интернет

Что такое SIP-транк, чем он отличается от обычных телефонных линий, что проверить по кодекам, каналам и резервированию и как выбрать провайдера.

Редакция Call ·
Технологии голосового ИИ

Модели speech-to-speech и каскадные голосовые конвейеры: сравнение

Два способа построить телефонного голосового агента: модели speech-to-speech и каскадные конвейеры. Сильные и слабые стороны и как выбрать по результатам тестов.

Редакция Call ·