Технологии голосового ИИ

Модели speech-to-speech и каскадные голосовые конвейеры: сравнение

Два способа построить телефонного голосового агента: модели speech-to-speech и каскадные конвейеры. Сильные и слабые стороны и как выбрать по результатам тестов.

Редакция Call · Опубликовано · Читать 5 мин

Когда вы слышите голосового агента, за ним обычно стоит одна из двух архитектур. В первой программа превращает речь звонящего в текст, языковая модель пишет текстовый ответ, а голосовой движок читает его вслух. Во второй одна модель слушает аудио и отвечает аудио. Поставщики спорят, что лучше. Честный ответ: каждый вариант чем-то жертвует.

Инженеры сравнивают звуковые волны на экране ноутбука
Иллюстрация

В этом руководстве оба подхода сравниваются простым языком, чтобы при выборе платформы вы могли задавать более точные вопросы. Для общего знакомства начните со статьи «Как голосовой ИИ работает в телефонном звонке».

Каскадный конвейер

Каскадный конвейер, который иногда описывают как «речь в текст, затем модель, затем текст в речь», уже много лет остаётся стандартным подходом. Каждый этап — отдельный компонент, а между ними передаётся текст.

Каскадный конвейер

  1. Распознавание речиПреобразует аудио звонящего в текст.
  2. Языковая модельЧитает текст вместе с инструкциями и источниками и пишет ответ.
  3. Синтез речиПревращает текст ответа в устную речь.
  4. ТелефонияПередаёт аудио к звонящему и от него.

Поскольку в середине системы — обычный текст, его можно читать, искать, хранить, проверять на соответствие правилам и заменять любой этап. Можно подключить распознаватель, который лучше справляется с акцентами ваших звонящих, или голос, подходящий вашему бренду.

Подход speech-to-speech

Модель speech-to-speech, которую также называют сквозной или нативной аудиомоделью, работает с аудио напрямую. Она слушает сам звук и генерирует звук на выходе, хотя многие такие системы также выдают текст для журналов.

Speech-to-speech

  1. Аудио на входеГолос звонящего поступает прямо в модель.
  2. Одна модельОна интерпретирует смысл, тон и тайминг и планирует ответ.
  3. Аудио на выходеОна напрямую генерирует устный ответ.
  4. ТелефонияАудио передаётся к звонящему и от него.

Привлекательность в том, что между этапами ничего не теряется. Пауза, смех, колебание или вздох могут повлиять на ответ, а модель может заговорить раньше, потому что не ждёт трёх отдельных шагов.

Рядом друг с другом

Каскадный конвейер и speech-to-speech

КаскадныйSpeech-to-speech
ЕстественностьЗависит от каждого этапа; может ощущаться ступенчатойЧасто плавнее, тайминг и тон сохраняются
Время ответаСумма трёх этапов, которую можно настраиватьПотенциально меньше, так как меньше передач
КонтрольВысокий: правила применимы к тексту на каждом шагеНиже: труднее увидеть, что происходит внутри
Расшифровки и журналыЕстественный побочный продуктОбычно создаются отдельно и могут отличаться от сказанного
Замена компонентовЛегко: можно поменять только распознаватель или голосОграничена тем, что предлагает модель
Выбор голосаШирокий выбор голосовЧасто набор меньше
ЗрелостьДолгая история примененияНовее, быстро меняется

К заявлениям об абсолютном превосходстве относитесь с осторожностью. Качество различается между продуктами внутри каждой категории, а результаты чистой демонстрации могут не подтвердиться на шумном мобильном звонке.

Что важно для телефонных звонков

Телефонный звук узкополосный и шумный

Телефонный звук сжат и часто зашумлён. Какую бы архитектуру вы ни выбрали, проверьте, как она работает на реальном телефонном звуке, а не только на студийных записях. Этот эффект объясняется в статье «Почему телефонный звук труден для распознавания речи».

Контроль и проверяемость

Если вам нужно показать, что сказал агент и почему, помогает текст на каждом этапе. Каскадная архитектура позволяет вставить проверку между ответом модели и голосом. Со сквозной моделью вы больше полагаетесь на средства контроля поставщика и на тестирование. Изучите статью «Ограничители для голосовых ИИ-агентов» и решите, что вам нужно обеспечить принудительно.

Перебивания и тайминг

Нативные аудиомодели часто плавнее справляются с наложениями и перебиваниями, потому что слышат звонящего непрерывно. Каскадные системы решают, когда остановиться и когда начать, по обнаружению речи и тишины; см. статьи «Обнаружение голосовой активности» и «Очерёдность реплик у голосовых агентов». Хорошая инженерия может сократить разрыв, и он может продолжать меняться.

Языки и акценты

Проверяйте важные для вас языки и акценты тестированием, а не принимайте на веру список из брошюры. Модель, сильная в одном языке, может быть слабее в другом, и то же касается отдельных этапов конвейера.

Выбор под вашу ситуацию

Несколько условных сценариев показывают, как приоритеты тянут в разные стороны.

Вопросы поставщику

  • Какие этапы использует система и можно ли их менять?
  • Получаю ли я расшифровку каждого звонка и то ли это, что услышала модель?
  • Как обеспечивается соблюдение правил и ограничений?
  • Как система ведёт себя на мобильных и шумных линиях?
  • Каково типичное время ответа в реальных телефонных звонках?
  • Как обрабатываются перебивания?
  • Что потом происходит с аудио и текстом?

Где граница размывается

Эти две категории не так чётко разделены, как утверждает маркетинг. Многие продукты speech-to-speech по-прежнему выдают расшифровку вместе с аудио, а многие каскадные продукты передают промежуточные результаты между этапами потоком, так что речь начинается раньше, чем модель закончит писать. Некоторые системы используют нативную аудиомодель для разговора и текстовый этап для запросов данных или проверки правил. Когда поставщик говорит, что его продукт сквозной, спросите, что именно сквозное и где всё же появляется текст.

Это важно, потому что практические вопросы не меняются. Где можно прочитать, что было сказано? Где можно обеспечить соблюдение правила? Как перехватывается неверный ответ? Гибрид, который даёт надёжную расшифровку и естественный голос, может оказаться разумной золотой серединой — при условии, что вы можете проверить обе части.

Честное тестирование

Сравнение легко нечаянно подтасовать. Используйте для каждого кандидата один и тот же сценарий, тот же тип телефонной линии и тот же фоновый шум. Тестируйте с мобильного телефона в машине или на улице, а не только из тихой комнаты. Включите неудобные моменты, которые создают реальные звонящие: поправку посреди фразы, имя по буквам, вопрос не по теме и просьбу позвать человека.

Оценивайте каждый звонок по нескольким простым пунктам: был ли ответ верным, дождался ли агент звонящего, какой была пауза перед каждым ответом и чем закончился звонок. Скромный набор звонков, оценённых последовательно, скажет больше, чем отполированная демонстрация.

Как к этому подходит Call

Практический урок в том, что архитектура важна меньше, чем поведение на ваших звонках. В Call ИИ-агент начинает говорить, как только готова первая часть ответа, заранее готовит приветствия для исходящих звонков и отвечает коротко. Вы задаёте голос и параметры транскрибера, проверяете, позвонив на свой телефон, и затем читаете разговор в истории звонков. Какой бы ни была технология в основе, предъявляйте к ней одинаковые требования: точно ли она отвечает, вежливо ли передаёт звонок и приемлемо ли звучит для ваших звонящих? Показатели из статьи «Как оценивать разговоры голосового агента» применимы к обоим подходам.

Частые вопросы

Что такое модель speech-to-speech?

Это модель, которая принимает на вход устную речь и выдаёт устную речь на выходе, без отдельного текстового этапа между распознаванием и синтезом.

Что такое каскадный голосовой конвейер?

Это цепочка из распознавания речи, языковой модели и синтеза речи, в которой между этапами передаётся текст.

Что звучит естественнее?

Системы speech-to-speech часто называют более плавными, но качество различается между продуктами. Судите, прослушивая звонки, похожие на ваши.

Что проще проверять?

Каскадные конвейеры выдают текст на каждом шаге, поэтому журналы, проверки и правила проще. В случае сквозных моделей выясните, что записывает поставщик и насколько это надёжно.

Можно ли сочетать оба подхода?

Некоторые платформы их сочетают, например используют каскадную архитектуру для определённых звонков. Спросите, как система работает с расшифровками и правилами в каждом из режимов.

Влияет ли выбор на стоимость?

Может влиять, но цены и модели меняются, поэтому запросите у поставщика актуальные условия и сравнивайте их с измеренными результатами, а не с рекламными заявлениями.

Протестируйте ИИ-агента на собственной телефонной линии с Call

В демо-консоли можно попробовать входящие звонки в режиме симуляции.

Похожие руководства

Технологии голосового ИИ

Промпты для качественных резюме звонков: шаблоны и проверка

Как написать промпт, превращающий расшифровку звонка в короткую точную заметку: для кого она, что в неё включать, правила против выдумок и как её проверить.

Редакция Call ·
Технологии голосового ИИ

Анализ тональности звонков: применение, ограничения, ответственность

Что измеряет анализ тональности звонков, где он помогает с сортировкой и трендами, где вводит в заблуждение и как избежать несправедливых автоматических решений.

Редакция Call ·
Технологии голосового ИИ

SIP-транк: как деловые звонки идут через интернет

Что такое SIP-транк, чем он отличается от обычных телефонных линий, что проверить по кодекам, каналам и резервированию и как выбрать провайдера.

Редакция Call ·
Технологии голосового ИИ

Почему телефонный звук труден для распознавания речи и что помогает

Почему узкополосный, сжатый и зашумлённый телефонный звук мешает распознаванию речи, как заметить симптомы и что можно исправить в настройке и сценарии.

Редакция Call ·