Модели speech-to-speech и каскадные голосовые конвейеры: сравнение
Два способа построить телефонного голосового агента: модели speech-to-speech и каскадные конвейеры. Сильные и слабые стороны и как выбрать по результатам тестов.
Когда вы слышите голосового агента, за ним обычно стоит одна из двух архитектур. В первой программа превращает речь звонящего в текст, языковая модель пишет текстовый ответ, а голосовой движок читает его вслух. Во второй одна модель слушает аудио и отвечает аудио. Поставщики спорят, что лучше. Честный ответ: каждый вариант чем-то жертвует.

В этом руководстве оба подхода сравниваются простым языком, чтобы при выборе платформы вы могли задавать более точные вопросы. Для общего знакомства начните со статьи «Как голосовой ИИ работает в телефонном звонке».
Каскадный конвейер
Каскадный конвейер, который иногда описывают как «речь в текст, затем модель, затем текст в речь», уже много лет остаётся стандартным подходом. Каждый этап — отдельный компонент, а между ними передаётся текст.
Каскадный конвейер
- Распознавание речиПреобразует аудио звонящего в текст.
- Языковая модельЧитает текст вместе с инструкциями и источниками и пишет ответ.
- Синтез речиПревращает текст ответа в устную речь.
- ТелефонияПередаёт аудио к звонящему и от него.
Поскольку в середине системы — обычный текст, его можно читать, искать, хранить, проверять на соответствие правилам и заменять любой этап. Можно подключить распознаватель, который лучше справляется с акцентами ваших звонящих, или голос, подходящий вашему бренду.
Подход speech-to-speech
Модель speech-to-speech, которую также называют сквозной или нативной аудиомоделью, работает с аудио напрямую. Она слушает сам звук и генерирует звук на выходе, хотя многие такие системы также выдают текст для журналов.
Speech-to-speech
- Аудио на входеГолос звонящего поступает прямо в модель.
- Одна модельОна интерпретирует смысл, тон и тайминг и планирует ответ.
- Аудио на выходеОна напрямую генерирует устный ответ.
- ТелефонияАудио передаётся к звонящему и от него.
Привлекательность в том, что между этапами ничего не теряется. Пауза, смех, колебание или вздох могут повлиять на ответ, а модель может заговорить раньше, потому что не ждёт трёх отдельных шагов.
Рядом друг с другом
Каскадный конвейер и speech-to-speech
| Каскадный | Speech-to-speech | |
|---|---|---|
| Естественность | Зависит от каждого этапа; может ощущаться ступенчатой | Часто плавнее, тайминг и тон сохраняются |
| Время ответа | Сумма трёх этапов, которую можно настраивать | Потенциально меньше, так как меньше передач |
| Контроль | Высокий: правила применимы к тексту на каждом шаге | Ниже: труднее увидеть, что происходит внутри |
| Расшифровки и журналы | Естественный побочный продукт | Обычно создаются отдельно и могут отличаться от сказанного |
| Замена компонентов | Легко: можно поменять только распознаватель или голос | Ограничена тем, что предлагает модель |
| Выбор голоса | Широкий выбор голосов | Часто набор меньше |
| Зрелость | Долгая история применения | Новее, быстро меняется |
К заявлениям об абсолютном превосходстве относитесь с осторожностью. Качество различается между продуктами внутри каждой категории, а результаты чистой демонстрации могут не подтвердиться на шумном мобильном звонке.
Что важно для телефонных звонков
Телефонный звук узкополосный и шумный
Телефонный звук сжат и часто зашумлён. Какую бы архитектуру вы ни выбрали, проверьте, как она работает на реальном телефонном звуке, а не только на студийных записях. Этот эффект объясняется в статье «Почему телефонный звук труден для распознавания речи».
Контроль и проверяемость
Если вам нужно показать, что сказал агент и почему, помогает текст на каждом этапе. Каскадная архитектура позволяет вставить проверку между ответом модели и голосом. Со сквозной моделью вы больше полагаетесь на средства контроля поставщика и на тестирование. Изучите статью «Ограничители для голосовых ИИ-агентов» и решите, что вам нужно обеспечить принудительно.
Перебивания и тайминг
Нативные аудиомодели часто плавнее справляются с наложениями и перебиваниями, потому что слышат звонящего непрерывно. Каскадные системы решают, когда остановиться и когда начать, по обнаружению речи и тишины; см. статьи «Обнаружение голосовой активности» и «Очерёдность реплик у голосовых агентов». Хорошая инженерия может сократить разрыв, и он может продолжать меняться.
Языки и акценты
Проверяйте важные для вас языки и акценты тестированием, а не принимайте на веру список из брошюры. Модель, сильная в одном языке, может быть слабее в другом, и то же касается отдельных этапов конвейера.
Выбор под вашу ситуацию
Несколько условных сценариев показывают, как приоритеты тянут в разные стороны.
- Небольшая клиника, которой нужно, чтобы каждый звонок фиксировался с надёжной расшифровкой, а по нескольким темам звучали точные формулировки, может предпочесть каскадную архитектуру ради контроля.
- Линия консьерж-сервиса, где тёплый плавный разговор — главная цель, может оценить естественность модели speech-to-speech, если тесты покажут, что она держится фактов.
- Компания, которая хочет часто менять голоса или языки, может предпочесть гибкость отдельных компонентов.
- Команде со строгими внутренними требованиями к проверке может понадобиться убедиться, как любая сквозная система записывает и показывает сказанное.
Вопросы поставщику
- Какие этапы использует система и можно ли их менять?
- Получаю ли я расшифровку каждого звонка и то ли это, что услышала модель?
- Как обеспечивается соблюдение правил и ограничений?
- Как система ведёт себя на мобильных и шумных линиях?
- Каково типичное время ответа в реальных телефонных звонках?
- Как обрабатываются перебивания?
- Что потом происходит с аудио и текстом?
Где граница размывается
Эти две категории не так чётко разделены, как утверждает маркетинг. Многие продукты speech-to-speech по-прежнему выдают расшифровку вместе с аудио, а многие каскадные продукты передают промежуточные результаты между этапами потоком, так что речь начинается раньше, чем модель закончит писать. Некоторые системы используют нативную аудиомодель для разговора и текстовый этап для запросов данных или проверки правил. Когда поставщик говорит, что его продукт сквозной, спросите, что именно сквозное и где всё же появляется текст.
Это важно, потому что практические вопросы не меняются. Где можно прочитать, что было сказано? Где можно обеспечить соблюдение правила? Как перехватывается неверный ответ? Гибрид, который даёт надёжную расшифровку и естественный голос, может оказаться разумной золотой серединой — при условии, что вы можете проверить обе части.
Честное тестирование
Сравнение легко нечаянно подтасовать. Используйте для каждого кандидата один и тот же сценарий, тот же тип телефонной линии и тот же фоновый шум. Тестируйте с мобильного телефона в машине или на улице, а не только из тихой комнаты. Включите неудобные моменты, которые создают реальные звонящие: поправку посреди фразы, имя по буквам, вопрос не по теме и просьбу позвать человека.
Оценивайте каждый звонок по нескольким простым пунктам: был ли ответ верным, дождался ли агент звонящего, какой была пауза перед каждым ответом и чем закончился звонок. Скромный набор звонков, оценённых последовательно, скажет больше, чем отполированная демонстрация.
Как к этому подходит Call
Практический урок в том, что архитектура важна меньше, чем поведение на ваших звонках. В Call ИИ-агент начинает говорить, как только готова первая часть ответа, заранее готовит приветствия для исходящих звонков и отвечает коротко. Вы задаёте голос и параметры транскрибера, проверяете, позвонив на свой телефон, и затем читаете разговор в истории звонков. Какой бы ни была технология в основе, предъявляйте к ней одинаковые требования: точно ли она отвечает, вежливо ли передаёт звонок и приемлемо ли звучит для ваших звонящих? Показатели из статьи «Как оценивать разговоры голосового агента» применимы к обоим подходам.
Частые вопросы
Что такое модель speech-to-speech?
Это модель, которая принимает на вход устную речь и выдаёт устную речь на выходе, без отдельного текстового этапа между распознаванием и синтезом.
Что такое каскадный голосовой конвейер?
Это цепочка из распознавания речи, языковой модели и синтеза речи, в которой между этапами передаётся текст.
Что звучит естественнее?
Системы speech-to-speech часто называют более плавными, но качество различается между продуктами. Судите, прослушивая звонки, похожие на ваши.
Что проще проверять?
Каскадные конвейеры выдают текст на каждом шаге, поэтому журналы, проверки и правила проще. В случае сквозных моделей выясните, что записывает поставщик и насколько это надёжно.
Можно ли сочетать оба подхода?
Некоторые платформы их сочетают, например используют каскадную архитектуру для определённых звонков. Спросите, как система работает с расшифровками и правилами в каждом из режимов.
Влияет ли выбор на стоимость?
Может влиять, но цены и модели меняются, поэтому запросите у поставщика актуальные условия и сравнивайте их с измеренными результатами, а не с рекламными заявлениями.