Технології голосового ШІ

Моделі speech-to-speech і каскадні голосові конвеєри: порівняння

Два способи побудувати телефонного голосового агента: моделі speech-to-speech і каскадні конвеєри. Сильні й слабкі сторони кожного та як обрати за допомогою тестів.

Редакція Call · Опубліковано · Читати 5 хв

Коли ви чуєте, як говорить голосовий агент, за цим зазвичай стоїть одна з двох архітектур. У першій програма перетворює мовлення абонента на текст, мовна модель пише текстову відповідь, а голосовий рушій зачитує її. У другій одна модель слухає звук і відповідає звуком. Постачальники сперечаються, що краще. Чесна відповідь: кожен підхід чимось поступається.

Інженери порівнюють звукові хвилі на екрані ноутбука
Ілюстрація

Цей посібник простою мовою порівнює обидва підходи, щоб ви могли ставити кращі запитання, обираючи платформу. Для ширшого вступу почніть із матеріалу Як голосовий ШІ працює під час телефонного дзвінка.

Каскадний конвеєр

Каскадний конвеєр, який іноді описують як «мовлення в текст, потім модель, потім текст у мовлення», роками був стандартним підходом. Кожен етап — окремий компонент, а між ними передається текст.

Каскадний конвеєр

  1. Розпізнавання мовленняПеретворює звук абонента на текст.
  2. Мовна модельЧитає текст разом з інструкціями й джерелами та пише відповідь.
  3. Синтез мовленняПеретворює текст відповіді на усне мовлення.
  4. ТелефоніяПередає звук від абонента й до нього.

Оскільки посередині системи — звичайний текст, його можна читати, шукати, зберігати, перевіряти на відповідність правилам і замінювати будь-який етап. Можна поставити систему розпізнавання, що краще справляється з акцентами ваших абонентів, або голос, що пасує вашому бренду.

Підхід speech-to-speech

Модель speech-to-speech, яку також називають наскрізною (end-to-end) або нативною аудіомоделлю, працює зі звуком безпосередньо. Вона слухає сам звук і генерує звук на виході, хоча багато таких систем також створюють текст для журналів.

Speech-to-speech

  1. Звук на входіГолос абонента йде прямо в модель.
  2. Одна модельВона інтерпретує зміст, тон і таймінг та планує відповідь.
  3. Звук на виходіВона безпосередньо генерує усну відповідь.
  4. ТелефоніяЗвук передається від абонента й до нього.

Привабливість у тому, що між етапами нічого не губиться. Пауза, сміх, вагання чи зітхання можуть вплинути на відповідь, а модель може почати говорити раніше, бо не чекає трьох окремих кроків.

Порівняння пліч-о-пліч

Каскадний конвеєр проти speech-to-speech

КаскаднийSpeech-to-speech
ПриродністьЗалежить від кожного етапу; може відчуватися поетапністьЧасто плавніше, таймінг і тон зберігаються
Час відповідіСума трьох етапів, яку можна оптимізуватиПотенційно коротший, бо менше передач
КонтрольВисокий: правила можна застосовувати до тексту на кожному кроціНижчий: важче побачити, що відбувається всередині
Розшифровки й журналиПриродний побічний продуктЗазвичай створюються окремо й можуть відрізнятися від сказаного
Заміна компонентівЛегко: можна окремо змінити розпізнавання чи голосОбмежена тим, що пропонує модель
Вибір голосуШирокий вибір голосівЧасто менший набір
ЗрілістьТривала історія використанняНовіший, швидко змінюється

Обережно ставтеся до будь-яких заяв про абсолютну перевагу. Якість різниться між продуктами в межах кожної категорії, а результати на чистому демо можуть не підтвердитися на зашумленому мобільному дзвінку.

Що важливо для телефонних дзвінків

Телефонний звук вузький і зашумлений

Телефонний звук стиснений і часто зашумлений. Хоч яку архітектуру ви оберете, перевірте, як вона працює на справжньому телефонному звуці, а не лише на студійних записах. Чому телефонний звук складний для розпізнавання мовлення — матеріал, що пояснює цей ефект.

Контроль і можливість аудиту

Якщо ви мусите показати, що сказав агент і чому, текст на кожному етапі допомагає. Каскадна архітектура дає змогу вставити перевірку між відповіддю моделі й голосом. З наскрізною моделлю ви більше покладаєтеся на засоби контролю постачальника й на тестування. Перегляньте матеріал Запобіжники для голосових ШІ-агентів і вирішіть, що вам потрібно забезпечити.

Перебивання й таймінг

Нативні аудіомоделі часто плавніше справляються з накладанням і перебиваннями, бо чують абонента безперервно. Каскадні системи покладаються на визначення мовлення й тиші, щоб вирішити, коли зупинитися й почати; дивіться матеріали Виявлення голосової активності і Черговість реплік у голосових агентах. Краща інженерія може скоротити цей розрив, і він може й далі змінюватися.

Мови й акценти

Перевіряйте важливі для вас мови й акценти тестуванням, а не приймайте на віру перелік із брошури. Модель, сильна в одній мові, може бути слабшою в іншій, і те саме стосується окремих етапів конвеєра.

Вибір для вашої ситуації

Кілька умовних сценаріїв показують, як пріоритети тягнуть у різні боки.

Запитання до постачальника

  • Які етапи використовує система і чи можу я їх змінити?
  • Чи отримую я розшифровку кожного дзвінка і чи це те, що почула модель?
  • Як забезпечуються правила й обмеження?
  • Як система поводиться на мобільних і зашумлених лініях?
  • Який типовий час відповіді в справжніх телефонних дзвінках?
  • Як обробляються перебивання?
  • Що потім відбувається зі звуком і текстом?

Де межа розмивається

Ці дві категорії не такі чіткі, як подає маркетинг. Багато продуктів speech-to-speech усе ж створюють розшифровку разом зі звуком, а багато каскадних продуктів передають часткові результати між етапами потоково, тож мовлення починається ще до того, як модель допише відповідь. Деякі системи використовують нативну аудіомодель для розмови й текстовий крок для пошуку даних чи перевірки правил. Коли постачальник каже, що його продукт наскрізний, запитайте, що саме наскрізне і де все-таки з'являється текст.

Це важливо, бо практичні запитання не змінюються. Де можна прочитати, що було сказано? Де можна забезпечити правило? Як виявляється неправильна відповідь? Гібрид, що дає надійну розшифровку й природний голос, може бути розумною золотою серединою — за умови, що ви можете перевірити обидві частини.

Чесне тестування

Порівняння легко ненавмисно підлаштувати. Використовуйте той самий сценарій, той самий тип телефонної лінії й той самий фоновий шум для кожного кандидата. Тестуйте з мобільного в авто чи на вулиці, а не лише з тихої кімнати. Додайте незручні моменти, які створюють справжні абоненти: виправлення посеред речення, ім'я по літерах, запитання поза темою й прохання з'єднати з людиною.

Оцінюйте кожен дзвінок за кількома простими пунктами: чи правильна відповідь, чи дочекався агент абонента, яка пауза перед кожною відповіддю і як завершився дзвінок. Невеликий набір дзвінків, оцінених послідовно, скаже більше, ніж відшліфоване демо.

Підхід Call

Практичний урок такий: архітектура важить менше, ніж поведінка у ваших дзвінках. У Call ШІ-агент починає говорити, щойно готова перша частина відповіді, заздалегідь готує привітання для вихідних дзвінків і тримає відповіді короткими. Ви задаєте голос і параметри транскрибера, тестуєте, телефонуючи на власний номер, і потім читаєте розмову в історії дзвінків. Хоч би яка технологія лежала в основі, вимагайте від неї того самого: чи відповідає вона точно, чи ввічливо передає розмову і чи прийнятно звучить для ваших абонентів? Показники з матеріалу Як оцінювати розмови голосового агента застосовні до обох підходів.

Часті запитання

Що таке модель speech-to-speech?

Це модель, яка приймає на вході усне мовлення й видає на виході усне мовлення без окремого текстового етапу між розпізнаванням і синтезом.

Що таке каскадний голосовий конвеєр?

Це ланцюжок із розпізнавання мовлення, мовної моделі й синтезу мовлення, між етапами якого передається текст.

Що звучить природніше?

Системи speech-to-speech часто описують як плавніші, але якість різниться між продуктами. Оцінюйте, прослуховуючи дзвінки, схожі на ваші.

Що легше перевіряти?

Каскадні конвеєри створюють текст на кожному кроці, тож журнали, перевірки й правила простіші. У разі наскрізних моделей з'ясуйте, що записує постачальник і наскільки це надійно.

Чи можна поєднувати обидва підходи?

Деякі платформи їх поєднують, наприклад використовуючи каскадну архітектуру для певних дзвінків. Запитайте, як система працює з розшифровками й правилами в кожному режимі.

Чи впливає вибір на вартість?

Може впливати, але ціни й моделі змінюються, тож запитайте в постачальника чинні умови й порівнюйте їх з виміряними результатами, а не з рекламними заявами.

Протестуйте ШІ-агента на власній телефонній лінії з Call

У демоконсолі можна випробувати вхідні дзвінки в симуляції.

Схожі посібники

Технології голосового ШІ

Промпти для кращих резюме дзвінків: шаблони й тести

Як написати промпт, що перетворює розшифровку дзвінка на коротку точну нотатку: для кого вона, що включати, правила проти вигадок і як це протестувати.

Редакція Call ·
Технології голосового ШІ

Аналіз тональності дзвінків: користь, межі й відповідальність

Що вимірює аналіз тональності дзвінків, де він допомагає сортувати й бачити тенденції, де вводить в оману і як уникнути несправедливих автоматичних рішень.

Редакція Call ·
Технології голосового ШІ

Основи SIP-транкінгу: як бізнес-дзвінки передаються через інтернет

Що таке SIP-транк, чим він відрізняється від традиційних телефонних ліній, що перевірити щодо кодеків, каналів і резервування та як обрати провайдера.

Редакція Call ·
Технології голосового ШІ

Чому телефонний звук складний для розпізнавання мовлення

Чому вузькосмуговий, стиснений і зашумлений телефонний звук заважає розпізнаванню мовлення, як помітити симптоми і що можна виправити в налаштуваннях і сценарії.

Редакція Call ·