Technologie hlasové AI

Modely speech-to-speech vs. kaskádové hlasové řetězce

Dva způsoby, jak postavit telefonního hlasového agenta: modely speech-to-speech a kaskádové řetězce. V čem vynikají, kde jsou slabé a jak volit na základě testů.

Redakce Call · Zveřejněno · Čtení na 5 min

Když slyšíte mluvit hlasového agenta, obvykle za ním stojí jeden ze dvou návrhů. V prvním software převede řeč volajícího na text, jazykový model napíše textovou odpověď a hlasový engine ji přečte nahlas. Ve druhém jediný model poslouchá zvuk a odpovídá zvukem. Dodavatelé se přou, který je lepší. Upřímná odpověď je, že každý něco obětuje.

Inženýři porovnávají zvukové průběhy na obrazovce notebooku
Ilustrační obrázek

Tento průvodce oba přístupy srozumitelně porovnává, abyste při výběru platformy mohli klást lepší otázky. Pro širší úvod začněte článkem Jak funguje hlasová AI v telefonním hovoru.

Kaskádový řetězec

Kaskádový řetězec, někdy označovaný jako převod řeči na text, pak model, pak převod textu na řeč, je standardním přístupem už roky. Každá fáze je samostatnou součástí a mezi nimi se předává text.

Kaskádový řetězec

  1. Rozpoznávání řečiPřevádí zvuk volajícího na text.
  2. Jazykový modelČte text spolu s pokyny a zdroji a píše odpověď.
  3. Syntéza řečiPřevádí text odpovědi na mluvený zvuk.
  4. TelefoniePřenáší zvuk k volajícímu a od něj.

Protože uprostřed systému je prostý text, můžete ho číst, prohledávat, ukládat, kontrolovat podle pravidel a kteroukoli fázi vyměnit. Můžete nasadit rozpoznávač, který lépe zvládá přízvuky vašich volajících, nebo hlas, který sedí vaší značce.

Přístup speech-to-speech

Model speech-to-speech, označovaný také jako end-to-end nebo nativní zvukový model, pracuje přímo se zvukem. Poslouchá samotný zvuk a jako výstup generuje zvuk, i když mnoho takových systémů vytváří také text pro záznamy.

Speech-to-speech

  1. Zvuk na vstupuHlas volajícího jde přímo do modelu.
  2. Jeden modelInterpretuje význam, tón a načasování a plánuje odpověď.
  3. Zvuk na výstupuPřímo generuje mluvenou odpověď.
  4. TelefonieZvuk putuje k volajícímu a od něj.

Přitažlivé je, že se mezi fázemi nic neztrácí. Pauza, smích, váhání nebo povzdech mohou ovlivnit odpověď a model může začít mluvit dřív, protože nečeká na tři samostatné kroky.

Vedle sebe

Kaskádový versus speech-to-speech

KaskádovýSpeech-to-speech
PřirozenostZávisí na každé fázi; může působit po krocíchČasto plynulejší, se zachovaným načasováním a tónem
Doba odezvySoučet tří fází, které lze laditPotenciálně kratší díky menšímu počtu předávek
KontrolaVysoká: pravidla lze uplatnit na text v každém krokuNižší: hůř se kontroluje, co se děje uvnitř
Přepisy a záznamyPřirozený vedlejší produktObvykle se generují zvlášť a mohou se lišit od toho, co zaznělo
Výměna částíSnadná: lze změnit jen rozpoznávač nebo hlasOmezená na to, co model nabízí
Výběr hlasuŠiroký výběr hlasůČasto menší nabídka
VyspělostDlouhá historieNovější, rychle se mění

Ke každému tvrzení o absolutní převaze přistupujte opatrně. Kvalita se liší mezi produkty v rámci každé kategorie a výsledky z čisté ukázky nemusí platit pro hlučný hovor z mobilu.

Na čem záleží u telefonních hovorů

Telefonní zvuk je úzký a hlučný

Telefonní zvuk je komprimovaný a často hlučný. Ať zvolíte jakýkoli návrh, ověřte, jak si vede na skutečném telefonním zvuku, ne jen na studiových nahrávkách. Proč je telefonní zvuk pro rozpoznávání řeči obtížný tento vliv vysvětluje.

Kontrola a auditovatelnost

Pokud musíte doložit, co agent řekl a proč, pomáhá text v každé fázi. Kaskádový návrh umožňuje vložit kontrolu mezi odpověď modelu a hlas. U end-to-end modelu se víc spoléháte na kontroly dodavatele a na testování. Projděte si článek Ochranné mechanismy pro hlasové AI agenty a rozhodněte, co potřebujete vynucovat.

Přerušení a načasování

Nativní zvukové modely často zvládají překryvy a přerušení plynuleji, protože volajícího slyší nepřetržitě. Kaskádové systémy se při rozhodování, kdy přestat a kdy začít, spoléhají na detekci řeči a ticha; viz Detekce hlasové aktivity a Střídání řeči u hlasových agentů. Lepší inženýrství může rozdíl zmenšit a rozdíl se může dál měnit.

Jazyky a přízvuky

Jazyky a přízvuky, na kterých vám záleží, ověřte testováním, místo abyste přijali seznam z brožury. Model silný v jednom jazyce může být v jiném slabší a totéž platí pro jednotlivé fáze řetězce.

Volba pro vaši situaci

Několik fiktivních scénářů ukazuje, jak priority táhnou různými směry.

Otázky pro dodavatele

  • Které fáze systém používá a mohu je měnit?
  • Dostanu přepis každého hovoru a odpovídá tomu, co model slyšel?
  • Jak se vynucují pravidla a limity?
  • Jak se chová na mobilních a hlučných linkách?
  • Jaké jsou typické doby odezvy ve skutečných telefonních hovorech?
  • Jak se zvládají přerušení?
  • Co se poté děje se zvukem a textem?

Kde se hranice stírá

Obě kategorie nejsou tak ostře oddělené, jak naznačuje marketing. Mnoho produktů speech-to-speech stále vytváří přepis vedle zvuku a mnoho kaskádových produktů streamuje dílčí výsledky mezi fázemi, takže řeč začíná dřív, než model dopíše odpověď. Některé systémy používají nativní zvukový model pro rozhovor a textový krok pro vyhledávání nebo kontrolu pravidel. Když dodavatel tvrdí, že jeho produkt je end-to-end, zeptejte se, co přesně je end-to-end a kde se text stále objevuje.

Záleží na tom proto, že praktické otázky se nemění. Kde si můžete přečíst, co zaznělo? Kde lze vynutit pravidlo? Jak se zachytí chybná odpověď? Hybrid, který vám dá spolehlivý přepis i přirozený hlas, může být rozumnou střední cestou, pokud dokážete ověřit obě části.

Férové testování

Srovnání se dají snadno nechtěně zkreslit. Pro každého kandidáta použijte stejný scénář, stejný typ telefonní linky a stejný hluk v pozadí. Testujte z mobilu v autě nebo na ulici, ne jen z tiché místnosti. Zahrňte nepříjemné momenty, které vytvářejí skuteční volající: opravu uprostřed věty, hláskované jméno, otázku mimo rozsah a žádost o člověka.

Každý hovor ohodnoťte v několika jednoduchých bodech: byla odpověď správná, počkal agent na volajícího, jak dlouhá byla mezera před každou odpovědí a jak hovor skončil. Skromná sada hovorů hodnocená konzistentně vám řekne víc než uhlazená ukázka.

Jak k tomu přistupuje Call

Praktickým poučením je, že na architektuře záleží méně než na chování ve vašich hovorech. V Call AI agent začne mluvit, jakmile je připravena první část odpovědi, u odchozích hovorů připravuje pozdravy předem a odpovídá krátce. Nastavíte hlas a možnosti přepisu řeči, testujete prozvoněním vlastního telefonu a rozhovor si poté přečtete v historii hovorů. Ať je základní technologie jakákoli, měřte ji stejným metrem: odpovídá přesně, předává hovor zdvořile a zní pro vaše volající přijatelně? Ukazatele z článku Jak hodnotit rozhovory hlasového agenta platí pro oba přístupy.

Často kladené otázky

Co je model speech-to-speech?

Je to model, který přijímá mluvený zvuk jako vstup a vytváří mluvený zvuk jako výstup, bez samostatné textové fáze mezi rozpoznáváním a řečí.

Co je kaskádový hlasový řetězec?

Je to řetězec rozpoznávání řeči, jazykového modelu a syntézy řeči, mezi jejichž fázemi se předává text.

Který je přirozenější?

Systémy speech-to-speech bývají popisovány jako plynulejší, ale kvalita se mezi produkty liší. Posuzujte podle poslechu hovorů podobných těm vašim.

Který se snáz audituje?

Kaskádové řetězce vytvářejí text v každém kroku, takže záznamy, kontroly a pravidla jsou jednodušší. U end-to-end modelů zjistěte, co dodavatel zaznamenává a jak je to spolehlivé.

Mohu oba přístupy kombinovat?

Některé platformy je kombinují, například pro určité hovory používají kaskádový návrh. Zeptejte se, jak systém v kterémkoli režimu zachází s přepisy a pravidly.

Ovlivňuje volba náklady?

Může, ale ceny i modely se mění, proto si od dodavatele vyžádejte aktuální podmínky a porovnejte je s naměřenými výsledky, ne s reklamními tvrzeními.

Otestujte AI agenta na vlastní telefonní lince s Call

V demo konzoli si můžete příchozí hovory vyzkoušet v simulaci.

Související průvodci