Technológie hlasovej AI

Modely reč na reč verzus kaskádový hlasový reťazec

Dva spôsoby, ako postaviť telefonického hlasového agenta: modely reč na reč a kaskádové reťazce. V čom je každý dobrý, kde je slabý a ako vybrať testovaním.

Redakcia Call · Zverejnené · Čítanie na 5 min

Keď počujete hovoriť hlasového agenta, zvyčajne za ním stojí jeden z dvoch návrhov. V prvom softvér premení reč volajúceho na text, jazykový model napíše textovú odpoveď a hlasový engine ju prečíta nahlas. V druhom jediný model počúva zvuk a odpovedá zvukom. Dodávatelia sa sporia, ktorý je lepší. Úprimná odpoveď je, že každý z nich niečo obetuje.

Inžinieri porovnávajú zvukové krivky na obrazovke notebooku
Ilustračný obrázok

Tento návod oba prístupy porovnáva zrozumiteľne, aby ste pri výbere platformy vedeli klásť lepšie otázky. Širší úvod ponúka článok Ako funguje hlasová AI počas telefonického hovoru.

Kaskádový reťazec

Kaskádový reťazec, niekedy nazývaný reč na text, potom model, potom text na reč, je už roky štandardným prístupom. Každá fáza je samostatný komponent a medzi nimi sa odovzdáva text.

Kaskádový reťazec

  1. Rozpoznávanie rečiPremení zvuk volajúceho na text.
  2. Jazykový modelPrečíta text spolu s pokynmi a zdrojmi a napíše odpoveď.
  3. Syntéza rečiPremení text odpovede na hovorený zvuk.
  4. TelefóniaPrenáša zvuk k volajúcemu a od neho.

Keďže stred systému tvorí obyčajný text, môžete ho čítať, vyhľadávať v ňom, ukladať ho, kontrolovať voči pravidlám a ktorúkoľvek fázu nahradiť. Môžete nasadiť rozpoznávač, ktorý lepšie zvláda prízvuky vašich volajúcich, alebo hlas, ktorý sedí k vašej značke.

Prístup reč na reč

Model reč na reč, označovaný aj ako end-to-end alebo natívny zvukový model, pracuje priamo so zvukom. Počúva samotný zvuk a ako výstup generuje zvuk, hoci mnohé takéto systémy vytvárajú aj text na zaznamenávanie.

Reč na reč

  1. Zvuk na vstupeHlas volajúceho ide priamo do modelu.
  2. Jeden modelInterpretuje význam, tón a načasovanie a naplánuje odpoveď.
  3. Zvuk na výstupePriamo vygeneruje hovorenú odpoveď.
  4. TelefóniaZvuk putuje k volajúcemu a od neho.

Príťažlivé je, že medzi fázami sa nič nestratí. Pauza, smiech, váhanie alebo povzdych môžu ovplyvniť odpoveď a model môže začať hovoriť skôr, pretože nečaká na tri samostatné kroky.

Vedľa seba

Kaskáda verzus reč na reč

KaskádaReč na reč
PrirodzenosťZávisí od každej fázy; môže pôsobiť po krokochČasto plynulejšie, so zachovaným načasovaním a tónom
Čas odozvySúčet troch fáz, ktoré sa dajú ladiťPotenciálne kratší, keďže je menej odovzdávaní
KontrolaVysoká: pravidlá sa dajú uplatniť na text v každom krokuNižšia: ťažšie sa kontroluje, čo sa deje vnútri
Prepisy a záznamyPrirodzený vedľajší produktZvyčajne sa generujú oddelene a môžu sa líšiť od toho, čo zaznelo
Výmena častíJednoduchá: zmena len rozpoznávača alebo hlasuObmedzená na to, čo model ponúka
Výber hlasuŠiroký výber hlasovČasto menší súbor
VyspelosťDlhá históriaNovší, rýchlo sa mení

Akékoľvek tvrdenie o absolútnej prevahe berte opatrne. Kvalita sa v rámci každej kategórie medzi produktmi líši a výsledky z čistej ukážky nemusia platiť pri hlučnom mobilnom hovore.

Na čom záleží pri telefonických hovoroch

Telefonický zvuk je úzky a hlučný

Telefonický zvuk je komprimovaný a často hlučný. Nech zvolíte akýkoľvek návrh, overte, ako funguje na skutočnom telefonickom zvuku, nielen na štúdiových nahrávkach. Tento vplyv vysvetľuje článok Prečo je telefonický zvuk pre rozpoznávanie reči náročný.

Kontrola a auditovateľnosť

Ak musíte preukázať, čo agent povedal a prečo, pomáha text v každej fáze. Kaskádový návrh vám umožní vložiť kontrolu medzi odpoveď modelu a hlas. Pri end-to-end modeli sa viac spoliehate na kontroly dodávateľa a na testovanie. Prejdite si článok Ochranné mantinely pre hlasových AI agentov a rozhodnite, čo potrebujete vynucovať.

Prerušenia a načasovanie

Natívne zvukové modely často zvládajú prekrývanie a prerušenia plynulejšie, pretože volajúceho počujú nepretržite. Kaskádové systémy sa pri rozhodovaní, kedy prestať a začať, spoliehajú na detekciu reči a ticha; pozrite si Detekcia hlasovej aktivity a Striedanie sa v reči pri hlasových agentoch. Lepšie inžinierstvo môže rozdiel zmenšiť a rozdiel sa môže ďalej meniť.

Jazyky a prízvuky

Jazyky a prízvuky, na ktorých vám záleží, overte testovaním, nie prijatím zoznamu z brožúry. Model silný v jednom jazyku môže byť slabší v inom a to isté platí pre jednotlivé fázy reťazca.

Výber podľa vašej situácie

Niekoľko hypotetických scenárov ukazuje, ako priority ťahajú rôznymi smermi.

Otázky pre dodávateľa

  • Aké fázy systém používa a môžem ich meniť?
  • Dostanem prepis každého hovoru a je to to, čo model počul?
  • Ako sa vynucujú pravidlá a limity?
  • Ako sa správa na mobilných a hlučných linkách?
  • Aké sú typické časy odozvy pri skutočných telefonických hovoroch?
  • Ako sa zvládajú prerušenia?
  • Čo sa potom deje so zvukom a textom?

Kde sa hranica stiera

Tieto dve kategórie nie sú také ostro oddelené, ako tvrdí marketing. Mnohé produkty reč na reč stále vytvárajú popri zvuku aj prepis a mnohé kaskádové produkty streamujú čiastočné výsledky medzi fázami, takže reč sa začne skôr, než model dopíše odpoveď. Niektoré systémy používajú natívny zvukový model na rozhovor a textový krok na vyhľadávanie alebo kontrolu pravidiel. Keď dodávateľ hovorí, že jeho produkt je end-to-end, opýtajte sa, čo presne je end-to-end a kde sa ešte objavuje text.

Záleží na tom, pretože praktické otázky sa nemenia. Kde si môžete prečítať, čo zaznelo? Kde sa dá vynútiť pravidlo? Ako sa zachytí nesprávna odpoveď? Hybrid, ktorý vám dá spoľahlivý prepis aj prirodzený hlas, môže byť rozumnou strednou cestou, ak dokážete overiť obe časti.

Férové testovanie

Porovnania sa dajú ľahko nechtiac skresliť. Pre každého kandidáta použite rovnaký scenár, rovnaký typ telefónnej linky a rovnaký hluk v pozadí. Testujte z mobilu v aute alebo na ulici, nielen z tichej miestnosti. Zahrňte nepríjemné momenty, ktoré vytvárajú skutoční volajúci: opravu uprostred vety, hláskované meno, otázku mimo rozsahu a žiadosť o človeka.

Každý hovor ohodnoťte v niekoľkých jednoduchých bodoch: bola odpoveď správna, počkal agent na volajúceho, aká dlhá bola medzera pred každou odpoveďou a ako sa hovor skončil. Skromná sada hovorov hodnotená jednotne vám povie viac než vyleštená ukážka.

Ako k tomu pristupuje Call

Praktickým ponaučením je, že architektúra je menej dôležitá než správanie pri vašich hovoroch. V Call AI agent začne hovoriť, hneď ako je pripravená prvá časť jeho odpovede, pri odchádzajúcich hovoroch si pozdravy pripraví vopred a odpovede drží krátke. Nastavíte hlas a možnosti prepisu reči, testujete zazvonením na vlastný telefón a rozhovor si potom prečítate v histórii hovorov. Nech je základná technológia akákoľvek, merajte ju rovnakým metrom: odpovedá presne, odovzdáva zdvorilo a znie pre vašich volajúcich prijateľne? Ukazovatele z článku Ako hodnotiť rozhovory hlasového agenta platia pre oba prístupy.

Často kladené otázky

Čo je model reč na reč?

Je to model, ktorý prijíma hovorený zvuk a vytvára hovorený zvuk bez samostatnej textovej fázy medzi rozpoznávaním a rečou.

Čo je kaskádový hlasový reťazec?

Je to reťaz rozpoznávania reči, jazykového modelu a syntézy reči, pričom medzi fázami sa odovzdáva text.

Ktorý je prirodzenejší?

Systémy reč na reč sa často opisujú ako plynulejšie, no kvalita sa medzi produktmi líši. Posudzujte podľa počúvania hovorov podobných vašim.

Ktorý sa ľahšie audituje?

Kaskádové reťazce vytvárajú text v každom kroku, takže záznamy, kontroly a pravidlá sú jednoduchšie. Pri end-to-end modeloch zistite, čo dodávateľ zaznamenáva a nakoľko je to spoľahlivé.

Môžem oba prístupy kombinovať?

Niektoré platformy ich kombinujú, napríklad používajú kaskádový návrh pre určité hovory. Opýtajte sa, ako systém v ktoromkoľvek režime zaobchádza s prepismi a pravidlami.

Ovplyvňuje voľba náklady?

Môže, ale ceny a modely sa menia, preto si od dodávateľa vyžiadajte aktuálne podmienky a porovnajte ich s nameranými výsledkami, nie s marketingovými tvrdeniami.

Otestujte AI agenta na vlastnej telefónnej linke s Call

V demo konzole si môžete vyskúšať prichádzajúce hovory v simulácii.

Súvisiace príručky