Technológie hlasovej AI

Ako funguje hlasová AI: rozpoznávanie reči, LLM a syntéza reči

Zrozumiteľný pohľad na to, ako fungujú hlasoví AI agenti na telefóne: prevod reči na text, jazykový model, syntéza reči, striedanie, oneskorenie a odovzdanie.

Redakcia Call · Zverejnené · Čítanie na 5 min

Telefonát s AI agentom môže pôsobiť ako mágia, alebo ako hlavolam, podľa toho, či funguje. Za ním je pomerne jednoduchá myšlienka: premeniť hlas volajúceho na text, nechať jazykový model rozhodnúť, čo povedať, a odpoveď premeniť späť na reč, to všetko dosť rýchlo, aby to pôsobilo ako rozhovor. Tento sprievodca vysvetľuje každú fázu, kde sa veci kazia a čo to znamená pre nastavenie agenta. Pre širší obraz začnite článkom Čo je AI telefónna recepcia?.

Telefón vedľa diagramu zvukových vĺn, ktoré sa menia na text a späť na reč
Ilustračný obrázok

Základná slučka hovoru s hlasovou AI

  1. PočúvanieZvuk od volajúceho sa zachytí a vyčistí.
  2. PrepisPrevod reči na text zmení zvuk na slová.
  3. RozhodnutieJazykový model vyberie, čo povedať alebo urobiť ďalej.
  4. RečSyntéza reči zmení odpoveď na zvuk.
  5. OpakovanieSlučka beží pri každom ťahu, kým hovor neskončí alebo sa neodovzdá.

Prvá fáza: prevod reči na text

Rozpoznávanie reči premieňa zvuk na slová. Na telefónnej linke je zvuk úzkopásmový a komprimovaný, čo je ťažšie než štúdiová nahrávka. Prízvuky, hluk pozadia, prekrývajúca sa reč a nezvyčajné mená ovplyvňujú presnosť. Moderné systémy zvládajú bežnú reč dobre, ale čísla, hláskovanie, mená a odborné slová, ako sú lieky alebo názvy ulíc, sú častými slabými miestami.

Viac podrobností je v článkoch rozpoznávanie reči pri telefónnych hovoroch, spracovanie čísel a mien a prízvuky a nárečia.

Druhá fáza: jazykový model

Veľký jazykový model číta doterajší prepis spolu s pokynmi, ktoré ste napísali, a informáciami, ktoré ste dodali, a potom vytvorí ďalšiu odpoveď. Sám nič nevyhľadáva; spolieha sa na to, čo dostal. Preto prompt a znalostná báza tak veľmi záležia. Model môže znieť plynulo a pritom sa mýliť, preto sú ochranné pravidlá a testovanie nevyhnutné.

Čo formuje odpoveď modelu

  • PokynyRola, tón, pravidlá a limity, ktoré mu dáte.
  • ZnalostiDokumenty, otázky a odpovede a fakty, z ktorých môže čerpať.
  • Doterajší rozhovorČo bolo povedané v tomto hovore.
  • NástrojeAkcie, ktoré môže vykonať, napríklad vyhľadanie objednávky alebo zapísanie správy.

Hlbšie idú sprievodcovia ako písanie promptov pre telefónneho agenta, RAG pre hlasových agentov, halucinácie a ochranné pravidlá. Prompt, ktorý hovorí, čo robiť, keď si nie je istý, napríklad ponúknuť človeka alebo prijať správu, predchádza mnohým problémom.

Tretia fáza: syntéza reči

Syntéza reči mení odpoveď na zvuk. Hlasy sa líšia jasnosťou, vrúcnosťou a tým, ako zvládajú pauzy, čísla a mená vo vašom jazyku. Niektoré sa dajú ladiť alebo upraviť slovníkom výslovnosti. Hlas vyberte pre zrozumiteľnosť na telefónnej linke, nie pre novosť, a otestujte ho so skutočnými frázami, ktoré bude hovoriť. Príklad problémov špecifických pre jazyk nájdete v článku syntéza reči v japončine a súhlas a riziká pri použití vlastného hlasu v článku klonovanie hlasu.

Prečo načasovanie rozhoduje o skúsenosti

Ľudská konverzácia má rýchle ťahy. Medzera dlhšia než asi sekunda pôsobí zvláštne. V trojfázovom reťazci každý krok pridáva oneskorenie a model môže potrebovať čas na rozmyslenie. Návrhári oneskorenie znižujú prúdovaním: začnú hovoriť skôr, než je celá odpoveď pripravená, a začnú prepisovať skôr, než volajúci prestane. Ladia tiež, kedy rozhodnúť, že volajúci skončil.

Reťazec oproti modelu reč-na-reč

Trojfázový reťazecModel reč-na-reč
Ako to fungujeSamostatné rozpoznávanie, model a hlasJeden model spracúva zvuk dnu aj von
KontrolaKaždú fázu možno ladiť alebo vymeniťMenej viditeľné, viac integrované
OneskorenieSčítava sa naprieč fázamiMôže byť nižšie
PrepisText dostupný v každom krokuNa získanie textu môže byť potrebná ďalšia práca
VyspelosťŠiroko používanéNovšie, rýchlo sa mení

Modely reč-na-reč sú novší prístup. V oboch prípadoch o tom, či agent pôsobí prirodzene, rozhodujú latencia, prerušenia a striedanie hovoriacich.

Prerušenia

Ľudia prerušujú. Dobrý agent prestane hovoriť, keď volajúci začne, a nepovažuje zakašľanie alebo hlas na pozadí za prerušenie. Závisí to od detekcie reči, ktorú pokrýva článok detekcia hlasovej aktivity. Zle vyladené systémy buď skáču volajúcim do reči, alebo čakajú príliš dlho.

Nástroje, znalosti a akcie

Hlasový agent sa stane užitočným, keď dokáže viac než konverzovať. S prepojenými nástrojmi môže vyhľadávať informácie, zaznamenať správu, poznamenať žiadosť o spätné volanie alebo odovzdať hovor človeku. Každý nástroj má mať úzky účel a jasné pravidlá. Agent môže prijať žiadosť o termín; jeho potvrdenie je iná vec a mnohé firmy uprednostňujú, aby ho potvrdil človek. Volanie funkcií vysvetľuje, ako sa nástroje opisujú modelu.

Čo sa deje so zvukom a textom

Každá fáza spracúva osobné údaje. Zvuk obsahuje hlas; prepis obsahuje, čo bolo povedané, často vrátane mien, adries a dôvodov hovoru. Pred nasadením zistite, kde každá fáza beží, čo sa ukladá, ako dlho a kto to môže čítať. Rozhodnite, či má agent citlivé údaje, ako sú platobné alebo zdravotné informácie, vôbec zbierať, alebo ich odovzdať človeku. Návrh hlasovej AI s ohľadom na súkromie to pokrýva podrobnejšie.

Úlohu agenta držte úzku. Agent, ktorý odpovedá na bežné otázky, prijíma správu a odovzdáva hovor, sa ľahšie testuje, ľahšie vysvetľuje volajúcim a ľahšie udrží v rámci vašich sľubov o súkromí než ten, ktorý sa snaží robiť všetko.

Čo očakávať v praxi

Očakávajte dobrý výsledok pri jednoduchých, predvídateľných hovoroch: otváracie hodiny, trasa, základné otázky, prijatie správy. Očakávajte väčšie ťažkosti pri dlhých, emotívnych alebo nejednoznačných hovoroch, silných prízvukoch, zlých linkách a požiadavkách, ktoré vyžadujú úsudok. Rozumné zavedenie začína malým súborom typov hovorov, spočiatku počúva každý hovor a potom sa rozširuje, ako rastie istota. Fráza na zapamätanie je, že agent je navrhnutý, aby pomáhal pri vymedzených úlohách, nie aby nahrádzal úsudok.

Kde sa to kazí

Na to sa pripravte. Uľahčite cestu k človeku, držte odpovede krátke, potvrdzujte dôležité údaje, ako sú čísla a dátumy, a pravidelne kontrolujte skutočné hovory. Testovanie hlasového agenta a metriky hodnotenia vysvetľujú ako.

Ako na to v Call

V Call sa AI agent buduje z persóny a promptu, hlasu, jazyka a zdrojov znalostí a potom sa testuje na obrazovke aj telefónom, kým sa zapne pre linku. Call vám umožňuje vybrať si medzi hlasmi, ladiť výslovnosť slovníkom, upraviť, ako sa reč rozpoznáva, a udržiavať zdroje aktuálne. Agent je navrhnutý tak, aby na požiadanie prepojil volajúcich na človeka a môže prijať správu. Kým agenta pre linku nezapnete, hovory zvonia vášmu tímu. Vždy najprv testujte vlastnými hovormi. Nastavenie AI agenta v Call vás prevedie krokmi.

Často kladené otázky

Aké sú tri časti hlasového AI agenta?

Prevod reči na text, ktorý počuje volajúceho, jazykový model, ktorý rozhoduje, čo povedať, a syntéza reči, ktorá vysloví odpoveď. Niektoré novšie systémy ich spájajú.

Prečo sa AI niekedy pred odpoveďou odmlčí?

Každá fáza zaberá čas a systém musí rozhodnúť, že volajúci dohovoril. Prúdovanie a ladenie môžu medzeru skrátiť, ale nie odstrániť.

Môže si AI veci vymýšľať?

Áno. Jazykový model môže vytvoriť vierohodné, ale nesprávne odpovede. Dajte mu dobré znalosti, jasné limity a pokyn ponúknuť človeka, keď si nie je istý.

Môže hlasový agent objednávať termíny?

Môže prijať žiadosť a odovzdať ju ďalej. Mnohé firmy uprednostňujú, aby potvrdil človek, preto rozhodnite, čo smie agent sľúbiť.

Treba volajúcim povedať, že ide o AI?

Na mnohých miestach to ľudia očakávajú alebo na to majú nárok. Povedzte to jasne na začiatku hovoru a skontrolujte pravidlá, ktoré sa na vás vzťahujú.

Ako zistím, že to funguje?

Testujte so skutočnými hovormi v rôznych prízvukoch a úrovniach hluku, počúvajte výsledky a veďte zoznam otázok, ktoré po každej zmene spustíte znova.

Vyskúšajte hlasového AI agenta na vlastnej linke v Call

V demo konzole si môžete vyskúšať prichádzajúce hovory v simulácii.

Súvisiace príručky