Ako funguje hlasová AI: rozpoznávanie reči, LLM a syntéza reči
Zrozumiteľný pohľad na to, ako fungujú hlasoví AI agenti na telefóne: prevod reči na text, jazykový model, syntéza reči, striedanie, oneskorenie a odovzdanie.
Telefonát s AI agentom môže pôsobiť ako mágia, alebo ako hlavolam, podľa toho, či funguje. Za ním je pomerne jednoduchá myšlienka: premeniť hlas volajúceho na text, nechať jazykový model rozhodnúť, čo povedať, a odpoveď premeniť späť na reč, to všetko dosť rýchlo, aby to pôsobilo ako rozhovor. Tento sprievodca vysvetľuje každú fázu, kde sa veci kazia a čo to znamená pre nastavenie agenta. Pre širší obraz začnite článkom Čo je AI telefónna recepcia?.

Základná slučka hovoru s hlasovou AI
- PočúvanieZvuk od volajúceho sa zachytí a vyčistí.
- PrepisPrevod reči na text zmení zvuk na slová.
- RozhodnutieJazykový model vyberie, čo povedať alebo urobiť ďalej.
- RečSyntéza reči zmení odpoveď na zvuk.
- OpakovanieSlučka beží pri každom ťahu, kým hovor neskončí alebo sa neodovzdá.
Prvá fáza: prevod reči na text
Rozpoznávanie reči premieňa zvuk na slová. Na telefónnej linke je zvuk úzkopásmový a komprimovaný, čo je ťažšie než štúdiová nahrávka. Prízvuky, hluk pozadia, prekrývajúca sa reč a nezvyčajné mená ovplyvňujú presnosť. Moderné systémy zvládajú bežnú reč dobre, ale čísla, hláskovanie, mená a odborné slová, ako sú lieky alebo názvy ulíc, sú častými slabými miestami.
- Prúdové rozpoznávanie vytvára slová, kým volajúci ešte hovorí, čo šetrí čas.
- Rozpoznávače často potrebujú nápovedy, napríklad zoznam názvov produktov alebo miest, aby fungovali lepšie.
- Istota nie je určitosť; systém sa môže s istotou mýliť.
- Zisťovanie konca ťahu je iná úloha než rozpoznávanie slov.
Viac podrobností je v článkoch rozpoznávanie reči pri telefónnych hovoroch, spracovanie čísel a mien a prízvuky a nárečia.
Druhá fáza: jazykový model
Veľký jazykový model číta doterajší prepis spolu s pokynmi, ktoré ste napísali, a informáciami, ktoré ste dodali, a potom vytvorí ďalšiu odpoveď. Sám nič nevyhľadáva; spolieha sa na to, čo dostal. Preto prompt a znalostná báza tak veľmi záležia. Model môže znieť plynulo a pritom sa mýliť, preto sú ochranné pravidlá a testovanie nevyhnutné.
Čo formuje odpoveď modelu
- PokynyRola, tón, pravidlá a limity, ktoré mu dáte.
- ZnalostiDokumenty, otázky a odpovede a fakty, z ktorých môže čerpať.
- Doterajší rozhovorČo bolo povedané v tomto hovore.
- NástrojeAkcie, ktoré môže vykonať, napríklad vyhľadanie objednávky alebo zapísanie správy.
Hlbšie idú sprievodcovia ako písanie promptov pre telefónneho agenta, RAG pre hlasových agentov, halucinácie a ochranné pravidlá. Prompt, ktorý hovorí, čo robiť, keď si nie je istý, napríklad ponúknuť človeka alebo prijať správu, predchádza mnohým problémom.
Tretia fáza: syntéza reči
Syntéza reči mení odpoveď na zvuk. Hlasy sa líšia jasnosťou, vrúcnosťou a tým, ako zvládajú pauzy, čísla a mená vo vašom jazyku. Niektoré sa dajú ladiť alebo upraviť slovníkom výslovnosti. Hlas vyberte pre zrozumiteľnosť na telefónnej linke, nie pre novosť, a otestujte ho so skutočnými frázami, ktoré bude hovoriť. Príklad problémov špecifických pre jazyk nájdete v článku syntéza reči v japončine a súhlas a riziká pri použití vlastného hlasu v článku klonovanie hlasu.
Prečo načasovanie rozhoduje o skúsenosti
Ľudská konverzácia má rýchle ťahy. Medzera dlhšia než asi sekunda pôsobí zvláštne. V trojfázovom reťazci každý krok pridáva oneskorenie a model môže potrebovať čas na rozmyslenie. Návrhári oneskorenie znižujú prúdovaním: začnú hovoriť skôr, než je celá odpoveď pripravená, a začnú prepisovať skôr, než volajúci prestane. Ladia tiež, kedy rozhodnúť, že volajúci skončil.
Reťazec oproti modelu reč-na-reč
| Trojfázový reťazec | Model reč-na-reč | |
|---|---|---|
| Ako to funguje | Samostatné rozpoznávanie, model a hlas | Jeden model spracúva zvuk dnu aj von |
| Kontrola | Každú fázu možno ladiť alebo vymeniť | Menej viditeľné, viac integrované |
| Oneskorenie | Sčítava sa naprieč fázami | Môže byť nižšie |
| Prepis | Text dostupný v každom kroku | Na získanie textu môže byť potrebná ďalšia práca |
| Vyspelosť | Široko používané | Novšie, rýchlo sa mení |
Modely reč-na-reč sú novší prístup. V oboch prípadoch o tom, či agent pôsobí prirodzene, rozhodujú latencia, prerušenia a striedanie hovoriacich.
Prerušenia
Ľudia prerušujú. Dobrý agent prestane hovoriť, keď volajúci začne, a nepovažuje zakašľanie alebo hlas na pozadí za prerušenie. Závisí to od detekcie reči, ktorú pokrýva článok detekcia hlasovej aktivity. Zle vyladené systémy buď skáču volajúcim do reči, alebo čakajú príliš dlho.
Nástroje, znalosti a akcie
Hlasový agent sa stane užitočným, keď dokáže viac než konverzovať. S prepojenými nástrojmi môže vyhľadávať informácie, zaznamenať správu, poznamenať žiadosť o spätné volanie alebo odovzdať hovor človeku. Každý nástroj má mať úzky účel a jasné pravidlá. Agent môže prijať žiadosť o termín; jeho potvrdenie je iná vec a mnohé firmy uprednostňujú, aby ho potvrdil človek. Volanie funkcií vysvetľuje, ako sa nástroje opisujú modelu.
Čo sa deje so zvukom a textom
Každá fáza spracúva osobné údaje. Zvuk obsahuje hlas; prepis obsahuje, čo bolo povedané, často vrátane mien, adries a dôvodov hovoru. Pred nasadením zistite, kde každá fáza beží, čo sa ukladá, ako dlho a kto to môže čítať. Rozhodnite, či má agent citlivé údaje, ako sú platobné alebo zdravotné informácie, vôbec zbierať, alebo ich odovzdať človeku. Návrh hlasovej AI s ohľadom na súkromie to pokrýva podrobnejšie.
Úlohu agenta držte úzku. Agent, ktorý odpovedá na bežné otázky, prijíma správu a odovzdáva hovor, sa ľahšie testuje, ľahšie vysvetľuje volajúcim a ľahšie udrží v rámci vašich sľubov o súkromí než ten, ktorý sa snaží robiť všetko.
Čo očakávať v praxi
Očakávajte dobrý výsledok pri jednoduchých, predvídateľných hovoroch: otváracie hodiny, trasa, základné otázky, prijatie správy. Očakávajte väčšie ťažkosti pri dlhých, emotívnych alebo nejednoznačných hovoroch, silných prízvukoch, zlých linkách a požiadavkách, ktoré vyžadujú úsudok. Rozumné zavedenie začína malým súborom typov hovorov, spočiatku počúva každý hovor a potom sa rozširuje, ako rastie istota. Fráza na zapamätanie je, že agent je navrhnutý, aby pomáhal pri vymedzených úlohách, nie aby nahrádzal úsudok.
Kde sa to kazí
- Zle počuté slová alebo čísla vedú k nesprávnym odpovediam.
- Model si vymyslí odpoveď namiesto priznania, že ju nepozná.
- Oneskorenia spôsobujú, že sa volajúci opakujú alebo zavesia.
- Hluk na pozadí alebo prekrývanie hlasov sa berie ako reč.
- Volajúci chce niečo mimo rozsahu agenta a nemôže sa dostať von.
Na to sa pripravte. Uľahčite cestu k človeku, držte odpovede krátke, potvrdzujte dôležité údaje, ako sú čísla a dátumy, a pravidelne kontrolujte skutočné hovory. Testovanie hlasového agenta a metriky hodnotenia vysvetľujú ako.
Ako na to v Call
V Call sa AI agent buduje z persóny a promptu, hlasu, jazyka a zdrojov znalostí a potom sa testuje na obrazovke aj telefónom, kým sa zapne pre linku. Call vám umožňuje vybrať si medzi hlasmi, ladiť výslovnosť slovníkom, upraviť, ako sa reč rozpoznáva, a udržiavať zdroje aktuálne. Agent je navrhnutý tak, aby na požiadanie prepojil volajúcich na človeka a môže prijať správu. Kým agenta pre linku nezapnete, hovory zvonia vášmu tímu. Vždy najprv testujte vlastnými hovormi. Nastavenie AI agenta v Call vás prevedie krokmi.
Často kladené otázky
Aké sú tri časti hlasového AI agenta?
Prevod reči na text, ktorý počuje volajúceho, jazykový model, ktorý rozhoduje, čo povedať, a syntéza reči, ktorá vysloví odpoveď. Niektoré novšie systémy ich spájajú.
Prečo sa AI niekedy pred odpoveďou odmlčí?
Každá fáza zaberá čas a systém musí rozhodnúť, že volajúci dohovoril. Prúdovanie a ladenie môžu medzeru skrátiť, ale nie odstrániť.
Môže si AI veci vymýšľať?
Áno. Jazykový model môže vytvoriť vierohodné, ale nesprávne odpovede. Dajte mu dobré znalosti, jasné limity a pokyn ponúknuť človeka, keď si nie je istý.
Môže hlasový agent objednávať termíny?
Môže prijať žiadosť a odovzdať ju ďalej. Mnohé firmy uprednostňujú, aby potvrdil človek, preto rozhodnite, čo smie agent sľúbiť.
Treba volajúcim povedať, že ide o AI?
Na mnohých miestach to ľudia očakávajú alebo na to majú nárok. Povedzte to jasne na začiatku hovoru a skontrolujte pravidlá, ktoré sa na vás vzťahujú.
Ako zistím, že to funguje?
Testujte so skutočnými hovormi v rôznych prízvukoch a úrovniach hluku, počúvajte výsledky a veďte zoznam otázok, ktoré po každej zmene spustíte znova.