Kako radi glasovni AI: prepoznavanje govora, LLM i sinteza govora
Jednostavan obilazak cjevovoda iza glasovnih AI telefonskih agenata: govor u tekst, jezični model, tekst u govor, uz izmjenu govornika, kašnjenje i sigurne predaje.
Telefonski poziv s AI agentom može djelovati kao čarolija ili kao zagonetka, ovisno o tome radi li. Iza toga stoji prilično jednostavna ideja: pretvoriti pozivateljev glas u tekst, pustiti jezični model da odluči što reći i pretvoriti odgovor natrag u govor, sve dovoljno brzo da djeluje kao razgovor. Ovaj vodič objašnjava svaku fazu, gdje stvari pođu po zlu i što to znači za postavljanje agenta. Širu sliku započnite s člankom Što je AI telefonska recepcija?.

Osnovna petlja poziva glasovnog AI-ja
- SlušanjeZvuk pozivatelja se hvata i čisti.
- TranskripcijaGovor u tekst pretvara zvuk u riječi.
- OdlukaJezični model bira što će reći ili učiniti dalje.
- GovorTekst u govor pretvara odgovor u zvuk.
- PonavljanjePetlja se vrti za svaki red dok poziv ne završi ili se preda.
Prva faza: govor u tekst
Prepoznavanje govora pretvara zvuk u riječi. Na telefonskoj liniji zvuk je uskopojasan i komprimiran, što ga čini težim od studijske snimke. Naglasci, buka u pozadini, preklapanje govora i neobična imena utječu na točnost. Moderni sustavi mogu dobro prepoznavati svakodnevni govor, ali brojevi, slovkanje, imena i riječi iz domene poput lijekova ili naziva ulica česte su slabe točke.
- Strujno prepoznavanje proizvodi riječi dok pozivatelj još govori, što štedi vrijeme.
- Prepoznavačima često trebaju naznake, poput popisa naziva proizvoda ili mjesta, da bi radili bolje.
- Pouzdanost nije sigurnost; sustav može biti pouzdano u krivu.
- Slušanje kraja reda poseban je posao od prepoznavanja riječi.
Više pojedinosti u člancima prepoznavanje govora u telefonskim pozivima, obrada brojeva i imena i naglasci i dijalekti.
Druga faza: jezični model
Veliki jezični model čita dosadašnji transkript, uz upute koje ste napisali i informacije koje ste dali, a zatim proizvodi sljedeći odgovor. Ne pretražuje sam; oslanja se na ono što mu je dano. Zato su uputa i baza znanja toliko važne. Model može zvučati tečno, a biti u krivu, zbog čega su zaštitne ograde i testiranje ključni.
Što oblikuje odgovor modela
- UputeUloga, ton, pravila i ograničenja koje mu date.
- ZnanjeDokumenti, pitanja i odgovori te činjenice iz kojih smije crpiti.
- Dosadašnji razgovorŠto je rečeno u ovom pozivu.
- AlatiRadnje koje smije poduzeti, poput pregleda narudžbe ili bilježenja poruke.
Vodiči poput pisanje uputa za telefonskog agenta, RAG za glasovne agente, halucinacije i zaštitne ograde idu dublje. Uputa koja kaže što učiniti kad nije siguran, primjerice ponuditi osobu ili primiti poruku, sprječava mnoge probleme.
Treća faza: tekst u govor
Tekst u govor pretvara odgovor u zvuk. Glasovi se razlikuju po jasnoći, toplini i načinu na koji rukuju stankama, brojevima i imenima na vašem jeziku. Neki se mogu podešavati ili prilagoditi rječnikom izgovora. Glas birajte prema jasnoći na telefonskoj liniji, a ne zbog novosti, i testirajte ga s frazama koje će zaista izgovarati. Pogledajte tekst u govor na japanskom za primjer problema specifičnih za pojedini jezik te kloniranje glasa za pristanak i rizik pri korištenju prilagođenog glasa.
Zašto vrijeme odlučuje o iskustvu
Ljudski razgovor ima brze izmjene. Razmak dulji od otprilike sekunde djeluje čudno. U troslojnom cjevovodu svaki korak dodaje kašnjenje, a modelu može trebati vremena za razmišljanje. Dizajneri smanjuju kašnjenje strujanjem: početkom govora prije nego je cijeli odgovor spreman i početkom transkripcije prije nego pozivatelj prestane. Također podešavaju kada odlučiti da je pozivatelj završio.
Cjevovod nasuprot govor-u-govor
| Troslojni cjevovod | Model govor-u-govor | |
|---|---|---|
| Kako radi | Odvojeno prepoznavanje, model i glas | Jedan model obrađuje zvuk na ulazu i izlazu |
| Kontrola | Svaka faza može se podešavati ili zamijeniti | Manje vidljivo, integriranije |
| Kašnjenje | Zbraja se kroz faze | Može biti niže |
| Transkript | Tekst dostupan u svakom koraku | Može trebati dodatan rad za proizvodnju teksta |
| Zrelost | Široko korišteno | Novije, brzo se mijenja |
Modeli govor-u-govor noviji su pristup. U svakom slučaju, latencija, prekidi i izmjena govornika određuju djeluje li agent prirodno.
Prekidi
Ljudi se prekidaju. Dobar agent prestaje govoriti kad pozivatelj počne i ne smatra kašalj ili glas u pozadini prekidom. To ovisi o otkrivanju govora, opisanom u članku detekcija glasovne aktivnosti. Loše podešeni sustavi ili govore preko pozivatelja ili predugo čekaju.
Alati, znanje i radnje
Glasovni agent postaje koristan kad može više od razgovora. S povezanim alatima može pretraživati informacije, snimiti poruku, zabilježiti zahtjev za povratni poziv ili predati poziv osobi. Svaki alat treba imati usku svrhu i jasna pravila. Agent može primiti zahtjev za termin; potvrđivanje je druga stvar, a mnoge tvrtke radije da to potvrdi osoba. Pozivanje funkcija objašnjava kako se alati opisuju modelu.
Što se događa sa zvukom i tekstom
Svaka faza obrađuje osobne podatke. Zvuk sadrži glas; transkript sadrži što je rečeno, često uključujući imena, adrese i razloge poziva. Prije uvođenja saznajte gdje svaka faza radi, što se pohranjuje, koliko dugo i tko može čitati. Odlučite treba li osjetljive podatke, poput podataka o plaćanju ili zdravlju, agent uopće prikupljati ili ih prepustiti osobi. Oblikovanje glasovnog AI-ja s privatnošću na umu to obrađuje dublje.
Zadatak agenta držite uskim. Agent koji odgovara na uobičajena pitanja, prima poruku i predaje lakše je testirati, lakše objasniti pozivateljima i lakše držati unutar vaših obećanja o privatnosti od onoga koji pokušava sve.
Što očekivati u praksi
Očekujte dobar rezultat na jednostavnim, predvidljivim pozivima: radno vrijeme, upute za dolazak, osnovna pitanja, primanje poruke. Očekujte više poteškoća s dugim, emotivnim ili dvosmislenim pozivima, jakim naglascima, lošim linijama i zahtjevima koji traže prosudbu. Razuman početak kreće s malim skupom vrsta poziva, isprva sluša svaki poziv, a zatim se širi kako raste povjerenje. Fraza koju treba zapamtiti jest da je agent osmišljen da pomogne u definiranim zadacima, a ne da zamijeni prosudbu.
Gdje zakaže
- Krivo čuvene riječi ili brojevi vode do pogrešnih odgovora.
- Model izmišlja odgovor umjesto da prizna da ne zna.
- Kašnjenja tjeraju pozivatelje da se ponavljaju ili prekinu poziv.
- Buka u pozadini ili preslušavanje smatra se govorom.
- Pozivatelj želi nešto izvan opsega agenta i ne može izaći.
Oblikujte za to. Olakšajte dolazak do osobe, držite odgovore kratkima, potvrđujte važne pojedinosti poput brojeva i datuma i redovito pregledavajte prave pozive. Testiranje glasovnog agenta i metrike evaluacije objašnjavaju kako.
Kako to izgleda u alatu Call
U alatu Call AI agent gradi se iz persone i upute, glasa, jezika i izvora znanja, a zatim se testira na zaslonu i telefonom prije nego se uključi za liniju. Call omogućuje odabir među glasovima, podešavanje izgovora rječnikom, prilagodbu načina prepoznavanja govora i održavanje izvora ažurnima. Agent je osmišljen da pozivatelje spoji s osobom kad to zatraže i može primiti poruku. Dok agenta ne uključite za liniju, pozivi zvone vašem timu. Uvijek najprije testirajte vlastitim pozivima. Postavljanje AI agenta u alatu Call vodi kroz korake.
Često postavljana pitanja
Koja su tri dijela glasovnog AI agenta?
Govor u tekst da čuje pozivatelja, jezični model da odluči što reći i tekst u govor da izgovori odgovor. Neki noviji sustavi ih kombiniraju.
Zašto AI ponekad pauzira prije odgovora?
Svaka faza traži vrijeme, a sustav mora zaključiti da je pozivatelj završio govoriti. Strujanje i podešavanje mogu skratiti razmak, ali ga ne uklanjaju.
Može li AI izmišljati?
Da. Jezični model može proizvesti uvjerljive, ali pogrešne odgovore. Dajte mu dobro znanje, jasna ograničenja i uputu da ponudi osobu kad nije siguran.
Može li glasovni agent rezervirati termine?
Može primiti zahtjev i proslijediti ga. Mnoge tvrtke radije da potvrdi osoba, pa odlučite što agent smije obećati.
Moraju li se pozivatelji obavijestiti da je riječ o AI-ju?
Na mnogim mjestima ljudi to očekuju ili imaju pravo znati. Recite to jasno na početku poziva i provjerite pravila koja se na vas odnose.
Kako provjeriti da radi?
Testirajte sa stvarnim pozivima s različitim naglascima i razinama buke, poslušajte rezultate i držite popis pitanja koja ponavljate nakon svake promjene.