Tehnologija glasovne umjetne inteligencije

Kako radi glasovni AI: prepoznavanje govora, LLM i sinteza govora

Jednostavan obilazak cjevovoda iza glasovnih AI telefonskih agenata: govor u tekst, jezični model, tekst u govor, uz izmjenu govornika, kašnjenje i sigurne predaje.

Urednički tim usluge Call · Objavljeno · Čitanje: 5 min

Telefonski poziv s AI agentom može djelovati kao čarolija ili kao zagonetka, ovisno o tome radi li. Iza toga stoji prilično jednostavna ideja: pretvoriti pozivateljev glas u tekst, pustiti jezični model da odluči što reći i pretvoriti odgovor natrag u govor, sve dovoljno brzo da djeluje kao razgovor. Ovaj vodič objašnjava svaku fazu, gdje stvari pođu po zlu i što to znači za postavljanje agenta. Širu sliku započnite s člankom Što je AI telefonska recepcija?.

Telefon pokraj dijagrama zvučnih valova koji se pretvaraju u tekst i natrag u govor
Ilustrativna slika

Osnovna petlja poziva glasovnog AI-ja

  1. SlušanjeZvuk pozivatelja se hvata i čisti.
  2. TranskripcijaGovor u tekst pretvara zvuk u riječi.
  3. OdlukaJezični model bira što će reći ili učiniti dalje.
  4. GovorTekst u govor pretvara odgovor u zvuk.
  5. PonavljanjePetlja se vrti za svaki red dok poziv ne završi ili se preda.

Prva faza: govor u tekst

Prepoznavanje govora pretvara zvuk u riječi. Na telefonskoj liniji zvuk je uskopojasan i komprimiran, što ga čini težim od studijske snimke. Naglasci, buka u pozadini, preklapanje govora i neobična imena utječu na točnost. Moderni sustavi mogu dobro prepoznavati svakodnevni govor, ali brojevi, slovkanje, imena i riječi iz domene poput lijekova ili naziva ulica česte su slabe točke.

Više pojedinosti u člancima prepoznavanje govora u telefonskim pozivima, obrada brojeva i imena i naglasci i dijalekti.

Druga faza: jezični model

Veliki jezični model čita dosadašnji transkript, uz upute koje ste napisali i informacije koje ste dali, a zatim proizvodi sljedeći odgovor. Ne pretražuje sam; oslanja se na ono što mu je dano. Zato su uputa i baza znanja toliko važne. Model može zvučati tečno, a biti u krivu, zbog čega su zaštitne ograde i testiranje ključni.

Što oblikuje odgovor modela

  • UputeUloga, ton, pravila i ograničenja koje mu date.
  • ZnanjeDokumenti, pitanja i odgovori te činjenice iz kojih smije crpiti.
  • Dosadašnji razgovorŠto je rečeno u ovom pozivu.
  • AlatiRadnje koje smije poduzeti, poput pregleda narudžbe ili bilježenja poruke.

Vodiči poput pisanje uputa za telefonskog agenta, RAG za glasovne agente, halucinacije i zaštitne ograde idu dublje. Uputa koja kaže što učiniti kad nije siguran, primjerice ponuditi osobu ili primiti poruku, sprječava mnoge probleme.

Treća faza: tekst u govor

Tekst u govor pretvara odgovor u zvuk. Glasovi se razlikuju po jasnoći, toplini i načinu na koji rukuju stankama, brojevima i imenima na vašem jeziku. Neki se mogu podešavati ili prilagoditi rječnikom izgovora. Glas birajte prema jasnoći na telefonskoj liniji, a ne zbog novosti, i testirajte ga s frazama koje će zaista izgovarati. Pogledajte tekst u govor na japanskom za primjer problema specifičnih za pojedini jezik te kloniranje glasa za pristanak i rizik pri korištenju prilagođenog glasa.

Zašto vrijeme odlučuje o iskustvu

Ljudski razgovor ima brze izmjene. Razmak dulji od otprilike sekunde djeluje čudno. U troslojnom cjevovodu svaki korak dodaje kašnjenje, a modelu može trebati vremena za razmišljanje. Dizajneri smanjuju kašnjenje strujanjem: početkom govora prije nego je cijeli odgovor spreman i početkom transkripcije prije nego pozivatelj prestane. Također podešavaju kada odlučiti da je pozivatelj završio.

Cjevovod nasuprot govor-u-govor

Troslojni cjevovodModel govor-u-govor
Kako radiOdvojeno prepoznavanje, model i glasJedan model obrađuje zvuk na ulazu i izlazu
KontrolaSvaka faza može se podešavati ili zamijenitiManje vidljivo, integriranije
KašnjenjeZbraja se kroz fazeMože biti niže
TranskriptTekst dostupan u svakom korakuMože trebati dodatan rad za proizvodnju teksta
ZrelostŠiroko korištenoNovije, brzo se mijenja

Modeli govor-u-govor noviji su pristup. U svakom slučaju, latencija, prekidi i izmjena govornika određuju djeluje li agent prirodno.

Prekidi

Ljudi se prekidaju. Dobar agent prestaje govoriti kad pozivatelj počne i ne smatra kašalj ili glas u pozadini prekidom. To ovisi o otkrivanju govora, opisanom u članku detekcija glasovne aktivnosti. Loše podešeni sustavi ili govore preko pozivatelja ili predugo čekaju.

Alati, znanje i radnje

Glasovni agent postaje koristan kad može više od razgovora. S povezanim alatima može pretraživati informacije, snimiti poruku, zabilježiti zahtjev za povratni poziv ili predati poziv osobi. Svaki alat treba imati usku svrhu i jasna pravila. Agent može primiti zahtjev za termin; potvrđivanje je druga stvar, a mnoge tvrtke radije da to potvrdi osoba. Pozivanje funkcija objašnjava kako se alati opisuju modelu.

Što se događa sa zvukom i tekstom

Svaka faza obrađuje osobne podatke. Zvuk sadrži glas; transkript sadrži što je rečeno, često uključujući imena, adrese i razloge poziva. Prije uvođenja saznajte gdje svaka faza radi, što se pohranjuje, koliko dugo i tko može čitati. Odlučite treba li osjetljive podatke, poput podataka o plaćanju ili zdravlju, agent uopće prikupljati ili ih prepustiti osobi. Oblikovanje glasovnog AI-ja s privatnošću na umu to obrađuje dublje.

Zadatak agenta držite uskim. Agent koji odgovara na uobičajena pitanja, prima poruku i predaje lakše je testirati, lakše objasniti pozivateljima i lakše držati unutar vaših obećanja o privatnosti od onoga koji pokušava sve.

Što očekivati u praksi

Očekujte dobar rezultat na jednostavnim, predvidljivim pozivima: radno vrijeme, upute za dolazak, osnovna pitanja, primanje poruke. Očekujte više poteškoća s dugim, emotivnim ili dvosmislenim pozivima, jakim naglascima, lošim linijama i zahtjevima koji traže prosudbu. Razuman početak kreće s malim skupom vrsta poziva, isprva sluša svaki poziv, a zatim se širi kako raste povjerenje. Fraza koju treba zapamtiti jest da je agent osmišljen da pomogne u definiranim zadacima, a ne da zamijeni prosudbu.

Gdje zakaže

Oblikujte za to. Olakšajte dolazak do osobe, držite odgovore kratkima, potvrđujte važne pojedinosti poput brojeva i datuma i redovito pregledavajte prave pozive. Testiranje glasovnog agenta i metrike evaluacije objašnjavaju kako.

Kako to izgleda u alatu Call

U alatu Call AI agent gradi se iz persone i upute, glasa, jezika i izvora znanja, a zatim se testira na zaslonu i telefonom prije nego se uključi za liniju. Call omogućuje odabir među glasovima, podešavanje izgovora rječnikom, prilagodbu načina prepoznavanja govora i održavanje izvora ažurnima. Agent je osmišljen da pozivatelje spoji s osobom kad to zatraže i može primiti poruku. Dok agenta ne uključite za liniju, pozivi zvone vašem timu. Uvijek najprije testirajte vlastitim pozivima. Postavljanje AI agenta u alatu Call vodi kroz korake.

Često postavljana pitanja

Koja su tri dijela glasovnog AI agenta?

Govor u tekst da čuje pozivatelja, jezični model da odluči što reći i tekst u govor da izgovori odgovor. Neki noviji sustavi ih kombiniraju.

Zašto AI ponekad pauzira prije odgovora?

Svaka faza traži vrijeme, a sustav mora zaključiti da je pozivatelj završio govoriti. Strujanje i podešavanje mogu skratiti razmak, ali ga ne uklanjaju.

Može li AI izmišljati?

Da. Jezični model može proizvesti uvjerljive, ali pogrešne odgovore. Dajte mu dobro znanje, jasna ograničenja i uputu da ponudi osobu kad nije siguran.

Može li glasovni agent rezervirati termine?

Može primiti zahtjev i proslijediti ga. Mnoge tvrtke radije da potvrdi osoba, pa odlučite što agent smije obećati.

Moraju li se pozivatelji obavijestiti da je riječ o AI-ju?

Na mnogim mjestima ljudi to očekuju ili imaju pravo znati. Recite to jasno na početku poziva i provjerite pravila koja se na vas odnose.

Kako provjeriti da radi?

Testirajte sa stvarnim pozivima s različitim naglascima i razinama buke, poslušajte rezultate i držite popis pitanja koja ponavljate nakon svake promjene.

Isprobajte AI glasovnog agenta na vlastitoj liniji u alatu Call

U demo konzoli možete isprobati dolazne pozive u simulaciji.

Povezani vodiči