Paano Gumagana ang Voice AI: Speech Recognition, LLM at Text-to-Speech
Simpleng paglilibot sa pipeline ng voice AI phone agent: speech-to-text, language model, text-to-speech, turn-taking, delay at ligtas na handoff.
Ang tawag sa AI agent ay maaaring maramdamang parang mahika o palaisipan, depende kung gumagana ito. Sa likod nito ang medyo simpleng ideya: gawing teksto ang boses ng tumatawag, hayaang magpasya ang language model kung ano ang sasabihin, at gawing pananalita muli ang sagot, sapat na mabilis para maramdamang usapan. Ipinapaliwanag ng gabay na ito ang bawat yugto, kung saan nagkakamali at ano ang ibig sabihin niyon sa pag-set up ng agent. Para sa mas malawak na larawan, magsimula sa Ano ang AI phone reception?.

Ang pangunahing loop ng voice AI na tawag
- MakinigKinukuha at nililinis ang audio mula sa tumatawag.
- Mag-transcribeGinagawang salita ng speech-to-text ang audio.
- MagpasyaPinipili ng language model kung ano ang sasabihin o gagawin sa susunod.
- MagsalitaGinagawang audio ng text-to-speech ang sagot.
- UlitinTumatakbo ang loop sa bawat turn hanggang matapos ang tawag o maipasa ito.
Unang yugto: speech-to-text
Ginagawang salita ng speech recognition ang tunog. Sa phone line, narrow-band at compressed ang audio, na mas mahirap kaysa sa studio recording. Naaapektuhan ang katumpakan ng accent, ingay sa background, sabay-sabay na pagsasalita at mga di-karaniwang pangalan. Kayang gumanda ng mga modernong sistema sa pang-araw-araw na pananalita, pero karaniwang mahinang punto ang mga numero, baybay, pangalan at salita ng larangan tulad ng gamot o pangalan ng kalye.
- Gumagawa ng mga salita ang streaming recognition habang nagsasalita pa ang tumatawag, na nakatitipid ng oras.
- Madalas kailangan ng mga recogniser ng mga pahiwatig, tulad ng listahan ng pangalan ng produkto o lugar, para gumanda.
- Hindi katiyakan ang kumpiyansa; maaaring kumpiyansa ang sistema pero mali.
- Hiwalay na trabaho ang pakikinig sa katapusan ng turn sa pagkilala ng mga salita.
Mas maraming detalye sa speech recognition para sa mga tawag sa telepono, paghawak ng mga numero at pangalan at mga accent at diyalekto.
Ikalawang yugto: ang language model
Binabasa ng malaking language model ang transcript hanggang sa puntong iyon, kasama ang mga tagubiling isinulat ninyo at anumang impormasyong ibinigay ninyo, saka gumagawa ng susunod na sagot. Hindi ito naghahanap nang mag-isa; umaasa ito sa ibinigay dito. Kaya napakahalaga ng prompt at knowledge base. Maaaring tunog mahusay ang model habang mali, kaya mahalaga ang guardrail at pagsubok.
Ano ang humuhubog sa sagot ng model
- Mga tagubilinAng papel, tono, panuntunan at limitasyong ibinibigay ninyo.
- KaalamanMga dokumento, Q&A at katotohanang maaari nitong gamitin.
- Usapan hanggang ngayonAng nasabi na sa tawag na ito.
- Mga toolMga aksyong maaari nitong gawin, tulad ng paghahanap ng order o pagtatala ng mensahe.
Mas malalim ang mga gabay tulad ng pag-prompt sa phone agent, RAG para sa mga voice agent, mga hallucination at mga guardrail. Pinipigilan ng prompt na nagsasabi kung ano ang gagawin kapag hindi tiyak, halimbawa pag-aalok ng tao o pagkuha ng mensahe, ang maraming problema.
Ikatlong yugto: text-to-speech
Ginagawang audio ng text-to-speech ang sagot. Nag-iiba ang mga boses sa linaw, init at kung paano nila hinahawakan ang mga pahinga, numero at pangalan sa inyong wika. May ilang maaaring i-tune o isaayos gamit ang pronunciation dictionary. Pumili ng boses para sa linaw sa phone line kaysa bago lang, at subukan ito gamit ang mga aktuwal na parirala nitong sasabihin. Tingnan ang text-to-speech sa Japanese para sa halimbawa ng mga isyung partikular sa wika, at ang voice cloning para sa pahintulot at panganib sa paggamit ng custom na boses.
Bakit timing ang nagpapasya sa karanasan
Mabilis ang mga turn ng usapan ng tao. Kakaiba ang pakiramdam ng agwat na higit sa isang segundo. Sa tatlong-yugtong pipeline, bawat hakbang ay nagdaragdag ng delay, at maaaring tumagal ang model sa pag-iisip. Binabawasan ng mga designer ang delay sa pamamagitan ng streaming: pagsisimulang magsalita bago pa handa ang buong sagot, at pagsisimulang mag-transcribe bago huminto ang tumatawag. Tina-tune din nila kung kailan ipapasya na tapos na ang tumatawag.
Pipeline laban sa speech-to-speech
| Tatlong-yugtong pipeline | Speech-to-speech model | |
|---|---|---|
| Paano ito gumagana | Magkakahiwalay na recognition, model at boses | Isang model ang humahawak ng audio papasok at palabas |
| Kontrol | Maaaring i-tune o palitan ang bawat yugto | Mas hindi nakikita, mas pinagsama |
| Delay | Nagsasama-sama sa mga yugto | Maaaring mas mababa |
| Transcript | Available ang teksto sa bawat hakbang | Maaaring mangailangan ng dagdag na gawa para makagawa ng teksto |
| Pagkahinog | Malawakang ginagamit | Mas bago, mabilis magbago |
Mga speech-to-speech model ay mas bagong paraan. Alinman, ang latency, pagsingit at turn-taking ang nagpapasya kung natural ang pakiramdam ng agent.
Mga pagsingit
Sumisingit ang mga tao. Humihinto sa pagsasalita ang mahusay na agent kapag nagsimula ang tumatawag, at hindi nito napagkakamalang pagsingit ang ubo o boses sa background. Nakadepende ito sa pagtukoy ng pananalita, na tinalakay sa voice activity detection. Ang mga sistemang hindi maayos ang tune ay sumasabay sa mga tumatawag o masyadong naghihintay.
Mga tool, kaalaman at aksyon
Nagiging kapaki-pakinabang ang voice agent kapag may magagawa ito bukod sa makipag-chat. Sa mga konektadong tool, makapaghahanap ito ng impormasyon, makapagtatala ng mensahe, makapagtatala ng kahilingang callback o makapagpapasa ng tawag sa tao. Dapat may makitid na layunin at malinaw na panuntunan ang bawat tool. Makakakuha ang agent ng kahilingan para sa appointment; ibang usapin ang pagkumpirma nito, at mas gusto ng maraming negosyo na tao ang magkumpirma. Function calling ay nagpapaliwanag kung paano inilalarawan ang mga tool sa model.
Ano ang nangyayari sa audio at teksto
Humahawak ng personal na data ang bawat yugto. Nagtataglay ng boses ang audio; nagtataglay ang transcript ng sinabi, madalas kasama ang pangalan, address at dahilan ng pagtawag. Bago mag-deploy, alamin kung saan tumatakbo ang bawat yugto, ano ang naka-store, gaano katagal at sino ang makakabasa. Magpasya kung dapat bang kolektahin ng agent ang mga sensitibong detalye, tulad ng bayad o impormasyong pangkalusugan, o ipasa sa tao. Pagdidisenyo ng Voice AI nang may Privacy ay mas malalim na tumatalakay dito.
Panatilihing makitid ang trabaho ng agent. Ang agent na sumasagot ng karaniwang tanong, kumukuha ng mensahe at nag-hand over ay mas madaling subukan, mas madaling ipaliwanag sa mga tumatawag at mas madaling panatilihin sa loob ng inyong mga pangako sa privacy kaysa sa sumusubok gawin ang lahat.
Ano ang aasahan sa praktika
Asahan ang magandang resulta sa simple at mahuhulaang tawag: oras ng bukas, direksyon, batayang tanong, pagkuha ng mensahe. Asahan ang mas mahirap sa mahaba, emosyonal o malabong tawag, malakas na accent, masamang linya at kahilingang nangangailangan ng paghuhusga. Nagsisimula ang makatwirang rollout sa maliit na set ng mga uri ng tawag, nakikinig sa bawat tawag sa simula, saka lumalawak habang lumalaki ang tiwala. Ang pariralang dapat tandaan ay idinisenyo ang agent para tumulong sa mga tinukoy na gawain, hindi para palitan ang paghuhusga.
Kung saan ito nagkakamali
- Ang maling narinig na salita o numero ay humahantong sa maling sagot.
- Nag-iimbento ang model ng sagot sa halip na aminin na hindi nito alam.
- Napapaulit ng mga delay ang mga tumatawag o ibinababa nila ang telepono.
- Napagkakamalang pananalita ang ingay sa background o crosstalk.
- Gusto ng tumatawag ang labas sa saklaw ng agent at hindi makaalis.
Magdisenyo para sa mga ito. Gawing madali ang pag-abot sa tao, panatilihing maikli ang sagot, kumpirmahin ang mahahalagang detalye tulad ng numero at petsa, at regular na suriin ang totoong tawag. Pagsubok sa Voice Agent at mga sukatan ng pagsusuri ay nagpapaliwanag kung paano.
Paggawa nito sa Call
Sa Call, binubuo ang AI agent mula sa persona at prompt, boses, wika at knowledge source, saka sinusubukan sa screen at sa telepono bago i-on para sa isang linya. Hinahayaan kayo ng Call na pumili sa mga boses, mag-tune ng pagbigkas gamit ang dictionary, isaayos kung paano nakikilala ang pananalita at panatilihing napapanahon ang mga source. Idinisenyo ang agent na ipasa ang mga tumatawag sa tao kapag hiniling, at makakakuha ito ng mensahe. Hangga't hindi ninyo io-on ang agent para sa isang linya, nagri-ring ang inyong team sa mga tawag. Laging subukan muna gamit ang sarili ninyong tawag. Pag-set up ng AI Agent sa Call ang naglalakad sa mga hakbang.
Mga madalas itanong
Ano ang tatlong bahagi ng voice AI agent?
Speech-to-text para pakinggan ang tumatawag, language model para magpasya kung ano ang sasabihin at text-to-speech para bigkasin ang sagot. Pinagsasama ng ilang mas bagong sistema ang mga ito.
Bakit minsan humihinto ang AI bago sumagot?
Tumatagal ang bawat yugto, at dapat ipasya ng sistema na tapos nang magsalita ang tumatawag. Mapaiikli ng streaming at tuning ang agwat pero hindi maaalis.
Makakapag-imbento ba ang AI?
Oo. Makakagawa ang language model ng kapani-paniwala pero maling sagot. Bigyan ito ng mahusay na kaalaman, malinaw na limitasyon at tagubiling mag-alok ng tao kapag hindi tiyak.
Makakapag-book ba ng appointment ang voice agent?
Makakakuha ito ng kahilingan at maipapasa. Mas gusto ng maraming negosyo na tao ang magkumpirma, kaya magpasya kung ano ang puwedeng ipangako ng agent.
Kailangan bang sabihin sa mga tumatawag na AI ito?
Sa maraming lugar, inaasahan o may karapatan ang mga tao na malaman. Sabihin ito nang malinaw sa simula ng tawag at alamin ang mga patakarang naaangkop sa inyo.
Paano ko matitiyak na gumagana ito?
Subukan gamit ang totoong tawag sa iba't ibang accent at antas ng ingay, pakinggan ang mga resulta at magtago ng listahan ng mga tanong na uulitin ninyo pagkatapos ng bawat pagbabago.