Teknolohiya ng voice AI

Paano Gumagana ang Voice AI: Speech Recognition, LLM at Text-to-Speech

Simpleng paglilibot sa pipeline ng voice AI phone agent: speech-to-text, language model, text-to-speech, turn-taking, delay at ligtas na handoff.

Editorial team ng Call · Nailathala · 6 min na pagbabasa

Ang tawag sa AI agent ay maaaring maramdamang parang mahika o palaisipan, depende kung gumagana ito. Sa likod nito ang medyo simpleng ideya: gawing teksto ang boses ng tumatawag, hayaang magpasya ang language model kung ano ang sasabihin, at gawing pananalita muli ang sagot, sapat na mabilis para maramdamang usapan. Ipinapaliwanag ng gabay na ito ang bawat yugto, kung saan nagkakamali at ano ang ibig sabihin niyon sa pag-set up ng agent. Para sa mas malawak na larawan, magsimula sa Ano ang AI phone reception?.

Isang telepono sa tabi ng diagram ng sound wave na nagiging teksto at bumabalik sa pananalita
Larawang pang-ilustrasyon

Ang pangunahing loop ng voice AI na tawag

  1. MakinigKinukuha at nililinis ang audio mula sa tumatawag.
  2. Mag-transcribeGinagawang salita ng speech-to-text ang audio.
  3. MagpasyaPinipili ng language model kung ano ang sasabihin o gagawin sa susunod.
  4. MagsalitaGinagawang audio ng text-to-speech ang sagot.
  5. UlitinTumatakbo ang loop sa bawat turn hanggang matapos ang tawag o maipasa ito.

Unang yugto: speech-to-text

Ginagawang salita ng speech recognition ang tunog. Sa phone line, narrow-band at compressed ang audio, na mas mahirap kaysa sa studio recording. Naaapektuhan ang katumpakan ng accent, ingay sa background, sabay-sabay na pagsasalita at mga di-karaniwang pangalan. Kayang gumanda ng mga modernong sistema sa pang-araw-araw na pananalita, pero karaniwang mahinang punto ang mga numero, baybay, pangalan at salita ng larangan tulad ng gamot o pangalan ng kalye.

Mas maraming detalye sa speech recognition para sa mga tawag sa telepono, paghawak ng mga numero at pangalan at mga accent at diyalekto.

Ikalawang yugto: ang language model

Binabasa ng malaking language model ang transcript hanggang sa puntong iyon, kasama ang mga tagubiling isinulat ninyo at anumang impormasyong ibinigay ninyo, saka gumagawa ng susunod na sagot. Hindi ito naghahanap nang mag-isa; umaasa ito sa ibinigay dito. Kaya napakahalaga ng prompt at knowledge base. Maaaring tunog mahusay ang model habang mali, kaya mahalaga ang guardrail at pagsubok.

Ano ang humuhubog sa sagot ng model

  • Mga tagubilinAng papel, tono, panuntunan at limitasyong ibinibigay ninyo.
  • KaalamanMga dokumento, Q&A at katotohanang maaari nitong gamitin.
  • Usapan hanggang ngayonAng nasabi na sa tawag na ito.
  • Mga toolMga aksyong maaari nitong gawin, tulad ng paghahanap ng order o pagtatala ng mensahe.

Mas malalim ang mga gabay tulad ng pag-prompt sa phone agent, RAG para sa mga voice agent, mga hallucination at mga guardrail. Pinipigilan ng prompt na nagsasabi kung ano ang gagawin kapag hindi tiyak, halimbawa pag-aalok ng tao o pagkuha ng mensahe, ang maraming problema.

Ikatlong yugto: text-to-speech

Ginagawang audio ng text-to-speech ang sagot. Nag-iiba ang mga boses sa linaw, init at kung paano nila hinahawakan ang mga pahinga, numero at pangalan sa inyong wika. May ilang maaaring i-tune o isaayos gamit ang pronunciation dictionary. Pumili ng boses para sa linaw sa phone line kaysa bago lang, at subukan ito gamit ang mga aktuwal na parirala nitong sasabihin. Tingnan ang text-to-speech sa Japanese para sa halimbawa ng mga isyung partikular sa wika, at ang voice cloning para sa pahintulot at panganib sa paggamit ng custom na boses.

Bakit timing ang nagpapasya sa karanasan

Mabilis ang mga turn ng usapan ng tao. Kakaiba ang pakiramdam ng agwat na higit sa isang segundo. Sa tatlong-yugtong pipeline, bawat hakbang ay nagdaragdag ng delay, at maaaring tumagal ang model sa pag-iisip. Binabawasan ng mga designer ang delay sa pamamagitan ng streaming: pagsisimulang magsalita bago pa handa ang buong sagot, at pagsisimulang mag-transcribe bago huminto ang tumatawag. Tina-tune din nila kung kailan ipapasya na tapos na ang tumatawag.

Pipeline laban sa speech-to-speech

Tatlong-yugtong pipelineSpeech-to-speech model
Paano ito gumaganaMagkakahiwalay na recognition, model at bosesIsang model ang humahawak ng audio papasok at palabas
KontrolMaaaring i-tune o palitan ang bawat yugtoMas hindi nakikita, mas pinagsama
DelayNagsasama-sama sa mga yugtoMaaaring mas mababa
TranscriptAvailable ang teksto sa bawat hakbangMaaaring mangailangan ng dagdag na gawa para makagawa ng teksto
PagkahinogMalawakang ginagamitMas bago, mabilis magbago

Mga speech-to-speech model ay mas bagong paraan. Alinman, ang latency, pagsingit at turn-taking ang nagpapasya kung natural ang pakiramdam ng agent.

Mga pagsingit

Sumisingit ang mga tao. Humihinto sa pagsasalita ang mahusay na agent kapag nagsimula ang tumatawag, at hindi nito napagkakamalang pagsingit ang ubo o boses sa background. Nakadepende ito sa pagtukoy ng pananalita, na tinalakay sa voice activity detection. Ang mga sistemang hindi maayos ang tune ay sumasabay sa mga tumatawag o masyadong naghihintay.

Mga tool, kaalaman at aksyon

Nagiging kapaki-pakinabang ang voice agent kapag may magagawa ito bukod sa makipag-chat. Sa mga konektadong tool, makapaghahanap ito ng impormasyon, makapagtatala ng mensahe, makapagtatala ng kahilingang callback o makapagpapasa ng tawag sa tao. Dapat may makitid na layunin at malinaw na panuntunan ang bawat tool. Makakakuha ang agent ng kahilingan para sa appointment; ibang usapin ang pagkumpirma nito, at mas gusto ng maraming negosyo na tao ang magkumpirma. Function calling ay nagpapaliwanag kung paano inilalarawan ang mga tool sa model.

Ano ang nangyayari sa audio at teksto

Humahawak ng personal na data ang bawat yugto. Nagtataglay ng boses ang audio; nagtataglay ang transcript ng sinabi, madalas kasama ang pangalan, address at dahilan ng pagtawag. Bago mag-deploy, alamin kung saan tumatakbo ang bawat yugto, ano ang naka-store, gaano katagal at sino ang makakabasa. Magpasya kung dapat bang kolektahin ng agent ang mga sensitibong detalye, tulad ng bayad o impormasyong pangkalusugan, o ipasa sa tao. Pagdidisenyo ng Voice AI nang may Privacy ay mas malalim na tumatalakay dito.

Panatilihing makitid ang trabaho ng agent. Ang agent na sumasagot ng karaniwang tanong, kumukuha ng mensahe at nag-hand over ay mas madaling subukan, mas madaling ipaliwanag sa mga tumatawag at mas madaling panatilihin sa loob ng inyong mga pangako sa privacy kaysa sa sumusubok gawin ang lahat.

Ano ang aasahan sa praktika

Asahan ang magandang resulta sa simple at mahuhulaang tawag: oras ng bukas, direksyon, batayang tanong, pagkuha ng mensahe. Asahan ang mas mahirap sa mahaba, emosyonal o malabong tawag, malakas na accent, masamang linya at kahilingang nangangailangan ng paghuhusga. Nagsisimula ang makatwirang rollout sa maliit na set ng mga uri ng tawag, nakikinig sa bawat tawag sa simula, saka lumalawak habang lumalaki ang tiwala. Ang pariralang dapat tandaan ay idinisenyo ang agent para tumulong sa mga tinukoy na gawain, hindi para palitan ang paghuhusga.

Kung saan ito nagkakamali

Magdisenyo para sa mga ito. Gawing madali ang pag-abot sa tao, panatilihing maikli ang sagot, kumpirmahin ang mahahalagang detalye tulad ng numero at petsa, at regular na suriin ang totoong tawag. Pagsubok sa Voice Agent at mga sukatan ng pagsusuri ay nagpapaliwanag kung paano.

Paggawa nito sa Call

Sa Call, binubuo ang AI agent mula sa persona at prompt, boses, wika at knowledge source, saka sinusubukan sa screen at sa telepono bago i-on para sa isang linya. Hinahayaan kayo ng Call na pumili sa mga boses, mag-tune ng pagbigkas gamit ang dictionary, isaayos kung paano nakikilala ang pananalita at panatilihing napapanahon ang mga source. Idinisenyo ang agent na ipasa ang mga tumatawag sa tao kapag hiniling, at makakakuha ito ng mensahe. Hangga't hindi ninyo io-on ang agent para sa isang linya, nagri-ring ang inyong team sa mga tawag. Laging subukan muna gamit ang sarili ninyong tawag. Pag-set up ng AI Agent sa Call ang naglalakad sa mga hakbang.

Mga madalas itanong

Ano ang tatlong bahagi ng voice AI agent?

Speech-to-text para pakinggan ang tumatawag, language model para magpasya kung ano ang sasabihin at text-to-speech para bigkasin ang sagot. Pinagsasama ng ilang mas bagong sistema ang mga ito.

Bakit minsan humihinto ang AI bago sumagot?

Tumatagal ang bawat yugto, at dapat ipasya ng sistema na tapos nang magsalita ang tumatawag. Mapaiikli ng streaming at tuning ang agwat pero hindi maaalis.

Makakapag-imbento ba ang AI?

Oo. Makakagawa ang language model ng kapani-paniwala pero maling sagot. Bigyan ito ng mahusay na kaalaman, malinaw na limitasyon at tagubiling mag-alok ng tao kapag hindi tiyak.

Makakapag-book ba ng appointment ang voice agent?

Makakakuha ito ng kahilingan at maipapasa. Mas gusto ng maraming negosyo na tao ang magkumpirma, kaya magpasya kung ano ang puwedeng ipangako ng agent.

Kailangan bang sabihin sa mga tumatawag na AI ito?

Sa maraming lugar, inaasahan o may karapatan ang mga tao na malaman. Sabihin ito nang malinaw sa simula ng tawag at alamin ang mga patakarang naaangkop sa inyo.

Paano ko matitiyak na gumagana ito?

Subukan gamit ang totoong tawag sa iba't ibang accent at antas ng ingay, pakinggan ang mga resulta at magtago ng listahan ng mga tanong na uulitin ninyo pagkatapos ng bawat pagbabago.

Subukan ang AI voice agent sa sarili ninyong linya sa Call

Sa demo console, masusubukan mo ang mga papasok na tawag sa isang simulation.

Mga kaugnay na gabay