Teknolohiya ng voice AI

Speech-to-Speech Model vs Cascaded Voice Pipeline: Paghahambing

Dalawang paraan ng pagbuo ng phone voice agent: speech-to-speech model at cascaded pipeline. Kalakasan at kahinaan ng bawat isa, at paano pumili sa testing.

Editorial team ng Call · Nailathala · 6 min na pagbabasa

Kapag naririnig ninyong nagsasalita ang voice agent, kadalasang isa sa dalawang disenyo ang nasa likod nito. Sa una, ginagawang teksto ng software ang pananalita ng caller, sumusulat ang language model ng sagot sa teksto, at binabasa ito nang malakas ng voice engine. Sa ikalawa, nakikinig sa audio ang iisang model at sumasagot sa audio. Nagtatalo ang mga vendor kung alin ang mas mahusay. Ang tapat na sagot ay may isinusuko ang bawat isa.

Mga engineer na naghahambing ng audio waveform sa screen ng laptop
Larawang pang-ilustrasyon

Pinaghahambing ng gabay na ito ang dalawa sa simpleng salita para makapagtanong kayo ng mas mahuhusay na tanong sa pagpili ng platform. Para sa mas malawak na pagpapakilala, magsimula sa Paano Gumagana ang Voice AI sa Tawag sa Telepono.

Ang cascaded pipeline

Ang cascaded pipeline, minsang tinatawag na speech-to-text, saka model, saka text-to-speech, ang naging standard na paraan sa loob ng maraming taon. Hiwalay na component ang bawat yugto, at teksto ang ipinapasa sa pagitan nila.

Cascaded pipeline

  1. Speech recognitionGinagawang teksto ang audio ng caller.
  2. Language modelBinabasa ang teksto, kasama ang mga instruction at source, at sumusulat ng sagot.
  3. Speech synthesisGinagawang binibigkas na audio ang tekstong sagot.
  4. TelephonyDinadala ang audio papunta at pabalik sa caller.

Dahil simpleng teksto ang gitna ng system, mababasa, mahahanap, maiimbak, masusuri laban sa mga patakaran at mapapalitan ninyo ang anumang yugto. Maipapalit ninyo ang recognizer na mas mahusay sa mga accent ng caller ninyo o boses na bagay sa brand ninyo.

Ang speech-to-speech na paraan

Direktang hinahawakan ng speech-to-speech model, na inilalarawan ding end-to-end o native audio model, ang audio. Pinakikinggan nito ang mismong tunog at gumagawa ng tunog bilang output, bagaman marami sa ganitong system ang gumagawa rin ng teksto para sa logging.

Speech-to-speech

  1. Audio papasokDiretso sa model ang boses ng caller.
  2. Iisang modelInuunawa nito ang kahulugan, tono at timing at pinaplano ang sagot.
  3. Audio palabasDirektang binubuo nito ang binibigkas na tugon.
  4. TelephonyBumibiyahe ang audio papunta at pabalik sa caller.

Ang kaakit-akit dito ay walang nawawala sa pagitan ng mga yugto. Maaaring makaimpluwensya sa sagot ang paghinto, tawa, pag-aalinlangan o buntong-hininga, at mas maagang makakapagsimulang magsalita ang model dahil hindi ito naghihintay sa tatlong magkakahiwalay na hakbang.

Magkatabi

Cascaded kumpara sa speech-to-speech

CascadedSpeech-to-speech
Pagiging naturalNakadepende sa bawat yugto; maaaring pakiramdam ay pa-hakbangKadalasang mas makinis, napapanatili ang timing at tono
Response timeKabuuan ng tatlong yugto, na maaaring i-tunePosibleng mas maikli, dahil mas kaunti ang pasahan
KontrolMataas: maipapatupad ang mga patakaran sa teksto sa bawat hakbangMas mababa: mas mahirap suriin ang nangyayari sa loob
Transcript at logNatural na by-productKadalasang hiwalay na binubuo at maaaring iba sa sinabi
Pagpapalit ng bahagiMadali: palitan ang recognizer o boses nang mag-isaLimitado sa inaalok ng model
Pagpili ng bosesMalawak na pagpipilian ng bosesKadalasang mas kaunti
MaturityMahabang track recordMas bago, mabilis na nagbabago

Mag-ingat sa anumang pahayag ng ganap na kahigitan. Nag-iiba ang kalidad sa pagitan ng mga produkto sa loob ng bawat kategorya, at maaaring hindi umubra sa maingay na mobile call ang resulta sa malinis na demo.

Ano ang mahalaga para sa mga tawag sa telepono

Makitid at maingay ang phone audio

Compressed at madalas maingay ang audio ng telepono. Anuman ang disenyong piliin ninyo, tingnan kung paano ito gumagana sa totoong phone audio at hindi lang sa studio recording. Ipinapaliwanag ng Bakit Mahirap ang Phone Audio para sa Speech Recognition ang epekto.

Kontrol at auditability

Kung kailangan ninyong ipakita kung ano ang sinabi ng agent at bakit, nakakatulong ang teksto sa bawat yugto. Hinahayaan kayo ng cascaded na disenyo na maglapat ng pagsusuri sa pagitan ng sagot ng model at ng boses. Sa end-to-end model, mas umaasa kayo sa mga kontrol ng vendor at sa testing. Suriin ang Mga Guardrail para sa Voice AI Agent at pagpasyahan kung ano ang kailangan ninyong ipatupad.

Pagsabat at timing

Kadalasang mas maayos na nahahawakan ng native audio model ang overlap at pagsabat dahil tuloy-tuloy nitong naririnig ang caller. Umaasa ang cascaded system sa pagtukoy ng pananalita at katahimikan para magpasya kung kailan titigil at magsisimula; tingnan ang Voice Activity Detection at Turn-Taking sa mga Voice Agent. Mapapaliit ng mas mahusay na engineering ang agwat, at maaaring patuloy na magbago ang agwat.

Mga wika at accent

Suriin ang mga wika at accent na mahalaga sa inyo sa pamamagitan ng testing, sa halip na tanggapin ang listahan sa brochure. Maaaring mas mahina sa isang wika ang model na malakas sa iba, at ganoon din sa bawat yugto ng pipeline.

Pagpili para sa sitwasyon ninyo

Ipinapakita ng ilang hypothetical na senaryo kung paano humihila sa magkakaibang direksyon ang mga prayoridad.

Mga tanong para sa vendor

  • Aling mga yugto ang ginagamit ng system, at mapapalitan ko ba ang mga ito?
  • Makakakuha ba ako ng transcript ng bawat tawag, at iyon ba ang narinig ng model?
  • Paano ipinapatupad ang mga patakaran at limitasyon?
  • Paano ito kumikilos sa mobile at maingay na linya?
  • Ano ang karaniwang response time sa totoong mga tawag sa telepono?
  • Paano hinahawakan ang pagsabat?
  • Ano ang nangyayari sa audio at teksto pagkatapos?

Kung saan lumalabo ang hangganan

Hindi kasingtalas ng sinasabi ng marketing ang dalawang kategorya. Maraming speech-to-speech na produkto ang gumagawa pa rin ng transcript kasabay ng audio, at maraming cascaded na produkto ang nag-i-stream ng bahagyang resulta sa pagitan ng mga yugto para magsimula ang pananalita bago matapos sumulat ang model. May mga system na gumagamit ng native audio model para sa usapan at hakbang na teksto para sa lookup o pagsusuri ng patakaran. Kapag sinabi ng vendor na end-to-end ang produkto nito, itanong kung ano mismo ang end-to-end, at saan pa lumalabas ang teksto.

Mahalaga ito dahil hindi nagbabago ang mga praktikal na tanong. Saan ninyo mababasa ang sinabi? Saan maipapatupad ang isang patakaran? Paano nahuhuli ang maling sagot? Maaaring ang hybrid na nagbibigay ng maaasahang transcript at natural na boses ang makatwirang gitnang daan, basta mabe-verify ninyo ang dalawang bahagi.

Patas na pag-test

Madaling madaya nang hindi sinasadya ang mga paghahambing. Gamitin ang parehong script, parehong uri ng phone line at parehong ingay sa background para sa bawat kandidato. Mag-test mula sa mobile phone sa kotse o sa kalye, hindi lang mula sa tahimik na kuwarto. Isama ang mga nakakailang na sandaling ginagawa ng totoong mga caller: pagtatama sa gitna ng pangungusap, binaybay na pangalan, tanong na labas sa saklaw at paghingi ng tao.

Bigyan ng iskor ang bawat tawag sa ilang simpleng punto: tama ba ang sagot, hinintay ba ng agent ang caller, gaano kahaba ang puwang bago ang bawat sagot, at paano natapos ang tawag. Mas marami ang sinasabi sa inyo ng katamtamang hanay ng tawag na pare-parehong iniskor kaysa sa makinis na demo.

Ang paraan ng Call dito

Ang praktikal na aral ay mas hindi mahalaga ang arkitektura kaysa sa kilos sa mga tawag ninyo. Sa Call, nagsisimulang magsalita ang AI agent sa sandaling handa na ang unang bahagi ng sagot nito, inihahanda nang maaga ang greeting sa outbound calls at pinananatiling maikli ang mga sagot. Itinatakda ninyo ang boses at mga opsyon ng transcriber, nagte-test sa pamamagitan ng pagtawag sa sarili ninyong telepono at binabasa ang usapan pagkatapos sa call history. Anuman ang teknolohiya sa ilalim, panatilihin ito sa parehong pamantayan: tumpak ba itong sumasagot, magalang na nagha-handover at katanggap-tanggap ang tunog sa mga caller ninyo? Angkop sa dalawa ang mga sukatan sa Paano Suriin ang mga Usapan ng Voice Agent.

Mga madalas itanong

Ano ang speech-to-speech model?

Ito ay model na tumatanggap ng binibigkas na audio bilang input at naglalabas ng binibigkas na audio bilang output, nang walang hiwalay na yugtong teksto sa pagitan ng recognition at pananalita.

Ano ang cascaded voice pipeline?

Ito ay kadena ng speech recognition, language model at speech synthesis, na may tekstong ipinapasa sa pagitan ng mga yugto.

Alin ang mas natural?

Kadalasang inilalarawang mas makinis ang speech-to-speech system, pero nag-iiba ang kalidad sa pagitan ng mga produkto. Husgahan sa pakikinig sa mga tawag na katulad ng sa inyo.

Alin ang mas madaling i-audit?

Gumagawa ng teksto sa bawat hakbang ang cascaded pipeline, kaya mas simple ang log, pagsusuri at patakaran. Sa end-to-end model, alamin kung ano ang nire-record ng vendor at gaano ito maaasahan.

Maaari ko bang paghaluin ang dalawang paraan?

May mga platform na pinagsasama ang mga ito, halimbawa gumagamit ng cascaded na disenyo para sa ilang tawag. Itanong kung paano hinahawakan ng system ang mga transcript at patakaran sa alinmang mode na ginagamit nito.

Nakakaapekto ba sa gastos ang pagpili?

Maaari, pero nagbabago ang presyo at mga model, kaya humingi ng kasalukuyang termino sa vendor at ihambing ang mga ito sa nasukat na resulta sa halip na sa mga headline na pahayag.

Mag-test ng AI agent sa sarili ninyong phone line gamit ang Call

Sa demo console, masusubukan mo ang mga papasok na tawag sa isang simulation.

Mga kaugnay na gabay