Paggamit ng Call

Practice Call: Pag-test sa AI Agent Bago Ito Mag-live

Paano nate-test ng simulated na practice call ang AI phone agent sa mahihirap na kaso, paano basahin ang grado at aral, at paano gawing ayos ang mga natuklasan.

Editorial team ng Call · Nailathala · 6 min na pagbabasa

Alam ng anumang team na nag-train ng bagong staff na ang unang linggo sa telepono ang pinakamapanganib. Alam ng bagong tao ang mga patakaran pero hindi pa niya nakakaharap ang caller na sumasabat sa kanya, ang biglang nagpapalit ng paksa sa gitna ng pangungusap o ang gusto lang may masisi. Sinasanay ng mahuhusay na team ang mga sandaling ito sa role-play bago ang totoong tawag.

Isang team lead na nire-review ang call score at transcript sa monitor bago ang launch
Larawang pang-ilustrasyon

Kailangan din ng AI phone agent ang parehong ensayo, at maaari itong magkaroon ng mas marami nito, nang mas mabilis. Ipinapaliwanag ng gabay na ito kung paano magdisenyo ng practice, paano basahin ang resulta at paano ibabalik ang mga aral. Nakabatay ito sa pag-set up ng AI agent at pagsulat ng prompt na gumagana.

Bakit magsanay bago mag-live

Hinuhubog ng mga unang totoong tawag ang tingin ng customer sa buong serbisyo. Mas malaki ang kapalit ng agent na mali ang dinig sa pangalan, sumasabat sa caller o nag-iimbento ng sagot kaysa sa hindi nasagot na tawag, dahil may maikukuwento na ngayon ang customer. Natutuklasan ng practice ang mga problemang iyon habang ang inyong sariling team lang ang nanonood.

Hindi patunay ang practice. Hindi ibig sabihin ng magandang score sa simulated na caller na ganoon din ang gagawin ng totoong caller, at maaaring iba ang kilos ng live voice kumpara sa simulation. Ituring ang magandang resulta bilang pahintulot na maingat na subukan sa totoong tawag, hindi bilang sertipiko.

Ano ang ite-test

Nakadepende ang halaga ng batch sa mga sitwasyong saklaw nito. Sadyang paghaluin ang madadali at mahihirap na kaso.

Mga sitwasyong naglalantad ng kahinaan

  • PagsabatCaller na sumasabat sa agent. Humihinto ba ito at nakikinig, o tuloy-tuloy lang?
  • Pagpapalit ng wikaCaller na nagsimula sa isang wika at lumipat sa iba. Sumusunod ba ang agent?
  • Paghingi ng taoSinabi ng caller na "pakausap ako sa isang tao". Malinaw at maagap ba ang pagpasa?
  • Tanong sa presyoNagtanong ang caller kung magkano. Ang alam lang ba nito ang sinasagot ng agent at iniiwasan ang panghuhula?
  • ReklamoNaiinis na caller. Nananatili bang kalmado ang agent at nag-aalok ng susunod na hakbang?
  • Pang-araw-araw na tanongMga tanong mula sa sariling knowledge base ng agent. Tama at maikli ba ang mga sagot?

Mahalaga ang balanse. Laging mukhang masama ang batch na puro mahihirap na kaso at kaunti lang ang naituturo tungkol sa pang-araw-araw na performance; papupurihin naman ng batch na puro madadaling tanong ang agent na bumabagsak kapag may pressure. Kadalasang ang halo ng dalawa ang pinakamaimpormasyong simula.

Pagpapatakbo ng practice batch sa Call

Sa Call, nasa ilalim ng AI agents ang practice, sa What it learned, sa Practice calls tab. Tumatawag ang mga AI caller sa inyong mga AI agent sa isang simulation, sa Japanese at English, at may grado ang bawat tawag. Pipiliin ninyo ang mga agent (hanggang sampu nang sabay; naka-grey out ang agent na hindi pa makasagot ng tawag), ilang Japanese at English na tawag ang matatanggap ng bawat isa (mula wala hanggang dalawampu't lima ng bawat isa), at ang halo ng sitwasyon.

Halo ng sitwasyonAno ang saklaw nitoGamitin ito kapag
BalancedBawat mahirap na kaso nang isang beses, ang natitira ay tanong mula sa knowledge base ng agentUnang beses ninyong tine-test ang bagong agent
Knowledge baseMga tanong lang na hango sa alam ng agentBinago ninyo ang kaalaman nito at gusto ninyong suriin ang katumpakan
Edge casesMahihirap na kaso langBinago ninyo ang behaviour rules o prompt nito

Pagpapatakbo ng batch

  1. Buksan ang Practice callsPumunta sa AI agents, sa What it learned, at sa Practice calls.
  2. Pumili ng agent at bilangLagyan ng tsek ang mga agent at itakda ang bilang ng tawag sa bawat wika.
  3. Pumili ng haloBalanced, Knowledge base o Edge cases.
  4. Simulan ang batchAng numero sa tabi ng button ang kabuuan: bilang ng agent na pinarami sa mga tawag sa dalawang wika.
  5. Subaybayan ang progresoKusang nagre-refresh ang listahan; buksan ang batch para makita ang score at resulta ng tawag.

Nananatiling naka-grey out ang start button kapag zero ang tawag o lampas sa kabuuang tatlong daan, kaya pinapatakbo nang paunti-unti ang malalaking test. Maaari rin ninyong kanselahin ang batch na naghihintay o tumatakbo; kinakansela ang mga tawag na hindi pa nagsisimula at tinatapos ang tawag na kasalukuyang nagaganap. Maaari ninyong i-on ang voice para sa isang batch para magdagdag ng play button sa bawat turn, at ginagawa lang ang audio kapag pinindot ninyo ito.

Pagbasa ng mga resulta

Buksan ang tapos nang batch at magsimula sa buod, hindi sa iisang transcript. Ipinapakita ng kabuuan ang mga natapos na tawag, average score, mga naitamang sagot, mga tanong na kailangan ng sagot at mga style tip. Sa ilalim nito ang score ayon sa criterion, ang mga pangunahing isyu, kasama ang average ng bawat agent, at talahanayan ng mga tawag na may sitwasyon, wika, score at flag.

  1. Tingnan ang score ayon sa criterion para mahanap ang pinakamahinang bahagi.
  2. Basahin ang mga pangunahing isyu; kung lumalabas ang isa sa iba't ibang agent, malamang shared na prompt o patakaran ito.
  3. Ayusin ang mga tawag ayon sa score at basahin nang buo ang tatlong pinakamababang transcript.
  4. Basahin ang tala ng grader sa bawat sagot, hindi lang ang huling grado.
  5. Paghambingin ang mga wika; maaaring ibig sabihin ng agwat na kailangan ng isang wika ang sarili nitong pananalita.

Paglalapat ng mga aral

Gumagawa ng mga aral ang practice, at naghihintay ang mga ito ng inyong review sa halip na awtomatikong baguhin ang agent. Maaari ninyong ilapat o i-dismiss ang bawat isa. Naghihintay din sa Suggestions ang mga naitamang sagot at mga tanong na kailangan ng sagot. Sinadya ito: tao ang nagpapasya kung ano ang dapat matutunan ng agent.

Pag-review ng mga aral

  • Tugma ba ang aral sa inyong patakaran at tono
  • Talaga bang tama ang naitamang sagot, hindi lang kapani-paniwala
  • Para ba ito sa bawat caller, o sa sitwasyong ito lang
  • May dalawa bang aral na nagkakasalungatan
  • Kailangan ba ng agent ng bagong knowledge entry, hindi pagbabago sa prompt

Pagkatapos maglapat ng pagbabago, magpatakbo ulit ng maliit na batch at paghambingin. Isa-isang baguhin kung kaya, dahil kung hindi ay hindi ninyo malalaman kung aling pagbabago ang nakatulong. Tingnan ang knowledge sources kung saan dapat nakalagay ang mga sagot na batay sa katotohanan.

Makatwirang dalas ng practice

Pinakamalaki ang pakinabang ng practice kapag nakagawian, hindi isang beses na pangyayari. Iugnay ang mga batch sa mga sandaling may nagbabago.

SandaliAno ang patatakbuhinAno ang hahanapin
Bagong agent, bago ang launchBalanced na batch sa bawat wikang pinaglilingkuran ninyoMahihinang criterion, kilos sa pagpasa
Pagkatapos baguhin ang prompt o patakaranEdge-case na batchKung naayos ng pagbabago ang problema nang walang ibang nasisira
Pagkatapos magdagdag ng kaalamanKnowledge-base na batchTama at maiikling sagot at walang inimbentong katotohanan
Bago ang abalang panahonBalanced na batch sa mga linyang magiging pinakaabalaKatatagan sa karaniwang halo ng mga tanong
Pagkatapos ng problema sa totoong tawagBatch na ginagaya ang pagkabigoKung tumatagal ang ayos

Magtago ng maikling log: ang petsa, ang binago ninyo, ang batch na pinatakbo at ang pangunahing resulta. Pagkalipas ng ilang buwan, ipinapakita ng kasaysayang ito kung aling pagbabago ang nakatulong, at pinoprotektahan kayo nito sa pag-ulit ng eksperimentong bigo na.

Maaaring magpatakbo ang isang haka-hakang klinika ng balanced na batch para sa reception agent nito bago buksan ang bagong linya, edge-case na batch pagkatapos magdagdag ng patakaran tungkol sa agarang sintomas, at knowledge-base na batch tuwing nagbabago ang oras ng operasyon o serbisyo. Mas marami ang sinasabi ng tatlong maliliit na batch, na pinatakbo sa tamang sandali, kaysa sa isang napakalaking test na isang beses lang.

Lampas sa simulation

Ensayo ang simulation. Bago ang launch, gumawa rin ng totoong test call sa sarili ninyong telepono at makinig na parang customer. Mag-live nang maingat: magsimula sa linyang mababa ang panganib o limitadong oras, panatilihin ang madaling daan papunta sa tao (tingnan ang pagpasa ng tawag sa isang tao) at pakinggan araw-araw ang mga unang totoong tawag. Ganito rin para sa mga human agent; tingnan ang isang coaching framework para sa ensayo at feedback sa mga tao.

Mga madalas itanong

Totoong tawag ba sa telepono ang practice call?

Simulated na tawag ang mga ito kung saan tumatawag ang mga AI caller sa inyong mga AI agent. Gumawa ng hiwalay na test call sa sarili ninyong telepono para marinig ang agent sa totoong linya.

Puwede ba akong magsanay sa higit sa isang wika?

Nagpapatakbo ang practice tool ng simulated na tawag sa Japanese at English. Itakda kung ilan ang gusto ninyo sa bawat isa kada agent.

Ilang tawag ang dapat kong patakbuhin?

Magsimula nang maliit, sa ilang tawag sa bawat sitwasyon kada agent, at basahin nang mabuti ang resulta. Dagdagan lang kapag may dahilan, gaya ng pag-test ng pagbabago sa iba't ibang wika.

Awtomatiko bang binabago ng mga aral ang agent ko?

Hindi. Naghihintay ng inyong review ang mga aral. Ilalapat ninyo ang mga sinasang-ayunan ninyo at idi-dismiss ang iba.

Ano ang sinasabi sa akin ng grado?

Ipinapakita nito kung paano nangyari ang simulated na tawag ayon sa mga criterion, kasama ang tala ng grader sa bawat sagot. Ebidensya ito, at maaaring iba pa rin ang kilos ng totoong caller.

Paano kung naka-grey out ang isang agent?

Minamarkahang hindi makasagot at hindi mapipili ang agent na hindi pa makasagot ng tawag. Tapusin muna ang setup nito.

Magsimula ng practice batch para sa inyong AI agent sa Call

Sa demo console, masusubukan mo ang mga papasok na tawag sa isang simulation.

Mga kaugnay na gabay