Teknolohiya ng voice AI

Paano Suriin ang mga Usapan ng Voice Agent: Metrics at Review

Praktikal na paraan ng paghusga sa phone voice agent: mga metric na sulit subaybayan, paano mag-sample at mag-iskor ng tawag, at paano gawing pag-aayos ang resulta.

Editorial team ng Call · Nailathala · 6 min na pagbabasa

Kapag sumasagot na ng totoong tawag ang voice agent, nagbabago ang tanong mula sa gumagana ba ito tungo sa mahusay ba itong gumagana. Maraming team ang sumasagot gamit ang malabong impresyon mula sa iilang tawag. Mas magandang impormasyon ang ibinibigay ng kaunting istruktura at sinasabi nito kung ano ang susunod na aayusin.

Isang team lead na sinusuri ang mga tala sa kalidad ng tawag kasama ang kasamahan
Larawang pang-ilustrasyon

Nag-aalok ang gabay na ito ng simpleng paraan ng pagsusuri para sa phone voice agent: aling mga metric ang susubaybayan, paano manu-manong suriin ang mga tawag, at paano gawing pagpapabuti ang mga natuklasan. Nakabatay ito sa Pag-test ng Voice AI Agent at sa mga pangkalahatang sukatan sa Mga KPI ng Call Center.

Magsimula sa kung ano ang mahusay para sa inyo

Hindi pareho ang mahusay na tawag para sa restawran at para sa klinika. Bago pumili ng metrics, isulat sa isa o dalawang pangungusap ang itsura ng matagumpay na tawag para sa bawat uri ng tawag na inaasahan ninyo: nasagot ang tanong ng caller, nakuha ang mensahe na may tamang detalye, o naabot ng caller ang tamang tao. Susunod ang lahat ng iba pa mula sa mga depinisyong iyon.

Limang tanong ng bawat pagsusuri

  • Naintindihan ba ang caller?Tama bang narinig ng agent ang tanong at mga detalye?
  • Tama ba ang sagot?Tumpak ba ito, nasa loob ng aprubadong impormasyon at walang inimbento?
  • Umabot ba sa kapaki-pakinabang na dulo ang tawag?Natapos ba ang gawain, nakuha ang mensahe o nagawa ang handover?
  • Katanggap-tanggap ba ang karanasan?Bilis, tono, pag-uulit at effort para sa caller.
  • Ligtas ba ito?Iginalang ba ng agent ang mga limitasyon nito at nag-handover kung kailan dapat?

Mga metric na sulit subaybayan

MetricAng sinasabi nitoPaano ito makukuha
Natapos na gawainBahagi ng mga tawag kung saan natupad ang layunin ng callerPagsusuri ng tao sa sample, at kinalabasan ng tawag
Katumpakan ng sagotKung tumugma ang mga pahayag sa aprubadong impormasyonPagsusuri ng tao laban sa mga source ninyo
Handover rateGaano kadalas humihingi o nangangailangan ng tao ang mga callerResulta ng tawag at mga request sa help desk
Repeat rateGaano kadalas hiniling ng agent sa caller na ulitin ang isang bagayPagsusuri ng transcript
Response gapOras sa pagitan ng dulo ng turn ng caller at sagot ng agentTiming bawat turn sa call history
Abandon rateMga caller na nagbaba bago magkaroon ng kinalabasanCall log
Feedback ng callerAng pakiramdam ng mga tao tungkol sa tawagMaiikling survey o komento sa follow-up

Pansinin na kailangan ng kaunting paghuhusga ng tao ang karamihan sa mga kapaki-pakinabang na sukatan. Sinasabi ng mga bilang mula sa log kung ilan, pero tao lang na nagbabasa ng usapan ang makakapagsabi kung naging maayos ang tawag. Asahan ang halo ng dalawa. Para sa mga sukatang angkop sa bawat uri ng tawag, tingnan ang First Call Resolution at Answer Rate at Abandon Rate.

Manu-manong pagsusuri ng mga tawag

Mas mabuti ang maliit at regular na sample kaysa sa paminsan-minsang malaking review. Pumili ng mga tawag nang random, at ilang mukhang kakaiba, tulad ng napakaikli o napakahaba, mga tawag na nauwi sa handover at mga tawag na nagtapos sa pagbaba ng caller.

Routine sa pagsusuri ng tawag

  1. Mag-samplePumili ng nakapirming bilang ng tawag bawat linggo, halo ng random at kakaiba.
  2. Makinig at magbasaI-play ang recording at basahin ang transcript nang sabay.
  3. Mag-iskorI-rate ang bawat tawag ayon sa pamantayan ninyo gamit ang simpleng scale.
  4. Itala ang sanhiIsulat kung bakit may nagkamali.
  5. Ayusin at i-test ulitBaguhin ang source, prompt o setting, saka i-test ulit ang parehong kaso.

Panatilihing simple ang pag-iskor

Sapat na ang tatlong antas: mahusay, katanggap-tanggap at mahina, o tumpak, bahagya at mali para sa bawat pahayag. Lumilikha ng pagtatalo ang masyadong detalyadong scale nang hindi nagdaragdag ng pag-unawa. Paminsan-minsang paiskorin sa dalawang tao ang ilang parehong tawag; kung madalas silang hindi magkasundo, kailangang mas linawin ang pananalita ng pamantayan ninyo.

Tandaang maaaring mali ang transcript

Hula ng recognizer ang transcript, hindi ang katotohanan. Kung mukhang kakaiba ang transcript, pakinggan muna ang audio bago sisihin ang agent. Tingnan ang Bakit Mahirap ang Phone Audio para sa Speech Recognition.

Pagsukat sa bilis at ritmo

Mas napapansin ng mga caller ang pagkaantala kaysa sa halos anumang ibang salik. Subaybayan ang puwang bago ang bawat sagot at tingnan ang pinakamasasamang kaso, hindi lang ang average, dahil sinisira ng ilang napakahabang paghinto ang impresyon. Kung mahaba ang mga puwang, hatiin kung saan napupunta ang oras; ipinapakita ng Voice AI Latency kung paano. Bigyang-pansin din ang pagsabat: gaano kadalas nagsalita ang agent habang nagsasalita ang caller, at gaano kadalas sila pinaghintay nito?

Manu-manong pagsusuri o automated scoring

Pagpili ng paraan

Manu-manong pagsusuriAutomated scoring
KalakasanNaiintindihan ang nuance, tono at kontekstoMabilis na sumasaklaw sa bawat tawag
KahinaanMabagal; sample langMaaaring makaligtaan ang banayad na problema o magkamali ng husga
Pinakamainam gamitin para saKatumpakan, kaligtasan at karanasan ng callerPag-flag ng mga tawag na nararapat tingnan ng tao

Kapaki-pakinabang para sa triage ang automated scoring, kasama ang mga model na nagmamarka sa ibang model: maiaayos nito ang mga tawag ayon sa senyales ng problema para unang tingnan ng tao ang mga tama. Hindi nito dapat palitan ang sampling ng tao, lalo na para sa katumpakan at kaligtasan. Anumang automated check ang gamitin ninyo, i-test ito sa paghahambing ng mga hatol nito sa sarili ninyong hatol sa hanay ng mga tawag na nasuri na ninyo.

Matinong pagbasa sa mga numero

Nakaliligaw ang maliliit na sample. Kung sampung tawag ang sinuri ninyo at dalawa ang hindi naging maayos, hindi ninyo masasabing isa sa limang tawag ang hindi maayos; masasabi lang ninyong nakahanap kayo ng dalawang problemang sulit ayusin. Gamitin ang mga sample para maghanap ng sanhi, hindi para mag-anunsyo ng rate, maliban kung sapat na malaki at random ang sample para suportahan ito.

Ihiwalay ang agent sa sitwasyon. Hindi hatol sa prompt ang pagbaba ng natapos na gawain sa linggong may service outage. Itala ang mga pangyayari sa tabi ng metrics ninyo: bagong oras ng bukas, campaign na nagdala ng mga caller na may bagong tanong, pagbabago sa mga source. Napapaliwanag ng simpleng log ng mga pagbabago ang mga trend.

Panghuli, pagpasyahan nang maaga kung ano ang gagawin ninyo sa bawat resulta. Maaaring humantong ang pagtaas ng pag-uulit sa pagtingin sa silence settings; maaaring humantong ang pagtaas ng handover sa isang paksa sa pagdaragdag ng eksaktong sagot para dito. Dekorasyon lang ang metric na walang kaugnay na aksyon.

Ibahagi ang mga resulta sa mga sumasagot ng telepono pati na sa mga manager. Madalas alam ng staff kung bakit umiiral ang isang pattern, at sila ang sasalo sa mga tawag na ipinapasa ng agent. Pinananatiling nakaugat sa totoong usapan ang trabaho ng maikling buwanang review na may mga halimbawa, kasama ang ilang tawag na naging maayos.

Pagsusuri sa Call

Sa Call, inililista ng AI call history ang mga tawag sa isang panahon, kasama ang resulta at, kapag alam, ang sentiment, at binubuksan ang buong usapan bawat palitan. Mabubuksan ng mga manager ang tawag para makita kung gaano katagal ang bawat binigkas na turn. Pinapangkat ng Automatic review area ang mga kamakailang tawag ayon sa paksa, inaayos ang mga kamakailang tawag na wala pang pagsusuri ng tao ayon sa mga senyales sa mga ito, at nag-aalok ng sample ng mga AI summary para markahan ninyo bilang tumpak, bahagya o mali, na nagpapakain sa tuloy-tuloy na pagtingin sa katumpakan ng buod. Hinahayaan din kayo ng Conversation AI na hanapin sa bawat nakatagong transcript ang isang parirala. Magkakasama, ibinibigay ng mga ito ang mga bilang at sampling na kailangan ninyo. Gamitin ang edit history para makita ang mga pagtatamang ginawa sa mga salita ng agent.

Lingguhang checklist sa pagsusuri

  • Magbasa ng nakapirming sample ng mga tawag, random at kakaiba
  • I-iskor ang natapos na gawain at katumpakan
  • Bilangin ang mga handover at itala kung bakit nangyari
  • Tingnan ang pinakamahahabang response gap
  • Hanapin sa mga transcript ang mga pariralang nagpapahiwatig ng pagkalito
  • Itala ang bawat isyu at ang ginawang pag-aayos
  • I-test ulit ang mga naayos na kaso bago isara

Mga madalas itanong

Ano ang nag-iisang pinakakapaki-pakinabang na metric para sa voice agent?

Walang iisa. Sinasabi ng natapos na gawain kung nakuha ng mga caller ang kailangan nila, pero kailangan din ninyo ng katumpakan, kalidad ng handover at timing para makita kung bakit.

Ilang tawag ang dapat kong suriin?

Mas mabuti ang nakapirming lingguhang sample na kaya ninyong panatilihin kaysa sa paminsan-minsang malaki. Magsimula sa katamtamang bilang at dagdagan ito pagkatapos ng mga pagbabago sa launch o kapag may lumitaw na problema.

Maaari ba akong umasa sa automated scoring lang?

Hindi para sa katumpakan o kaligtasan. Gamitin ito para iranggo at i-flag ang mga tawag, saka ipasuri sa tao ang mga na-flag at isang random na sample.

Bakit minsang hindi tugma ang transcript sa recording?

Ginagawa ng speech recognition ang transcript at maaari itong may mali. Pakinggan ang audio bago husgahan ang agent.

Paano ko malalaman kung nakabuti ang isang pagbabago?

Magtago ng nakapirming hanay ng test case at regular na routine ng pagsusuri, saka paghambingin ang resulta bago at pagkatapos ng pagbabago gamit ang parehong pamantayan.

Dapat bang i-survey ang mga caller?

Makakadagdag ng kapaki-pakinabang na impormasyon ang maikling tanong pagkatapos ng tawag, pero panatilihin itong maikli at igalang ang anumang patakaran sa pakikipag-ugnayan sa mga tao. Ipares ito sa sarili ninyong pagsusuri ng usapan.

Suriin ang mga usapan ng AI sa call history ninyo sa Call

Sa demo console, masusubukan mo ang mga papasok na tawag sa isang simulation.

Mga kaugnay na gabay