QA Calibration Session na Nagpapanatiling Patas ang Pag-iskor
Paano magpatakbo ng calibration para pare-pareho ang iskor ng mga reviewer: pumili ng tawag, mag-iskor nang blind, talakayin ang puwang at ayusin ang scorecard.
Kung dalawang reviewer ang nakinig sa iisang tawag at napakahusay ang iskor ng isa habang ibinagsak naman ito ng isa pa, mabilis na mawawalan ng tiwala sa iskor ang mga agent. Ang calibration ang gawing pumipigil dito. Hiwalay na nag-iiskor ang mga reviewer sa parehong mga tawag, naghahambing ng tala at inaayos ang mga pagkakaiba, para iisa ang kahulugan ng iskor sino man ang nagbigay nito.

Ipinapakita ng gabay na ito kung paano magpatakbo ng calibration session sa maliit na team. Nakabatay ito sa Mga Batayan ng Call Quality Management (QA) at sinusuportahan ang feedback loop sa Simpleng Framework sa Pag-coach ng mga Agent sa Tawag.
Bakit mahalaga ang calibration
Nakasulat sa salita ang mga scorecard, at iba-iba ang pagbasa sa mga salita. Iba-iba ang kahulugan ng "nagpakita ng empatiya" o "nalutas ang isyu" sa iba't ibang reviewer, o sa iisang reviewer sa magkaibang araw. Kung walang calibration, tatlong problema ang lilitaw: hindi patas na iskor sa pagitan ng mga agent, coaching na nakabatay sa opinyon, at mga ulat na hindi maihahambing sa paglipas ng panahon o sa pagitan ng mga team.
Mga senyales na kailangan ninyo ng calibration
- Kinukuwestiyon ng mga agent ang iskorSinasabi nilang papasa sana ang parehong tawag sa ibang reviewer.
- Magkakaiba ang average ng mga reviewerPalaging mas mahigpit o mas maluwag ang isang reviewer kaysa sa iba.
- Lumilihis ang mga bagong reviewerNagbabago ang iskor kapag may sumali o humalili.
- Malabo ang mga item sa scorecardIba-iba ang paliwanag ng iba't ibang tao sa mga ito.
Paghahanda ng session
Nangangailangan ng kaunting paghahanda ang mahusay na session. Dapat ang facilitator ay isang taong lubos na nakakaalam ng scorecard at kayang manatiling neutral, kadalasan ang QA lead o senior team lead.
Bago ang session
- Pumili ng tatlo o apat na tawagIsama ang malinaw na pasado, malinaw na bagsak at kahit isang tawag na nasa hangganan.
- Alisin ang mga detalyeng nagpapakilalaItago ang pangalan ng agent, para manatili sa tawag ang talakayan.
- Ibahagi ang scorecardKasalukuyang bersyon ang gamit ng lahat, kasama ang mga depinisyon.
- Humiling ng hiwalay na pag-iskorNag-iiskor ang bawat reviewer bago ang pulong, at hindi ito pinag-uusapan kasama ng iba.
Ang mga totoong tawag ang pinakamahusay na materyal. Kumuha ng mga tawag na nasa hangganan mula sa inyong karaniwang review, dahil doon nagtatago ang hindi pagkakasundo. Tiyaking maaaring ibahagi sa mga reviewer ang mga recording ayon sa inyong internal na patakaran, at hawakan nang maingat ang anumang personal na datos; tingnan ang Paalala sa Pagre-record ng Tawag para sa bahagi ng recording.
Pagpapatakbo ng session
Magsimula sa mga iskor, hindi sa opinyon. Ilagay sa shared screen ang resulta ng lahat bawat item at hanapin ang mga item na may pinakamalawak na puwang. Unahin ang mga iyon.
- Sabihin ang agwat. Para sa bawat tawag, ipakita ang kabuuang iskor ng bawat reviewer at ang mga pagkakaiba sa antas ng item.
- Hilingin sa bawat reviewer na ipaliwanag ang pinagtatalunang item, na binabanggit ang sandali sa tawag na nagtulak sa kanilang desisyon.
- Balikan ang pananalita ng scorecard. Malinaw ba nitong sinasabi kung ano ang itinuturing na pasado?
- Magkasundo sa sagot para sa tawag na ito, at isulat ang pangangatwiran.
- Kung ang pananalita ang problema, itala ang pagbabagong gagawin; huwag itong ayusin nang live sa paraang nakakalito sa mga tao.
Mga pangunahing patakaran
- Pag-usapan ang tawag at ang scorecard, hindi ang mga tao.
- Nagsasalita ang lahat bago magbigay ng opinyon ang facilitator.
- Inaasahan at kapaki-pakinabang ang hindi pagkakasundo.
- Itinatala ang mga desisyon para hindi na ito buksang muli sa susunod na session nang walang bagong impormasyon.
Isang halimbawang session sa praktika
Isipin ang isang team na may anim na tao at tatlong reviewer. Pumili sila ng apat na tawag at mag-isang nag-iskor. Sa ikatlong tawag, pasado ang ibinigay ng isang reviewer sa item tungkol sa pagkumpirma ng detalye ng customer at bagsak naman ang sa isa pa. Hiniling ng facilitator sa bawat isa na patugtugin ang sandaling pinagbatayan nila. Lumabas na kinumpirma ng agent ang postcode pero hindi ang pangalan, at ang nakasulat lang sa scorecard ay kumpirmahin ang detalye. Napagkasunduan ng team na dapat ilista ng item kung aling dalawang detalye ang eksaktong binibilang, isinulat itong muli at itinala ang desisyon.
Inaalis ng maliit na pagbabagong iyon ang isang pinagmumulan ng hindi patas na iskor sa lahat ng susunod na review. Ito ang pattern na dapat hanapin: ang hindi pagkakasundo tungkol sa isang tawag ay kadalasang senyales ng puwang sa scorecard.
Tandaang ibalita ang resulta sa mga agent. Sabihin sa kanila kung ano ang nagbago sa pananalita at bakit, at ipatupad ang pagbabago mula sa isang tiyak na petsa, sa halip na muling iskorin ang mga lumang tawag. Kung malinaw na hindi patas ang isang naunang iskor dahil sa lumang pananalita, maging bukas sa pagtatama nito.
Gawing mas mahusay na scorecard ang hindi pagkakasundo
Ang pinakamahalagang resulta ng session ay kadalasang mas malinaw na scorecard. Kung hindi magkasundo ang mga reviewer sa isang item, malamang na malabo ang item. Gawin itong kongkreto.
| Malabong item | Mas malinaw na bersyon |
|---|---|
| Nagpakita ng empatiya | Kinilala ang problema ng customer sa sarili niyang salita bago mag-alok ng solusyon. |
| Nalutas ang isyu | Nagbigay ng kumpletong sagot o nagtakda ng malinaw na susunod na hakbang na may oras. |
| Propesyonal na tono | Walang pagputol, walang sarkasmo, at magalang na pagbubukas at pagsasara. |
| Sinunod ang proseso | Beniripika ang customer gamit ang mga hakbang sa kasalukuyang pamamaraan. |
Magdagdag ng isa o dalawang halimbawang parirala ng pasado at bagsak sa bawat item. Sadyang gamitin ang "N/A" para sa mga item na hindi angkop sa isang uri ng tawag, sa halip na manghula. Panatilihing napakaikli ng listahan ng mga critical item, iyong kayang magpabagsak sa buong tawag, at gawing walang pag-aalinlangan ang mga ito. Desisyon ng inyong team ang makatwirang pasadong marka; iwasang baguhin ito nang hindi sinasabihan ang mga agent.
Pagsukat ng pagkakasundo sa paglipas ng panahon
Hindi ninyo kailangan ng masalimuot na estadistika. Isang simpleng sukatan ang agwat ng pinakamataas at pinakamababang kabuuang iskor para sa bawat na-calibrate na tawag. Subaybayan ang karaniwang agwat bawat buwan, at tingnan ang mga item na pinagmumulan ng pinakamaraming hindi pagkakasundo.
Pagbasa sa agwat
| Maliit na agwat | Malaking agwat | |
|---|---|---|
| Ano ang ipinahihiwatig nito | Magkatulad ang pagbasa ng mga reviewer sa scorecard | Magkaiba ang pagbasa ng mga reviewer dito |
| Ano ang gagawin | Panatilihin ang routine at magpalit-palit ng tawag | Isulat muli ang mga item, magdagdag ng halimbawa, magsagawa agad ng isa pang session |
| Panganib | Pagkakampante, parehong mga blind spot | Hindi patas na iskor at kawalan ng tiwala |
Bilang pangkalahatang tuntunin, ang agwat na lampas sa humigit-kumulang dalawampung puntos sa sukatang isandaang puntos ay senyales na magkaiba ang paggamit ng mga reviewer sa scorecard, at sulit na magkasundo sa pananalita nang magkakasama. Ituring ang anumang ganitong bilang bilang gabay para sa sarili ninyong team, hindi bilang pamantayan.
Magtago ng decision log. Sapat na ang isang simpleng shared na dokumento na may petsa, tawag, pinagtatalunang item at napagkasunduang pagbasa. Mababasa ito ng mga bagong reviewer para matutuhan kung paano inilalapat ng team ang scorecard, at napipigilan nitong bumalik ang parehong pagtatalo bawat buwan. Suriin ang log kapag binabago ang scorecard, at alisin ang mga entry na hindi na kailangan dahil sa bagong pananalita.
Dalas at kung sino ang kasali
- Dalas: bawat dalawa hanggang apat na linggo sa simula, saka buwan-buwan kapag maliit na ang agwat.
- Sino: lahat ng reviewer, at isa o dalawang team lead. Isama ang mga bagong sanay na reviewer.
- Haba: kadalasang sapat ang apatnapu't limang minuto para sa tatlo o apat na tawag.
- Mga agent: isaalang-alang na paminsan-minsang imbitahan ang mga agent, gamit ang mga anonymous na tawag, para makita nila kung paano gumagana ang pag-iskor.
Ipares ang calibration sa inyong sampling plan para makakita ang mga reviewer ng halo ng mga agent at uri ng tawag; tingnan ang Ilang Tawag ang Dapat Ninyong Suriin?. Kung may AI tool na paunang nag-iiskor ng mga tawag, isama rin sa calibration ang ilan sa resulta nito, para matutuhan ng mga tao kung kailan ito pagkakatiwalaan at kailan ito papalitan.
Calibration sa Call
May seksyong "Kalibrasyon" ang bahaging "Pagsusuri at paggabay" ng Call na naglilista ng mga tawag na na-iskor ng higit sa isang reviewer, kasama ang agwat ng kanilang mga iskor. Nag-iiskor ang mga admin at manager ng mga tawag mula sa pila ng pagsusuri gamit ang "Pasado," "Bagsak" o N/A para sa bawat item sa scorecard, at ginagawang zero ng mga critical item ang iskor kapag bumagsak ang mga ito. Ayon sa gabay ng Call, ang agwat na lampas sa 20 puntos ay nangangahulugang magkaiba ang pagbasa ng mga reviewer sa scorecard, kaya dapat silang magkasundo rito nang magkakasama.
Kaya ring mag-iskor ng Call ng ilang item nang mag-isa kung inilalarawan ninyo ang mga ito bilang mga salitang sinabi o hindi sinabi, gamit ang mga patakaran sa "Awtomatikong pag-iskor." Panatilihing makitid at totoo ang mga patakarang ito; mas mabuti ang blangkong patakaran kaysa sa hinulaan. Nangangailangan ang pila ng pagsusuri at ang scorecard ng aktibong scorecard sa inyong workspace, kaya i-set up muna iyon bago magplano ng calibration sa paligid nito.
Mga madalas itanong
Paano naiiba ang calibration sa karaniwang quality review?
Sa karaniwang review, isang reviewer ang nag-iiskor ng tawag. Sa calibration, ilang reviewer ang hiwalay na nag-iiskor sa parehong tawag, saka naghahambing. Layunin nitong pagkaayunin ang mga reviewer, hindi husgahan ang agent.
Kailangan bang magkakapareho ang iskor ng mga reviewer?
Hindi. Normal ang maliliit na pagkakaiba. Ang layunin ay magkasundo kung ano ang itinuturing na pasado sa bawat item at panatilihing maliit ang kabuuang agwat.
Ilang tawag ang dapat naming gamitin sa bawat session?
Kadalasang sapat ang tatlo o apat. Pinahahaba at pinababaw ng mas maraming tawag ang pulong. Pumili ng mga tawag na naglalantad ng hindi pagkakasundo.
Dapat bang makita ng mga agent ang resulta ng calibration?
Dapat makita ng mga agent ang mga depinisyon sa scorecard at anumang pagbabagong bunga ng calibration. Desisyon ng team kung ibabahagi ang paghahambing bawat tawag, pero nagpapatibay ng tiwala ang pagiging bukas.
Paano kung palaging mas mahigpit ang isang reviewer?
Tingnan kung aling mga item ang nagdudulot ng puwang at talakayin ang mga ito sa session. Kadalasang hindi malinaw ang pananalita ng scorecard. Kung nananatili ang puwang, bigyan ang reviewer na iyon ng dagdag na gabay at mga halimbawa.
Gaano kadalas dapat i-update ang scorecard?
I-update ito kapag ipinapakita ng calibration ang paulit-ulit na kalituhan, kapag nagbabago ang inyong proseso o produkto, o kapag nagbabago ang pangangailangan ng customer. Ianunsyo sa mga agent ang mga pagbabago.