Sesiuni de calibrare QA care păstrează evaluarea corectă
Cum organizați sesiuni de calibrare ca evaluatorii să noteze la fel: alegeți apeluri, notați independent, discutați diferențele și urmăriți gradul de acord.
Dacă doi evaluatori ascultă același apel și unul îl notează foarte bine, iar celălalt îl pică, agenții încetează repede să mai aibă încredere în scoruri. Calibrarea este obiceiul care previne asta. Evaluatorii notează separat aceleași apeluri, își compară notițele și lămuresc diferențele, astfel încât un scor să însemne același lucru indiferent cine l-a dat.

Acest ghid arată cum organizați sesiuni de calibrare într-o echipă mică. Se sprijină pe Managementul calității apelurilor și susține bucla de feedback din Un cadru simplu pentru coachingul agenților pe apeluri.
De ce contează calibrarea
Fișele de evaluare sunt scrise în cuvinte, iar cuvintele sunt citite diferit. „A arătat empatie” sau „a rezolvat problema” înseamnă lucruri diferite pentru evaluatori diferiți, sau pentru același evaluator în zile diferite. Fără calibrare apar trei probleme: scoruri inechitabile între agenți, coaching bazat pe păreri și rapoarte care nu pot fi comparate în timp sau între echipe.
Semne că aveți nevoie de calibrare
- Agenții contestă scorurileSpun că un alt evaluator ar fi trecut același apel.
- Mediile evaluatorilor diferăUn evaluator este constant mai sever sau mai îngăduitor decât altul.
- Evaluatorii noi deviazăScorurile se schimbă când cineva nou se alătură sau face o înlocuire.
- Punctele din fișă sunt vagiPersoane diferite le explică diferit.
Pregătirea unei sesiuni
O sesiune bună cere puțină pregătire. Moderatorul trebuie să fie cineva care cunoaște bine fișa de evaluare și poate rămâne neutru, adesea un responsabil QA sau un team leader cu experiență.
Înainte de sesiune
- Alegeți trei sau patru apeluriIncludeți un apel clar trecut, unul clar picat și cel puțin unul la limită.
- Eliminați datele de identificareAscundeți numele agenților, ca discuția să rămână despre apel.
- Distribuiți fișa de evaluareToată lumea folosește versiunea actuală, cu definiții.
- Cereți notare independentăFiecare evaluator notează înainte de întâlnire și nu discută cu ceilalți despre asta.
Apelurile reale oferă cel mai bun material. Alegeți apeluri la limită din evaluarea obișnuită, pentru că în ele se ascund dezacordurile. Verificați că înregistrările pot fi distribuite evaluatorilor conform regulilor interne și tratați cu grijă orice date personale; consultați Notificări privind înregistrarea apelurilor pentru partea legată de înregistrare.
Desfășurarea sesiunii
Începeți cu scorurile, nu cu părerile. Afișați pe un ecran comun rezultatele fiecăruia, punct cu punct, și căutați punctele cu cele mai mari diferențe. Discutați-le mai întâi pe acestea.
- Arătați diferența. Pentru fiecare apel, afișați scorul total al fiecărui evaluator și diferențele la nivel de punct.
- Rugați fiecare evaluator să explice un punct disputat, indicând momentul din apel care i-a determinat decizia.
- Reveniți la formularea din fișă. Spune clar ce înseamnă „trecut”?
- Conveniți răspunsul pentru acest apel și notați raționamentul.
- Dacă problema este formularea, notați modificarea de făcut; nu o corectați pe loc într-un mod care încurcă lumea.
Reguli de bază
- Discutați apelul și fișa, nu oamenii.
- Toată lumea vorbește înainte ca moderatorul să-și spună părerea.
- Dezacordul este de așteptat și util.
- Deciziile se consemnează, ca sesiunea următoare să nu le redeschidă fără informații noi.
O sesiune ipotetică, în practică
Imaginați-vă o echipă de șase persoane, cu trei evaluatori. Aleg patru apeluri și le notează fiecare separat. La al treilea apel, un evaluator dă „trecut” la punctul despre confirmarea datelor clientului, iar altul dă „picat”. Moderatorul îi roagă pe fiecare să redea momentul pe care s-a bazat. Se dovedește că agentul a confirmat codul poștal, dar nu și numele, iar fișa spune doar „confirmă datele”. Echipa cade de acord că punctul trebuie să enumere exact care două date contează, îl rescrie și consemnează decizia.
Această mică schimbare elimină o sursă de scoruri inechitabile din toate evaluările viitoare. Acesta este tiparul de urmărit: un dezacord despre un apel este de obicei semnul unei lacune în fișa de evaluare.
Nu uitați să închideți bucla cu agenții. Spuneți-le ce s-a schimbat în formulare și de ce și aplicați modificarea de la o dată anunțată, în loc să renotați apelurile vechi. Dacă un scor anterior a fost clar inechitabil din cauza vechii formulări, corectați-l deschis.
Cum transformați dezacordul într-o fișă mai bună
Cel mai valoros rezultat al unei sesiuni este de obicei o fișă de evaluare mai clară. Dacă evaluatorii nu sunt de acord asupra unui punct, probabil că punctul este vag. Faceți-l concret.
| Punct vag | Versiune mai clară |
|---|---|
| A arătat empatie | A recunoscut problema clientului, cu cuvintele acestuia, înainte de a oferi o soluție. |
| A rezolvat problema | A dat un răspuns complet sau a stabilit un pas următor clar, cu un termen. |
| Ton profesionist | Fără întreruperi, fără sarcasm și cu o deschidere și o încheiere politicoase. |
| A respectat procedura | A verificat identitatea clientului folosind pașii din procedura actuală. |
Adăugați la fiecare punct una sau două formulări-exemplu pentru „trecut” și pentru „picat”. Folosiți în mod deliberat „N/A” (nu se aplică) pentru punctele care nu sunt relevante pentru un tip de apel, în loc să ghiciți. Păstrați punctele critice, cele care pot pica un apel întreg, pe o listă foarte scurtă și formulați-le fără ambiguitate. Pragul de trecere rezonabil este o decizie a echipei; evitați să îl schimbați fără să le spuneți agenților.
Măsurarea gradului de acord în timp
Nu aveți nevoie de statistici complicate. O măsură simplă este diferența dintre cel mai mare și cel mai mic scor total pentru fiecare apel calibrat. Urmăriți lunar diferența medie și analizați punctele care produc cele mai multe dezacorduri.
Cum interpretați diferența
| Diferență mică | Diferență mare | |
|---|---|---|
| Ce sugerează | Evaluatorii interpretează fișa în mod similar | Evaluatorii o interpretează diferit |
| Ce faceți | Păstrați rutina și variați apelurile | Rescrieți punctele, adăugați exemple, organizați curând o nouă sesiune |
| Risc | Automulțumire, aceleași puncte oarbe | Scoruri inechitabile și neîncredere |
Ca regulă orientativă, o diferență de peste aproximativ douăzeci de puncte pe o scală de o sută arată că evaluatorii folosesc fișa în mod diferit și că merită să conveniți împreună asupra formulării. Tratați orice astfel de cifră ca pe un reper pentru propria echipă, nu ca pe un standard.
Păstrați un jurnal al deciziilor. Un document comun simplu, cu data, apelul, punctul disputat și interpretarea convenită, este suficient. Evaluatorii noi îl pot citi pentru a învăța cum aplică echipa fișa, iar jurnalul împiedică aceeași dispută să revină în fiecare lună. Revizuiți jurnalul când actualizați fișa și eliminați intrările pe care noua formulare le face inutile.
Frecvența și participanții
- Ritmul: la început la fiecare două până la patru săptămâni, apoi lunar, după ce diferența scade.
- Cine: toți evaluatorii, plus unul sau doi team leaderi. Includeți evaluatorii proaspăt instruiți.
- Durata: patruzeci și cinci de minute sunt de obicei suficiente pentru trei sau patru apeluri.
- Agenții: luați în calcul să invitați ocazional și agenți, cu apeluri anonimizate, ca să vadă cum funcționează notarea.
Corelați calibrarea cu planul de eșantionare, astfel încât evaluatorii să vadă un amestec de agenți și tipuri de apeluri; consultați Câte apeluri să evaluați?. Dacă un instrument AI notează apelurile în prealabil, includeți și câteva dintre rezultatele lui în calibrare, ca oamenii să învețe când să aibă încredere în el și când să îl corecteze.
Calibrarea în Call
Zona Verificare și îndrumare din Call include o secțiune „Calibrare”, care listează apelurile notate de mai mulți evaluatori, împreună cu diferența dintre scorurile lor. Administratorii și managerii notează apelurile din coada de verificare folosind Trece, Eșec sau N/A pentru fiecare punct al fișei, iar punctele critice anulează scorul dacă sunt picate. Recomandarea din Call este că o diferență de peste 20 de puncte înseamnă că evaluatorii interpretează fișa diferit, așa că ar trebui să cadă de acord împreună asupra ei.
Call poate nota și singur unele puncte, acolo unde le descrieți drept cuvinte spuse sau nespuse, folosind regulile de „Punctare automată”. Păstrați aceste reguli înguste și corecte; o regulă goală este mai bună decât una ghicită. Coada de verificare și fișa de evaluare necesită o fișă activă în spațiul de lucru, așa că configurați-o înainte de a planifica o calibrare în jurul ei.
Întrebări frecvente
Prin ce diferă calibrarea de evaluările obișnuite ale calității?
Într-o evaluare obișnuită, un singur evaluator notează un apel. La calibrare, mai mulți evaluatori notează independent același apel, apoi compară. Scopul ei este alinierea evaluatorilor, nu judecarea agentului.
Trebuie ca evaluatorii să obțină scoruri identice?
Nu. Diferențele mici sunt normale. Scopul este să cădeți de acord asupra a ceea ce înseamnă „trecut” la fiecare punct și să păstrați mică diferența totală.
Câte apeluri ar trebui să folosim în fiecare sesiune?
Trei sau patru sunt de obicei suficiente. Mai multe apeluri fac întâlnirea lungă și superficială. Alegeți apeluri care scot la iveală dezacorduri.
Ar trebui agenții să vadă rezultatele calibrării?
Agenții ar trebui să vadă definițiile din fișa de evaluare și orice modificări rezultate din calibrare. Dacă le arătați comparațiile apel cu apel este o decizie a echipei, dar transparența creează încredere.
Ce facem dacă un evaluator este mereu mai sever?
Uitați-vă care puncte produc diferența și discutați-le în sesiune. Adesea formularea din fișă este neclară. Dacă diferența persistă, oferiți-i acelui evaluator îndrumări și exemple suplimentare.
Cât de des ar trebui actualizată fișa de evaluare?
Actualizați-o când calibrarea arată confuzii recurente, când procesul sau produsul se schimbă ori când se schimbă nevoile clienților. Anunțați agenții despre modificări.