Calitate și echipă

Sesiuni de calibrare QA care păstrează evaluarea corectă

Cum organizați sesiuni de calibrare ca evaluatorii să noteze la fel: alegeți apeluri, notați independent, discutați diferențele și urmăriți gradul de acord.

Echipa editorială Call · Publicat · 6 min de citit

Dacă doi evaluatori ascultă același apel și unul îl notează foarte bine, iar celălalt îl pică, agenții încetează repede să mai aibă încredere în scoruri. Calibrarea este obiceiul care previne asta. Evaluatorii notează separat aceleași apeluri, își compară notițele și lămuresc diferențele, astfel încât un scor să însemne același lucru indiferent cine l-a dat.

Un mic grup de evaluatori de calitate discută în jurul unei mese o fișă de evaluare tipărită
Imagine ilustrativă

Acest ghid arată cum organizați sesiuni de calibrare într-o echipă mică. Se sprijină pe Managementul calității apelurilor și susține bucla de feedback din Un cadru simplu pentru coachingul agenților pe apeluri.

De ce contează calibrarea

Fișele de evaluare sunt scrise în cuvinte, iar cuvintele sunt citite diferit. „A arătat empatie” sau „a rezolvat problema” înseamnă lucruri diferite pentru evaluatori diferiți, sau pentru același evaluator în zile diferite. Fără calibrare apar trei probleme: scoruri inechitabile între agenți, coaching bazat pe păreri și rapoarte care nu pot fi comparate în timp sau între echipe.

Semne că aveți nevoie de calibrare

  • Agenții contestă scorurileSpun că un alt evaluator ar fi trecut același apel.
  • Mediile evaluatorilor diferăUn evaluator este constant mai sever sau mai îngăduitor decât altul.
  • Evaluatorii noi deviazăScorurile se schimbă când cineva nou se alătură sau face o înlocuire.
  • Punctele din fișă sunt vagiPersoane diferite le explică diferit.

Pregătirea unei sesiuni

O sesiune bună cere puțină pregătire. Moderatorul trebuie să fie cineva care cunoaște bine fișa de evaluare și poate rămâne neutru, adesea un responsabil QA sau un team leader cu experiență.

Înainte de sesiune

  1. Alegeți trei sau patru apeluriIncludeți un apel clar trecut, unul clar picat și cel puțin unul la limită.
  2. Eliminați datele de identificareAscundeți numele agenților, ca discuția să rămână despre apel.
  3. Distribuiți fișa de evaluareToată lumea folosește versiunea actuală, cu definiții.
  4. Cereți notare independentăFiecare evaluator notează înainte de întâlnire și nu discută cu ceilalți despre asta.

Apelurile reale oferă cel mai bun material. Alegeți apeluri la limită din evaluarea obișnuită, pentru că în ele se ascund dezacordurile. Verificați că înregistrările pot fi distribuite evaluatorilor conform regulilor interne și tratați cu grijă orice date personale; consultați Notificări privind înregistrarea apelurilor pentru partea legată de înregistrare.

Desfășurarea sesiunii

Începeți cu scorurile, nu cu părerile. Afișați pe un ecran comun rezultatele fiecăruia, punct cu punct, și căutați punctele cu cele mai mari diferențe. Discutați-le mai întâi pe acestea.

  1. Arătați diferența. Pentru fiecare apel, afișați scorul total al fiecărui evaluator și diferențele la nivel de punct.
  2. Rugați fiecare evaluator să explice un punct disputat, indicând momentul din apel care i-a determinat decizia.
  3. Reveniți la formularea din fișă. Spune clar ce înseamnă „trecut”?
  4. Conveniți răspunsul pentru acest apel și notați raționamentul.
  5. Dacă problema este formularea, notați modificarea de făcut; nu o corectați pe loc într-un mod care încurcă lumea.

Reguli de bază

O sesiune ipotetică, în practică

Imaginați-vă o echipă de șase persoane, cu trei evaluatori. Aleg patru apeluri și le notează fiecare separat. La al treilea apel, un evaluator dă „trecut” la punctul despre confirmarea datelor clientului, iar altul dă „picat”. Moderatorul îi roagă pe fiecare să redea momentul pe care s-a bazat. Se dovedește că agentul a confirmat codul poștal, dar nu și numele, iar fișa spune doar „confirmă datele”. Echipa cade de acord că punctul trebuie să enumere exact care două date contează, îl rescrie și consemnează decizia.

Această mică schimbare elimină o sursă de scoruri inechitabile din toate evaluările viitoare. Acesta este tiparul de urmărit: un dezacord despre un apel este de obicei semnul unei lacune în fișa de evaluare.

Nu uitați să închideți bucla cu agenții. Spuneți-le ce s-a schimbat în formulare și de ce și aplicați modificarea de la o dată anunțată, în loc să renotați apelurile vechi. Dacă un scor anterior a fost clar inechitabil din cauza vechii formulări, corectați-l deschis.

Cum transformați dezacordul într-o fișă mai bună

Cel mai valoros rezultat al unei sesiuni este de obicei o fișă de evaluare mai clară. Dacă evaluatorii nu sunt de acord asupra unui punct, probabil că punctul este vag. Faceți-l concret.

Punct vagVersiune mai clară
A arătat empatieA recunoscut problema clientului, cu cuvintele acestuia, înainte de a oferi o soluție.
A rezolvat problemaA dat un răspuns complet sau a stabilit un pas următor clar, cu un termen.
Ton profesionistFără întreruperi, fără sarcasm și cu o deschidere și o încheiere politicoase.
A respectat proceduraA verificat identitatea clientului folosind pașii din procedura actuală.

Adăugați la fiecare punct una sau două formulări-exemplu pentru „trecut” și pentru „picat”. Folosiți în mod deliberat „N/A” (nu se aplică) pentru punctele care nu sunt relevante pentru un tip de apel, în loc să ghiciți. Păstrați punctele critice, cele care pot pica un apel întreg, pe o listă foarte scurtă și formulați-le fără ambiguitate. Pragul de trecere rezonabil este o decizie a echipei; evitați să îl schimbați fără să le spuneți agenților.

Măsurarea gradului de acord în timp

Nu aveți nevoie de statistici complicate. O măsură simplă este diferența dintre cel mai mare și cel mai mic scor total pentru fiecare apel calibrat. Urmăriți lunar diferența medie și analizați punctele care produc cele mai multe dezacorduri.

Cum interpretați diferența

Diferență micăDiferență mare
Ce sugereazăEvaluatorii interpretează fișa în mod similarEvaluatorii o interpretează diferit
Ce facețiPăstrați rutina și variați apelurileRescrieți punctele, adăugați exemple, organizați curând o nouă sesiune
RiscAutomulțumire, aceleași puncte oarbeScoruri inechitabile și neîncredere

Ca regulă orientativă, o diferență de peste aproximativ douăzeci de puncte pe o scală de o sută arată că evaluatorii folosesc fișa în mod diferit și că merită să conveniți împreună asupra formulării. Tratați orice astfel de cifră ca pe un reper pentru propria echipă, nu ca pe un standard.

Păstrați un jurnal al deciziilor. Un document comun simplu, cu data, apelul, punctul disputat și interpretarea convenită, este suficient. Evaluatorii noi îl pot citi pentru a învăța cum aplică echipa fișa, iar jurnalul împiedică aceeași dispută să revină în fiecare lună. Revizuiți jurnalul când actualizați fișa și eliminați intrările pe care noua formulare le face inutile.

Frecvența și participanții

Corelați calibrarea cu planul de eșantionare, astfel încât evaluatorii să vadă un amestec de agenți și tipuri de apeluri; consultați Câte apeluri să evaluați?. Dacă un instrument AI notează apelurile în prealabil, includeți și câteva dintre rezultatele lui în calibrare, ca oamenii să învețe când să aibă încredere în el și când să îl corecteze.

Calibrarea în Call

Zona Verificare și îndrumare din Call include o secțiune „Calibrare”, care listează apelurile notate de mai mulți evaluatori, împreună cu diferența dintre scorurile lor. Administratorii și managerii notează apelurile din coada de verificare folosind Trece, Eșec sau N/A pentru fiecare punct al fișei, iar punctele critice anulează scorul dacă sunt picate. Recomandarea din Call este că o diferență de peste 20 de puncte înseamnă că evaluatorii interpretează fișa diferit, așa că ar trebui să cadă de acord împreună asupra ei.

Call poate nota și singur unele puncte, acolo unde le descrieți drept cuvinte spuse sau nespuse, folosind regulile de „Punctare automată”. Păstrați aceste reguli înguste și corecte; o regulă goală este mai bună decât una ghicită. Coada de verificare și fișa de evaluare necesită o fișă activă în spațiul de lucru, așa că configurați-o înainte de a planifica o calibrare în jurul ei.

Întrebări frecvente

Prin ce diferă calibrarea de evaluările obișnuite ale calității?

Într-o evaluare obișnuită, un singur evaluator notează un apel. La calibrare, mai mulți evaluatori notează independent același apel, apoi compară. Scopul ei este alinierea evaluatorilor, nu judecarea agentului.

Trebuie ca evaluatorii să obțină scoruri identice?

Nu. Diferențele mici sunt normale. Scopul este să cădeți de acord asupra a ceea ce înseamnă „trecut” la fiecare punct și să păstrați mică diferența totală.

Câte apeluri ar trebui să folosim în fiecare sesiune?

Trei sau patru sunt de obicei suficiente. Mai multe apeluri fac întâlnirea lungă și superficială. Alegeți apeluri care scot la iveală dezacorduri.

Ar trebui agenții să vadă rezultatele calibrării?

Agenții ar trebui să vadă definițiile din fișa de evaluare și orice modificări rezultate din calibrare. Dacă le arătați comparațiile apel cu apel este o decizie a echipei, dar transparența creează încredere.

Ce facem dacă un evaluator este mereu mai sever?

Uitați-vă care puncte produc diferența și discutați-le în sesiune. Adesea formularea din fișă este neclară. Dacă diferența persistă, oferiți-i acelui evaluator îndrumări și exemple suplimentare.

Cât de des ar trebui actualizată fișa de evaluare?

Actualizați-o când calibrarea arată confuzii recurente, când procesul sau produsul se schimbă ori când se schimbă nevoile clienților. Anunțați agenții despre modificări.

Comparați în Call scorurile evaluatorilor pentru același apel

În consola demo puteți încerca apeluri primite într-o simulare.

Ghiduri conexe