QA kalibracijske sesije koje održavaju pošteno ocjenjivanje
Kako voditi kalibracijske sesije da ocjenjivači pozive ocjenjuju jednako: slijepo ocjenjivanje, rasprava o razlikama, dorada kartice i praćenje slaganja.
Ako dva ocjenjivača poslušaju isti poziv pa ga jedan ocijeni vrlo dobrim, a drugi ga obori, agenti brzo prestanu vjerovati ocjenama. Kalibracija je navika koja to sprječava. Ocjenjivači iste pozive ocjenjuju zasebno, uspoređuju bilješke i usklađuju razlike, tako da ocjena znači isto bez obzira na to tko ju je dao.

Ovaj vodič pokazuje kako voditi kalibracijske sesije u malom timu. Nadovezuje se na Osnove upravljanja kvalitetom poziva (QA): ocjenske kartice i coaching i podupire krug povratnih informacija iz vodiča Jednostavan okvir za coaching agenata na pozivima.
Zašto je kalibracija važna
Ocjenske kartice pisane su riječima, a riječi se čitaju različito. „Pokazao empatiju” ili „riješio problem” različitim ocjenjivačima znače različite stvari, pa i istom ocjenjivaču u različite dane. Bez kalibracije nastaju tri problema: nepoštene ocjene među agentima, coaching utemeljen na mišljenju i izvještaji koji se ne mogu uspoređivati kroz vrijeme ili među timovima.
Znakovi da vam treba kalibracija
- Agenti osporavaju ocjeneKažu da bi drugi ocjenjivač isti poziv ocijenio prolaznim.
- Prosjeci ocjenjivača se razlikujuJedan je ocjenjivač stalno stroži ili blaži od drugoga.
- Novi ocjenjivači odstupajuOcjene se pomaknu kada se netko pridruži ili nekoga mijenja.
- Stavke ocjenske kartice su nejasneRazličiti ih ljudi različito objašnjavaju.
Priprema sesije
Dobra sesija traži malo pripreme. Moderator treba biti netko tko dobro poznaje ocjensku karticu i može ostati neutralan, često voditelj QA-a ili stariji voditelj tima.
Prije sesije
- Odaberite tri ili četiri pozivaUključite jasan prolaz, jasan pad i barem jedan granični poziv.
- Uklonite identifikacijske podatkeSakrijte imena agenata kako bi se rasprava vodila o pozivu.
- Podijelite ocjensku karticuSvi koriste aktualnu verziju, s definicijama.
- Zatražite neovisno ocjenjivanjeSvaki ocjenjivač ocjenjuje prije sastanka i o tome ne razgovara s ostalima.
Najbolji materijal daju stvarni pozivi. Granične pozive izdvojite iz uobičajenog pregleda, jer se upravo u njima skriva neslaganje. Provjerite smiju li se snimke prema vašim internim pravilima podijeliti s ocjenjivačima i pažljivo postupajte s osobnim podacima; pogledajte vodič Obavijesti o snimanju poziva: formulacije, primjeri i dobra praksa za pitanja snimanja.
Vođenje sesije
Počnite ocjenama, a ne mišljenjima. Rezultate svih ocjenjivača po stavkama prikažite na zajedničkom zaslonu i potražite stavke s najvećim razlikama. Njima se pozabavite prvima.
- Iznesite raspon. Za svaki poziv prikažite ukupnu ocjenu svakog ocjenjivača i razlike po stavkama.
- Zamolite svakog ocjenjivača da objasni spornu stavku, navodeći trenutak u pozivu koji je odredio njegovu odluku.
- Vratite se tekstu ocjenske kartice. Kaže li jasno što se smatra prolazom?
- Dogovorite odgovor za ovaj poziv i zapišite obrazloženje.
- Ako je problem u tekstu, zabilježite promjenu koju treba napraviti; ne ispravljajte ga uživo na način koji zbunjuje ljude.
Osnovna pravila
- Raspravljajte o pozivu i ocjenskoj kartici, a ne o ljudima.
- Svi govore prije nego što moderator iznese svoje mišljenje.
- Neslaganje je očekivano i korisno.
- Odluke se bilježe kako ih sljedeća sesija ne bi ponovno otvarala bez novih informacija.
Zamišljena sesija u praksi
Zamislite tim od šest ljudi s tri ocjenjivača. Odaberu četiri poziva i ocijene ih svatko za sebe. Kod trećeg poziva jedan ocjenjivač stavku o potvrdi kupčevih podataka ocijeni prolaznom, a drugi padom. Moderator zamoli svakoga da pusti trenutak na koji se oslonio. Pokaže se da je agent potvrdio poštanski broj, ali ne i ime, a ocjenska kartica samo kaže „potvrdite podatke”. Tim se složi da stavka treba točno navesti koja se dva podatka računaju, prepiše je i zabilježi odluku.
Ta mala promjena uklanja izvor nepoštenih ocjena u svakom budućem pregledu. To je obrazac koji treba tražiti: neslaganje oko poziva obično je znak praznine u ocjenskoj kartici.
Ne zaboravite zatvoriti krug s agentima. Recite im što se promijenilo u tekstu i zašto te promjenu primijenite od navedenog datuma umjesto da ponovno ocjenjujete stare pozive. Ako je neka prošla ocjena zbog starog teksta bila očito nepoštena, otvoreno je ispravite.
Kako neslaganje pretvoriti u bolju ocjensku karticu
Najvrjedniji rezultat sesije obično je jasnija ocjenska kartica. Ako se ocjenjivači ne slažu oko stavke, stavka je vjerojatno nejasna. Učinite je konkretnom.
| Nejasna stavka | Jasnija verzija |
|---|---|
| Pokazao empatiju | Kupčev je problem priznao njegovim riječima prije nego što je ponudio rješenje. |
| Riješio problem | Dao je potpun odgovor ili postavio jasan sljedeći korak s rokom. |
| Profesionalan ton | Bez prekidanja, bez sarkazma, s pristojnim otvaranjem i zatvaranjem. |
| Slijedio postupak | Provjerio je kupca prema koracima iz aktualnog postupka. |
Svakoj stavci dodajte jedan ili dva primjera izraza za prolaz i za pad. Oznaku N/A namjerno koristite za stavke koje se ne odnose na neku vrstu poziva, umjesto da nagađate. Kritične stavke, one koje mogu oboriti cijeli poziv, svedite na vrlo kratak popis i učinite ih nedvosmislenima. Razuman prag prolaza odluka je vašeg tima; ne mijenjajte ga bez obavještavanja agenata.
Mjerenje slaganja tijekom vremena
Ne treba vam složena statistika. Jednostavna mjera je raspon između najviše i najniže ukupne ocjene za svaki kalibrirani poziv. Pratite prosječni raspon po mjesecima i gledajte stavke koje izazivaju najviše neslaganja.
Kako čitati raspon
| Mali raspon | Velik raspon | |
|---|---|---|
| Što sugerira | Ocjenjivači slično tumače ocjensku karticu | Ocjenjivači je tumače različito |
| Što učiniti | Zadržite rutinu i izmjenjujte pozive | Prepišite stavke, dodajte primjere, uskoro održite novu sesiju |
| Rizik | Samozadovoljstvo, iste slijepe točke | Nepoštene ocjene i nepovjerenje |
Kao okvirno pravilo, raspon veći od dvadesetak bodova na ljestvici od sto bodova znak je da ocjenjivači ocjensku karticu koriste različito i da se isplati zajedno dogovoriti tekst. Svaku takvu brojku shvatite kao smjernicu za vlastiti tim, a ne kao standard.
Vodite dnevnik odluka. Dovoljan je jednostavan zajednički dokument s datumom, pozivom, spornom stavkom i dogovorenim tumačenjem. Novi ocjenjivači iz njega mogu naučiti kako tim primjenjuje ocjensku karticu, a sprječava i da se ista rasprava vraća svaki mjesec. Pregledajte dnevnik kada revidirate ocjensku karticu i uklonite unose koje novi tekst čini nepotrebnima.
Učestalost i sudionici
- Učestalost: u početku svaka dva do četiri tjedna, a zatim mjesečno kada raspon postane mali.
- Tko: svi ocjenjivači te jedan ili dva voditelja timova. Uključite i tek osposobljene ocjenjivače.
- Trajanje: četrdeset pet minuta obično je dovoljno za tri ili četiri poziva.
- Agenti: razmislite o povremenom pozivanju agenata, uz anonimizirane pozive, kako bi vidjeli kako ocjenjivanje funkcionira.
Povežite kalibraciju sa svojim planom uzorkovanja kako bi ocjenjivači vidjeli različite agente i vrste poziva; pogledajte Koliko poziva pregledati? Praktičan vodič za QA uzorkovanje. Ako AI alat unaprijed ocjenjuje pozive, uključite u kalibraciju i nekoliko njegovih rezultata kako bi ljudi naučili kada mu vjerovati, a kada ga nadjačati.
Kalibracija u Callu
Odjeljak Pregled i mentorstvo u Callu sadrži dio „Kalibracija” u kojem su popisani pozivi koje je ocijenilo više ocjenjivača, zajedno s rasponom njihovih ocjena. Administratori i menadžeri ocjenjuju pozive iz reda za pregled, s „Prolaz”, „Pad” ili N/A za svaku stavku ocjenske kartice, a kritične stavke, ako padnu, ocjenu svode na nulu. Prema smjernicama u Callu, raspon veći od 20 bodova znači da ocjenjivači ocjensku karticu tumače različito, pa se trebaju zajedno dogovoriti.
Call može i sam ocijeniti neke stavke ako ih opišete kao riječi koje su izgovorene ili nisu, pomoću pravila „Automatsko ocjenjivanje”. Neka ta pravila budu uska i točna; prazno pravilo bolje je od nagađanog. Red za pregled i ocjenska kartica zahtijevaju aktivnu ocjensku karticu u vašem radnom prostoru, pa je postavite prije nego što oko toga planirate kalibraciju.
Često postavljana pitanja
Po čemu se kalibracija razlikuje od uobičajenih pregleda kvalitete?
U uobičajenom pregledu poziv ocjenjuje jedan ocjenjivač. U kalibraciji više ocjenjivača neovisno ocjenjuje isti poziv, a zatim uspoređuju rezultate. Svrha joj je uskladiti ocjenjivače, a ne prosuđivati agenta.
Moraju li ocjenjivači dati identične ocjene?
Ne. Male razlike su normalne. Cilj je dogovoriti što se za svaku stavku smatra prolazom i održati ukupni raspon malim.
Koliko poziva koristiti na svakoj sesiji?
Obično su dovoljna tri ili četiri. Više poziva čini sastanak dugim i površnim. Birajte pozive koji razotkrivaju neslaganje.
Trebaju li agenti vidjeti rezultate kalibracije?
Agenti trebaju vidjeti definicije iz ocjenske kartice i sve promjene koje proizađu iz kalibracije. Hoćete li dijeliti usporedbe po pozivima odluka je tima, ali otvorenost gradi povjerenje.
Što ako je jedan ocjenjivač uvijek stroži?
Pogledajte koje stavke stvaraju razliku i raspravite o njima na sesiji. Često je tekst ocjenske kartice nejasan. Ako razlika potraje, dajte tom ocjenjivaču dodatne upute i primjere.
Koliko često treba ažurirati ocjensku karticu?
Ažurirajte je kada kalibracija pokaže ponavljajuću zbunjenost, kada se promijeni vaš proces ili proizvod ili kada se promijene potrebe kupaca. O promjenama obavijestite agente.