Kvalita a tím

Kalibračné stretnutia QA, vďaka ktorým je hodnotenie férové

Ako viesť kalibračné stretnutia, aby hodnotitelia posudzovali hovory rovnako: výber hovorov, nezávislé hodnotenie, rozbor rozdielov a úprava formulára.

Redakcia Call · Zverejnené · Čítanie na 5 min

Ak si dvaja hodnotitelia vypočujú ten istý hovor a jeden ho ohodnotí ako veľmi dobrý, kým druhý ako nevyhovujúci, pracovníci rýchlo prestanú hodnoteniam dôverovať. Kalibrácia je návyk, ktorý tomu zabráni. Hodnotitelia ohodnotia tie isté hovory oddelene, porovnajú si poznámky a rozdiely vyriešia, aby hodnotenie znamenalo to isté bez ohľadu na to, kto ho dal.

Malá skupina hodnotiteľov kvality rozoberá pri zasadacom stole vytlačený hodnotiaci formulár
Ilustračný obrázok

Tento návod ukazuje, ako viesť kalibračné stretnutia v malom tíme. Nadväzuje na článok Riadenie kvality hovorov a podporuje cyklus spätnej väzby z článku Jednoduchý rámec koučingu pracovníkov pri hovoroch.

Prečo na kalibrácii záleží

Hodnotiace formuláre sú napísané slovami a slová sa čítajú rôzne. „Prejavil empatiu“ alebo „vyriešil problém“ znamená pre rôznych hodnotiteľov niečo iné, a dokonca aj pre toho istého hodnotiteľa v rôzne dni. Bez kalibrácie vzniknú tri problémy: nespravodlivé hodnotenia medzi pracovníkmi, koučing založený na názoroch a prehľady, ktoré nemožno porovnávať v čase ani medzi tímami.

Znaky, že kalibráciu potrebujete

  • Pracovníci spochybňujú hodnoteniaTvrdia, že iný hodnotiteľ by ten istý hovor uznal.
  • Priemery hodnotiteľov sa líšiaJeden hodnotiteľ je sústavne prísnejší alebo miernejší ako iný.
  • Noví hodnotitelia sa odkláňajúHodnotenia sa posunú, keď niekto pribudne alebo zastupuje.
  • Položky formulára sú neurčitéRôzni ľudia ich vysvetľujú rôzne.

Príprava stretnutia

Dobré stretnutie si vyžaduje trochu prípravy. Moderovať by ho mal niekto, kto formulár dobre pozná a dokáže zostať neutrálny, často vedúci QA alebo skúsený vedúci tímu.

Pred stretnutím

  1. Vyberte tri či štyri hovoryZaraďte jasne vyhovujúci, jasne nevyhovujúci a aspoň jeden hraničný hovor.
  2. Odstráňte identifikačné údajeSkryte mená pracovníkov, aby sa diskusia týkala hovoru.
  3. Zdieľajte formulárVšetci používajú aktuálnu verziu s definíciami.
  4. Požiadajte o nezávislé hodnotenieKaždý hodnotiteľ hodnotí pred stretnutím a s ostatnými o tom nehovorí.

Najlepším materiálom sú skutočné hovory. Hraničné hovory vyberajte z bežných rozborov, pretože práve v nich sa skrýva nezhoda. Overte si, či nahrávky možno podľa vašich interných pravidiel sprístupniť hodnotiteľom, a s osobnými údajmi zaobchádzajte opatrne; nahrávaniu sa venuje článok Súhlas s nahrávaním hovorov.

Priebeh stretnutia

Začnite hodnoteniami, nie názormi. Zobrazte výsledky všetkých po položkách na spoločnej obrazovke a hľadajte položky s najväčšími rozdielmi. Tie preberte ako prvé.

  1. Uveďte rozptyl. Pri každom hovore ukážte celkové hodnotenie každého hodnotiteľa a rozdiely po položkách.
  2. Požiadajte každého hodnotiteľa, aby vysvetlil spornú položku a citoval moment hovoru, ktorý rozhodol.
  3. Vráťte sa k zneniu formulára. Hovorí jasne, čo sa počíta ako vyhovujúce?
  4. Dohodnite sa na odpovedi pre tento hovor a zapíšte zdôvodnenie.
  5. Ak je problém v znení, poznačte si zmenu; neopravujte ho naživo spôsobom, ktorý ľudí zmätie.

Základné pravidlá

Vymyslené stretnutie v praxi

Predstavte si šesťčlenný tím s tromi hodnotiteľmi. Vyberú štyri hovory a hodnotia ich každý sám. Pri treťom hovore jeden hodnotiteľ uzná položku o overení údajov zákazníka a ďalší ju označí ako nevyhovujúcu. Moderátor požiada oboch, aby prehrali moment, o ktorý sa opierali. Ukáže sa, že pracovník overil PSČ, ale nie meno, a formulár hovorí len „overiť údaje“. Tím sa zhodne, že položka má presne uvádzať, ktoré dva údaje sa počítajú, prepíše ju a rozhodnutie zaznamená.

Táto drobná zmena odstráni zdroj nespravodlivých hodnotení pri každom budúcom rozbore. Práve tento vzorec treba hľadať: nezhoda pri hovore je zvyčajne znakom medzery vo formulári.

Nezabudnite to uzavrieť s pracovníkmi. Povedzte im, čo sa v znení zmenilo a prečo, a zmenu uplatňujte od stanoveného dátumu, namiesto opätovného hodnotenia starých hovorov. Ak bolo niektoré minulé hodnotenie pre staré znenie zjavne nespravodlivé, otvorene ho opravte.

Ako z nezhody urobiť lepší formulár

Najcennejším výsledkom stretnutia býva jasnejší formulár. Ak sa hodnotitelia pri položke nezhodnú, položka je pravdepodobne neurčitá. Urobte ju konkrétnou.

Neurčitá položkaJasnejšia verzia
Prejavil empatiuPred ponukou riešenia pomenoval problém zákazníka jeho vlastnými slovami.
Vyriešil problémDal úplnú odpoveď alebo stanovil jasný ďalší krok s časom.
Profesionálny tónŽiadne skákanie do reči, žiadny sarkazmus, zdvorilý úvod aj záver.
Dodržal postupOveril zákazníka podľa krokov aktuálneho postupu.

Ku každej položke pridajte jednu či dve ukážkové frázy pre vyhovujúce a nevyhovujúce správanie. Pri položkách, ktoré sa na daný typ hovoru nevzťahujú, používajte „N/A“ zámerne, namiesto hádania. Kritické položky, ktoré môžu zhodiť celý hovor, obmedzte na veľmi krátky zoznam a formulujte ich jednoznačne. Primeraná hranica úspešnosti je rozhodnutím vášho tímu; nemeňte ju bez toho, aby ste o tom povedali pracovníkom.

Meranie zhody v čase

Zložitú štatistiku nepotrebujete. Jednoduchou mierou je rozptyl medzi najvyšším a najnižším celkovým hodnotením pri každom kalibrovanom hovore. Sledujte priemerný rozptyl po mesiacoch a pozrite sa na položky, ktoré vyvolávajú najviac nezhôd.

Ako čítať rozptyl

Malý rozptylVeľký rozptyl
Čo naznačujeHodnotitelia čítajú formulár podobneHodnotitelia ho čítajú rôzne
Čo robiťZachovať rutinu a striedať hovoryPrepísať položky, pridať príklady, čoskoro zorganizovať ďalšie stretnutie
RizikoUspokojenie, rovnaké slepé miestaNespravodlivé hodnotenia a nedôvera

Ako orientačné pravidlo platí, že rozptyl nad približne dvadsať bodov na stobodovej škále je znakom, že hodnotitelia používajú formulár rôzne a že sa oplatí spoločne dohodnúť znenie. Každé takéto číslo berte ako vodidlo pre svoj tím, nie ako normu.

Vedte si záznam rozhodnutí. Stačí jednoduchý zdieľaný dokument s dátumom, hovorom, spornou položkou a dohodnutým výkladom. Noví hodnotitelia sa z neho naučia, ako tím formulár uplatňuje, a zabráni sa tomu, aby sa rovnaký spor vracal každý mesiac. Pri revízii formulára záznam prejdite a vyraďte položky, ktoré nové znenie robí zbytočnými.

Frekvencia a účastníci

Spojte kalibráciu s plánom výberu vzoriek, aby hodnotitelia videli rôznych pracovníkov a typy hovorov; pozrite si článok Koľko hovorov by ste mali hodnotiť?. Ak hovory vopred hodnotí nástroj AI, zaraďte do kalibrácie aj niekoľko jeho výsledkov, aby sa ľudia naučili, kedy mu veriť a kedy jeho hodnotenie zmeniť.

Kalibrácia v Call

Oblasť Rozbor a koučing v Call obsahuje sekciu „Kalibrácia“, ktorá uvádza hovory ohodnotené viac ako jedným hodnotiteľom spolu s rozptylom ich hodnotení. Správcovia a manažéri hodnotia hovory z frontu na rozbor pomocou možností Vyhovuje, Zlyhanie alebo N/A pri každej položke formulára a kritické položky pri zlyhaní vynulujú celé hodnotenie. Podľa pokynov v Call rozptyl nad 20 bodov znamená, že hodnotitelia čítajú formulár rôzne, a preto by sa mali na ňom spoločne dohodnúť.

Call vie niektoré položky ohodnotiť aj sám, ak ich opíšete ako slová, ktoré zazneli alebo nezazneli, pomocou pravidiel „Automatické hodnotenie“. Tieto pravidlá držte úzke a pravdivé; prázdne pravidlo je lepšie ako odhadnuté. Front na rozbor a formulár vyžadujú vo vašom pracovnom priestore aktívny hodnotiaci formulár, preto ho nastavte skôr, než okolo neho naplánujete kalibráciu.

Často kladené otázky

Čím sa kalibrácia líši od bežných kontrol kvality?

Pri bežnom rozbore hodnotí hovor jeden hodnotiteľ. Pri kalibrácii hodnotí ten istý hovor nezávisle viac hodnotiteľov a potom výsledky porovnajú. Účelom je zjednotiť hodnotiteľov, nie posúdiť pracovníka.

Musia mať hodnotitelia rovnaké skóre?

Nie. Malé rozdiely sú normálne. Cieľom je zhodnúť sa, čo sa pri každej položke počíta ako vyhovujúce, a udržať celkový rozptyl malý.

Koľko hovorov použiť na jednom stretnutí?

Zvyčajne stačia tri či štyri. Viac hovorov urobí stretnutie dlhým a povrchným. Vyberajte hovory, ktoré odhalia nezhodu.

Majú pracovníci vidieť výsledky kalibrácie?

Pracovníci by mali vidieť definície vo formulári a všetky zmeny, ktoré z kalibrácie vyplynú. Či budete zdieľať aj porovnania hovor po hovore, je rozhodnutím tímu, no otvorenosť buduje dôveru.

Čo ak je jeden hodnotiteľ vždy prísnejší?

Pozrite sa, ktoré položky rozdiel spôsobujú, a preberte ich na stretnutí. Často je nejasné znenie formulára. Ak rozdiel pretrváva, dajte tomuto hodnotiteľovi ďalšie pokyny a príklady.

Ako často treba formulár aktualizovať?

Keď kalibrácia ukáže opakovaný zmätok, keď sa zmení váš postup alebo produkt, alebo keď sa zmenia potreby zákazníkov. Zmeny oznámte pracovníkom.

Porovnávajte hodnotenia rôznych hodnotiteľov pri tom istom hovore v Call

V demo konzole si môžete vyskúšať prichádzajúce hovory v simulácii.

Súvisiace príručky