Kvalitet og team

Sådan holder I QA-kalibreringsmøder, der holder scoringen fair

Sådan holder I kalibreringsmøder, så bedømmerne scorer opkald ens: vælg opkald, scor blindt, drøft forskelle, skærp scorekortet, og følg enigheden.

Calls redaktion · Udgivet · 6 min. læsetid

Hvis to bedømmere lytter til det samme opkald, og den ene vurderer det som meget godt, mens den anden dumper det, holder medarbejderne hurtigt op med at stole på scorerne. Kalibrering er den vane, der forhindrer det. Bedømmerne scorer de samme opkald hver for sig, sammenligner noter og afklarer forskellene, så en score betyder det samme, uanset hvem der har givet den.

En lille gruppe kvalitetsbedømmere drøfter et udprintet scorekort omkring et mødebord
Illustrativt billede

Denne guide viser, hvordan I holder kalibreringsmøder i et lille team. Den bygger på Kvalitetsstyring af opkald og understøtter feedbacksløjfen i En enkel ramme for coaching af medarbejdere på opkald.

Hvorfor kalibrering betyder noget

Scorekort er skrevet med ord, og ord bliver læst forskelligt. "Viste empati" eller "løste problemet" betyder forskellige ting for forskellige bedømmere, eller for den samme bedømmer på forskellige dage. Uden kalibrering får I tre problemer: uretfærdige scorer mellem medarbejderne, coaching baseret på holdninger og rapporter, der ikke kan sammenlignes over tid eller på tværs af teams.

Tegn på, at I har brug for kalibrering

  • Medarbejderne anfægter scorerDe siger, at en anden bedømmer ville have godkendt det samme opkald.
  • Bedømmernes gennemsnit er forskelligeÉn bedømmer er konsekvent strengere eller mildere end en anden.
  • Nye bedømmere gliderScorerne flytter sig, når nogen starter eller dækker ind.
  • Punkterne på scorekortet er vageForskellige personer forklarer dem forskelligt.

Forbered et møde

Et godt møde kræver lidt forberedelse. Mødelederen bør være en, der kender scorekortet godt og kan forholde sig neutralt, ofte en QA-ansvarlig eller en erfaren teamleder.

Før mødet

  1. Vælg tre eller fire opkaldMedtag et klart bestået, et klart dumpet og mindst ét grænsetilfælde.
  2. Fjern identificerende oplysningerSkjul medarbejdernes navne, så drøftelsen handler om opkaldet.
  3. Del scorekortetAlle bruger den aktuelle version med definitioner.
  4. Bed om uafhængig scoringHver bedømmer scorer før mødet og taler ikke med de andre om det.

Rigtige opkald giver det bedste materiale. Hent grænsetilfælde fra jeres almindelige gennemgang, for det er dem, uenigheden gemmer sig i. Tjek, at optagelserne må deles med bedømmerne i henhold til jeres interne regler, og håndtér personoplysninger omhyggeligt; se Samtykke til optagelse af opkald for optagelsesdelen af dette.

Selve mødet

Start med scorerne, ikke holdningerne. Vis alles resultater punkt for punkt på en fælles skærm, og find de punkter med de største forskelle. Tag dem først.

  1. Angiv spredningen. Vis for hvert opkald hver bedømmers samlede score og forskellene på punktniveau.
  2. Bed hver bedømmer forklare et omstridt punkt med henvisning til det øjeblik i opkaldet, der afgjorde vedkommendes beslutning.
  3. Vend tilbage til ordlyden på scorekortet. Siger den tydeligt, hvad der tæller som bestået?
  4. Bliv enige om svaret for dette opkald, og skriv begrundelsen ned.
  5. Hvis det er ordlyden, der er problemet, så notér den ændring, der skal laves; ret den ikke direkte på mødet på en måde, der forvirrer folk.

Grundregler

Et tænkt møde i praksis

Forestil jer et team på seks personer med tre bedømmere. De vælger fire opkald og scorer dem hver for sig. På det tredje opkald giver én bedømmer bestået på punktet om at bekræfte kundens oplysninger, og en anden giver dumpet. Mødelederen beder hver af dem afspille det øjeblik, de lagde vægt på. Det viser sig, at medarbejderen bekræftede postnummeret, men ikke navnet, og scorekortet siger blot bekræft oplysninger. Teamet bliver enige om, at punktet præcist skal angive, hvilke to oplysninger der tæller, omskriver det og registrerer beslutningen.

Den lille ændring fjerner en kilde til uretfærdige scorer i alle fremtidige gennemgange. Det er mønsteret, I skal se efter: En uenighed om et opkald er som regel et tegn på et hul i scorekortet.

Husk at lukke sløjfen over for medarbejderne. Fortæl dem, hvad der er ændret i ordlyden og hvorfor, og anvend ændringen fra en angivet dato i stedet for at genscore gamle opkald. Hvis en tidligere score tydeligvis var uretfærdig på grund af den gamle ordlyd, så vær åbne om at rette den.

Gør uenighed til et bedre scorekort

Det mest værdifulde resultat af et møde er som regel et tydeligere scorekort. Hvis bedømmerne er uenige om et punkt, er punktet sandsynligvis vagt. Gør det konkret.

Vagt punktTydeligere version
Viste empatiAnerkendte kundens problem med kundens egne ord, før der blev tilbudt en løsning.
Løste problemetGav et fyldestgørende svar eller fastlagde et tydeligt næste skridt med et tidspunkt.
Professionel toneIngen afbrydelser, ingen sarkasme og en høflig indledning og afslutning.
Fulgte procedurenVerificerede kunden efter trinnene i den gældende procedure.

Tilføj en eller to eksempler på formuleringer for bestået og dumpet til hvert punkt. Brug bevidst "ikke relevant" til punkter, der ikke gælder for en opkaldstype, i stedet for at gætte. Hold de kritiske punkter, dem der kan dumpe et helt opkald, på en meget kort liste, og gør dem entydige. Hvad der er en rimelig grænse for bestået, er en beslutning for jeres team; undgå at ændre den uden at fortælle det til medarbejderne.

Mål enigheden over tid

I har ikke brug for kompliceret statistik. Et enkelt mål er spredningen mellem den højeste og laveste samlede score for hvert kalibreret opkald. Følg den gennemsnitlige spredning måned for måned, og se på de punkter, der skaber mest uenighed.

Sådan aflæser I spredningen

Lille spredningStor spredning
Hvad det tyder påBedømmerne læser scorekortet ensBedømmerne læser det forskelligt
Hvad I skal gøreFortsæt rutinen, og skift opkaldene udOmskriv punkter, tilføj eksempler, hold snart et nyt møde
RisikoSelvtilfredshed, de samme blinde vinklerUretfærdige scorer og mistillid

Som tommelfingerregel er en spredning på over cirka tyve point på en skala til hundrede et tegn på, at bedømmerne bruger scorekortet forskelligt, og at det er værd at blive enige om ordlyden sammen. Behandl et sådant tal som en rettesnor for jeres eget team, ikke som en standard.

Hav en beslutningslog. Et enkelt delt dokument med dato, opkald, det omstridte punkt og den aftalte læsning er nok. Nye bedømmere kan læse det for at lære, hvordan teamet anvender scorekortet, og det forhindrer, at den samme diskussion vender tilbage hver måned. Gennemgå loggen, når I reviderer scorekortet, og fjern de punkter, som den nye ordlyd gør overflødige.

Hyppighed og deltagere

Kombinér kalibreringen med jeres stikprøveplan, så bedømmerne ser en blanding af medarbejdere og opkaldstyper; se Hvor mange opkald skal I gennemgå?. Hvis et AI-værktøj forhåndsscorer opkald, så medtag også nogle af dets resultater i kalibreringen, så folk lærer, hvornår de kan stole på det, og hvornår de skal tilsidesætte det.

Kalibrering i Call

Calls område Gennemgang og coaching indeholder en sektion, "Kalibrering", der viser opkald, som er scoret af mere end én bedømmer, sammen med spredningen mellem deres scorer. Administratorer og ledere scorer opkald fra gennemgangskøen med Bestået, Fejl eller ikke relevant for hvert punkt på scorekortet, og kritiske punkter sætter scoren til nul, hvis de ikke bestås. Calls vejledning er, at en spredning på over 20 point betyder, at bedømmerne læser scorekortet forskelligt, så de bør blive enige om det sammen.

Call kan også selv score nogle punkter, hvor I beskriver dem som ord, der blev sagt eller ikke sagt, ved hjælp af reglerne for "Automatisk scoring". Hold disse regler snævre og sande; en tom regel er bedre end en gættet. Gennemgangskøen og scorekortet kræver et aktivt scorekort i jeres arbejdsområde, så sæt det op, før I planlægger kalibrering omkring det.

Ofte stillede spørgsmål

Hvordan adskiller kalibrering sig fra almindelige kvalitetsgennemgange?

Ved en almindelig gennemgang scorer én bedømmer et opkald. Ved kalibrering scorer flere bedømmere det samme opkald hver for sig og sammenligner derefter. Formålet er at bringe bedømmerne på linje, ikke at bedømme medarbejderen.

Skal bedømmerne nå frem til identiske scorer?

Nej. Små forskelle er normale. Målet er at blive enige om, hvad der tæller som bestået for hvert punkt, og at holde den samlede spredning lille.

Hvor mange opkald skal vi bruge på hvert møde?

Tre eller fire er som regel nok. Flere opkald gør mødet langt og overfladisk. Vælg opkald, der afslører uenighed.

Skal medarbejderne se resultaterne af kalibreringen?

Medarbejderne bør se definitionerne på scorekortet og eventuelle ændringer, som kalibreringen fører til. Om I deler sammenligningerne opkald for opkald, er en beslutning for teamet, men åbenhed skaber tillid.

Hvad hvis én bedømmer altid er strengere?

Se på, hvilke punkter der skaber forskellen, og drøft dem på mødet. Ofte er ordlyden på scorekortet uklar. Hvis forskellen fortsætter, så giv den bedømmer ekstra vejledning og eksempler.

Hvor ofte bør scorekortet opdateres?

Opdatér det, når kalibreringen viser tilbagevendende forvirring, når jeres proces eller produkt ændrer sig, eller når kundernes behov ændrer sig. Meld ændringerne ud til medarbejderne.

Sammenlign bedømmernes scorer på det samme opkald i Call

I demokonsollen kan du afprøve indgående opkald i en simulering.

Relaterede guides