Kvalitet och team

Kalibreringsmöten som håller kvalitetsbedömningen rättvis

Så håller du kalibreringsmöten där granskarna bedömer samtal på samma sätt: välj samtal, bedöm blint, diskutera skillnader, förbättra mallen och följ samsynen.

Redaktionen för Call · Publicerad · 6 min läsning

Om två granskare lyssnar på samma samtal och den ena ger mycket bra betyg medan den andra underkänner det, slutar medarbetarna snabbt att lita på poängen. Kalibrering är vanan som förhindrar det. Granskarna bedömer samma samtal var för sig, jämför anteckningar och reder ut skillnaderna, så att en poäng betyder samma sak oavsett vem som satte den.

En liten grupp kvalitetsgranskare diskuterar en utskriven bedömningsmall runt ett mötesbord
Illustrationsbild

Den här guiden visar hur du håller kalibreringsmöten i ett litet team. Den bygger på Kvalitetsarbete i samtal (QA) och stödjer återkopplingsslingan i En enkel modell för att coacha medarbetare i samtal.

Varför kalibrering är viktigt

Bedömningsmallar är skrivna i ord, och ord läses olika. ”Visade empati” eller ”löste ärendet” betyder olika saker för olika granskare, eller för samma granskare olika dagar. Utan kalibrering får du tre problem: orättvisa poäng mellan medarbetare, coachning som bygger på tyckande och rapporter som inte går att jämföra över tid eller mellan team.

Tecken på att ni behöver kalibrera

  • Medarbetare ifrågasätter poängenDe säger att en annan granskare hade godkänt samma samtal.
  • Granskarnas genomsnitt skiljer sigEn granskare är genomgående strängare eller snällare än en annan.
  • Nya granskare glider ivägPoängen förskjuts när någon ny börjar eller vikarierar.
  • Punkterna i mallen är vagaOlika personer förklarar dem på olika sätt.

Förbered ett möte

Ett bra möte kräver lite förberedelse. Mötesledaren bör vara någon som kan bedömningsmallen väl och kan hålla sig neutral, ofta en QA-ansvarig eller erfaren teamledare.

Före mötet

  1. Välj tre eller fyra samtalTa med ett tydligt godkänt, ett tydligt underkänt och minst ett gränsfall.
  2. Ta bort identifierande uppgifterDölj medarbetarnas namn så att diskussionen handlar om samtalet.
  3. Dela bedömningsmallenAlla använder den aktuella versionen, med definitioner.
  4. Be om oberoende bedömningVarje granskare bedömer före mötet och pratar inte med de andra om det.

Riktiga samtal ger det bästa materialet. Plocka gränsfall från er vanliga granskning, eftersom det är där oenigheten döljer sig. Kontrollera att inspelningarna får delas med granskarna enligt era interna regler, och hantera personuppgifter varsamt; se Meddelanden om samtalsinspelning för inspelningssidan av detta.

Håll mötet

Börja med poängen, inte åsikterna. Visa allas resultat punkt för punkt på en gemensam skärm och leta efter de punkter där skillnaderna är störst. Gå igenom dem först.

  1. Redovisa spridningen. Visa för varje samtal varje granskares totalpoäng och skillnaderna på punktnivå.
  2. Be varje granskare förklara en omstridd punkt och hänvisa till det ögonblick i samtalet som styrde beslutet.
  3. Gå tillbaka till mallens formulering. Säger den tydligt vad som räknas som godkänt?
  4. Kom överens om svaret för det här samtalet, och skriv ner resonemanget.
  5. Om formuleringen är problemet, notera ändringen som ska göras; ändra den inte direkt under mötet på ett sätt som förvirrar.

Grundregler

Ett tänkt möte i praktiken

Tänk dig ett team på sex personer med tre granskare. De väljer fyra samtal och bedömer dem var för sig. I det tredje samtalet godkänner en granskare punkten om att bekräfta kundens uppgifter medan en annan underkänner den. Mötesledaren ber var och en spela upp det ögonblick de utgick från. Det visar sig att medarbetaren bekräftade postnumret men inte namnet, och mallen säger bara ”bekräfta uppgifter”. Teamet enas om att punkten ska ange exakt vilka två uppgifter som räknas, skriver om den och dokumenterar beslutet.

Den lilla ändringen tar bort en källa till orättvisa poäng i alla framtida granskningar. Det är det här mönstret du ska leta efter: oenighet om ett samtal är oftast ett tecken på en lucka i bedömningsmallen.

Glöm inte att knyta ihop säcken med medarbetarna. Berätta vad som ändrats i formuleringen och varför, och tillämpa ändringen från ett angivet datum i stället för att bedöma om gamla samtal. Om en tidigare poäng uppenbart var orättvis på grund av den gamla formuleringen, var öppen med att rätta den.

Gör oenighet till en bättre bedömningsmall

Det mest värdefulla resultatet av ett möte är oftast en tydligare bedömningsmall. Om granskarna är oense om en punkt är punkten förmodligen vag. Gör den konkret.

Vag punktTydligare version
Visade empatiBekräftade kundens problem med kundens egna ord innan en lösning erbjöds.
Löste ärendetGav ett fullständigt svar eller satte ett tydligt nästa steg med en tidpunkt.
Professionell tonInga avbrott, ingen sarkasm samt en artig inledning och avslutning.
Följde rutinenVerifierade kunden enligt stegen i den aktuella rutinen.

Lägg till en eller två exempelfraser för godkänt och underkänt till varje punkt. Använd ”N/A” medvetet för punkter som inte gäller en viss samtalstyp, i stället för att gissa. Håll de kritiska punkterna, de som kan underkänna ett helt samtal, till en mycket kort lista och gör dem entydiga. Vilken gräns för godkänt som är rimlig är ett beslut för ert team; undvik att ändra den utan att berätta det för medarbetarna.

Mät samsynen över tid

Du behöver ingen avancerad statistik. Ett enkelt mått är spridningen mellan högsta och lägsta totalpoäng för varje kalibrerat samtal. Följ den genomsnittliga spridningen per månad, och titta på de punkter som orsakar mest oenighet.

Så läser du spridningen

Liten spridningStor spridning
Vad den tyder påGranskarna läser mallen på liknande sättGranskarna läser den olika
Vad du ska göraBehåll rutinen och variera samtalenSkriv om punkter, lägg till exempel och håll ett nytt möte snart
RiskSjälvgodhet, samma blinda fläckarOrättvisa poäng och misstro

Som tumregel är en spridning på mer än ungefär tjugo poäng på en hundragradig skala ett tecken på att granskarna använder mallen olika och att det är värt att enas om formuleringen tillsammans. Se en sådan siffra som en vägledning för ert eget team, inte som en standard.

För en beslutslogg. Ett enkelt delat dokument med datum, samtal, omstridd punkt och överenskommen tolkning räcker. Nya granskare kan läsa den för att lära sig hur teamet tillämpar mallen, och den förhindrar att samma diskussion återkommer varje månad. Gå igenom loggen när ni reviderar mallen, och ta bort poster som den nya formuleringen gör onödiga.

Hur ofta och vem som deltar

Koppla kalibreringen till er urvalsplan så att granskarna får se en blandning av medarbetare och samtalstyper; se Hur många samtal ska du granska?. Om ett AI-verktyg förhandsbedömer samtal, ta med några av dess resultat i kalibreringen också, så att alla lär sig när de kan lita på det och när de ska köra över det.

Kalibrering i Call

Calls område Granskning och coachning har en sektion som heter ”Kalibrering” och som listar samtal som bedömts av mer än en granskare, tillsammans med spridningen mellan deras poäng. Administratörer och chefer bedömer samtal från granskningskön med Godkänd, Underkänd eller N/A för varje punkt i bedömningsmallen, och kritiska punkter nollställer poängen om de underkänns. Calls vägledning är att en spridning över 20 poäng betyder att granskarna läser mallen olika och därför bör enas om den tillsammans.

Call kan också bedöma vissa punkter på egen hand när du beskriver dem som ord som sägs eller inte sägs, med hjälp av reglerna för ”Automatisk betygsättning”. Håll reglerna snäva och korrekta – en tom regel är bättre än en gissad. Granskningskön och bedömningsmallen kräver en aktiv bedömningsmall i din arbetsyta, så sätt upp den innan du planerar kalibrering kring den.

Vanliga frågor

Hur skiljer sig kalibrering från vanlig kvalitetsgranskning?

Vid en vanlig granskning bedömer en granskare ett samtal. Vid kalibrering bedömer flera granskare samma samtal var för sig och jämför sedan. Syftet är att samordna granskarna, inte att bedöma medarbetaren.

Måste granskarna komma fram till identiska poäng?

Nej. Små skillnader är normala. Målet är att enas om vad som räknas som godkänt för varje punkt och att hålla den totala spridningen liten.

Hur många samtal ska vi använda vid varje möte?

Tre eller fyra räcker oftast. Fler samtal gör mötet långt och ytligt. Välj samtal som blottlägger oenighet.

Ska medarbetarna få se kalibreringsresultaten?

Medarbetarna bör få se mallens definitioner och alla ändringar som kalibreringen leder till. Om ni delar jämförelserna samtal för samtal är ett beslut för teamet, men öppenhet bygger förtroende.

Vad gör vi om en granskare alltid är strängare?

Titta på vilka punkter som driver skillnaden och diskutera dem på mötet. Ofta är mallens formulering otydlig. Om skillnaden kvarstår, ge granskaren extra vägledning och exempel.

Hur ofta ska bedömningsmallen uppdateras?

Uppdatera den när kalibreringen visar återkommande förvirring, när er process eller produkt ändras eller när kundernas behov förändras. Informera medarbetarna om ändringarna.

Jämför granskarnas poäng för samma samtal i Call

I demokonsolen kan du prova inkommande samtal i en simulering.

Relaterade guider