Kwaliteit en team

QA-kalibratiesessies organiseren voor eerlijke beoordelingen

Zo houdt u kalibratiesessies waarin beoordelaars gesprekken gelijk scoren: kies gesprekken, scoor blind, bespreek verschillen, verbeter de scorekaart.

Redactie van Call · Gepubliceerd · 6 min leestijd

Als twee beoordelaars naar hetzelfde gesprek luisteren en de een het zeer goed vindt terwijl de ander het afkeurt, verliezen medewerkers snel het vertrouwen in de scores. Kalibratie is de gewoonte die dat voorkomt. Beoordelaars scoren dezelfde gesprekken apart, vergelijken hun aantekeningen en lossen de verschillen op, zodat een score hetzelfde betekent, wie hem ook gaf.

Een kleine groep kwaliteitsbeoordelaars bespreekt een geprinte scorekaart aan een vergadertafel
Illustratieve afbeelding

Deze gids laat zien hoe u kalibratiesessies organiseert in een klein team. Hij bouwt voort op Kwaliteitsmanagement voor gesprekken en ondersteunt de feedbackcyclus in Een eenvoudig model voor het coachen van medewerkers op gesprekken.

Waarom kalibratie belangrijk is

Scorekaarten zijn in woorden geschreven, en woorden worden verschillend gelezen. "Toonde empathie" of "loste het probleem op" betekent voor verschillende beoordelaars iets anders, of voor dezelfde beoordelaar op verschillende dagen. Zonder kalibratie krijgt u drie problemen: oneerlijke scores tussen medewerkers, coaching op basis van meningen, en rapporten die niet door de tijd of tussen teams te vergelijken zijn.

Signalen dat u kalibratie nodig heeft

  • Medewerkers betwisten scoresZe zeggen dat een andere beoordelaar hetzelfde gesprek had goedgekeurd.
  • Gemiddelden van beoordelaars verschillenDe ene beoordelaar is consequent strenger of milder dan de andere.
  • Nieuwe beoordelaars wijken afScores verschuiven als iemand erbij komt of invalt.
  • Onderdelen van de scorekaart zijn vaagVerschillende mensen leggen ze verschillend uit.

Een sessie voorbereiden

Een goede sessie vraagt wat voorbereiding. De gespreksleider moet iemand zijn die de scorekaart goed kent en neutraal kan blijven, vaak een QA-lead of senior teamleider.

Voor de sessie

  1. Kies drie of vier gesprekkenNeem een duidelijke voldoende, een duidelijke onvoldoende en minstens één twijfelgeval op.
  2. Verwijder herkenbare gegevensVerberg de namen van medewerkers, zodat de discussie over het gesprek blijft gaan.
  3. Deel de scorekaartIedereen gebruikt de actuele versie, met definities.
  4. Vraag om onafhankelijk scorenElke beoordelaar scoort vóór de vergadering en bespreekt het niet met de anderen.

Echte gesprekken leveren het beste materiaal. Haal twijfelgevallen uit uw normale beoordeling, want daar schuilen de meningsverschillen. Controleer of de opnamen volgens uw interne regels met de beoordelaars gedeeld mogen worden, en ga zorgvuldig om met persoonsgegevens; zie Toestemming voor gespreksopnamen voor de kant van de opnamen.

De sessie leiden

Begin met de scores, niet met meningen. Zet de resultaten van iedereen per onderdeel op een gedeeld scherm en zoek de onderdelen met de grootste verschillen. Behandel die als eerste.

  1. Benoem de spreiding. Toon per gesprek de totaalscore van elke beoordelaar en de verschillen per onderdeel.
  2. Vraag elke beoordelaar een betwist onderdeel toe te lichten, met het moment in het gesprek dat de beslissing bepaalde.
  3. Ga terug naar de formulering van de scorekaart. Staat er duidelijk wat als voldoende telt?
  4. Spreek het oordeel voor dit gesprek af en schrijf de onderbouwing op.
  5. Ligt het probleem bij de formulering, noteer dan de wijziging; pas het niet ter plekke aan op een manier die mensen verwart.

Spelregels

Een fictieve sessie in de praktijk

Stel u een team van zes personen voor met drie beoordelaars. Ze kiezen vier gesprekken en scoren die alleen. Bij het derde gesprek geeft de ene beoordelaar een voldoende op het onderdeel over het bevestigen van de klantgegevens en de andere een onvoldoende. De gespreksleider vraagt beiden het moment af te spelen waarop ze zich baseerden. Het blijkt dat de medewerker de postcode bevestigde maar niet de naam, en op de scorekaart staat alleen "gegevens bevestigen". Het team spreekt af dat het onderdeel precies moet noemen welke twee gegevens tellen, herschrijft het en legt het besluit vast.

Die kleine wijziging haalt een bron van oneerlijke scores weg uit elke toekomstige beoordeling. Dit is het patroon om op te letten: een meningsverschil over een gesprek wijst meestal op een gat in de scorekaart.

Vergeet niet de cirkel te sluiten met medewerkers. Vertel wat er in de formulering is veranderd en waarom, en pas de wijziging toe vanaf een genoemde datum in plaats van oude gesprekken opnieuw te scoren. Was een eerdere score duidelijk oneerlijk door de oude formulering, wees dan open over de correctie.

Van meningsverschil naar een betere scorekaart

Het waardevolste resultaat van een sessie is meestal een duidelijkere scorekaart. Zijn beoordelaars het oneens over een onderdeel, dan is het onderdeel waarschijnlijk vaag. Maak het concreet.

Vaag onderdeelDuidelijkere versie
Toonde empathieErkende het probleem van de klant in diens eigen woorden voordat een oplossing werd aangeboden.
Loste het probleem opGaf een volledig antwoord of sprak een duidelijke volgende stap met een tijdstip af.
Professionele toonGeen onderbrekingen, geen sarcasme, en een beleefde opening en afsluiting.
Volgde het procesVerifieerde de klant volgens de stappen in de actuele procedure.

Voeg bij elk onderdeel een of twee voorbeeldzinnen toe van een voldoende en een onvoldoende. Gebruik "niet van toepassing" bewust voor onderdelen die niet bij een type gesprek horen, in plaats van te gissen. Beperk kritieke onderdelen, die een heel gesprek kunnen laten zakken, tot een heel korte lijst en maak ze ondubbelzinnig. Een redelijke voldoendegrens is een beslissing voor uw team; wijzig die niet zonder het medewerkers te vertellen.

Overeenstemming door de tijd meten

U heeft geen ingewikkelde statistiek nodig. Een eenvoudige maat is de spreiding tussen de hoogste en de laagste totaalscore voor elk gekalibreerd gesprek. Volg de gemiddelde spreiding per maand en kijk naar de onderdelen die de meeste meningsverschillen veroorzaken.

De spreiding lezen

Kleine spreidingGrote spreiding
Wat het doet vermoedenBeoordelaars lezen de scorekaart op dezelfde manierBeoordelaars lezen hem verschillend
Wat te doenHoud de routine aan en wissel van gesprekkenHerschrijf onderdelen, voeg voorbeelden toe, plan snel een nieuwe sessie
RisicoZelfgenoegzaamheid, dezelfde blinde vlekkenOneerlijke scores en wantrouwen

Als vuistregel geldt: een spreiding van meer dan ongeveer twintig punten op een schaal van honderd is een teken dat beoordelaars de scorekaart verschillend gebruiken, en dat het de moeite waard is om samen de formulering af te spreken. Zie zo'n getal als richtlijn voor uw eigen team, niet als norm.

Houd een besluitenlogboek bij. Een eenvoudig gedeeld document met de datum, het gesprek, het betwiste onderdeel en de afgesproken lezing is genoeg. Nieuwe beoordelaars kunnen het lezen om te leren hoe het team de scorekaart toepast, en het voorkomt dat dezelfde discussie elke maand terugkomt. Bekijk het logboek als u de scorekaart herziet, en schrap regels die door de nieuwe formulering overbodig zijn geworden.

Frequentie en deelnemers

Koppel kalibratie aan uw steekproefplan, zodat beoordelaars een mix van medewerkers en soorten gesprekken zien; zie Hoeveel gesprekken moet u beoordelen?. Als een AI-tool gesprekken vooraf scoort, neem dan ook een paar van die resultaten mee in de kalibratie, zodat mensen leren wanneer ze erop kunnen vertrouwen en wanneer ze moeten ingrijpen.

Kalibratie in Call

Het onderdeel Beoordeling en coaching van Call bevat een sectie "Kalibratie" met gesprekken die door meer dan één beoordelaar zijn gescoord, samen met de spreiding tussen hun scores. Beheerders en managers scoren gesprekken vanuit de beoordelingswachtrij met Voldoende, Onvoldoende of niet van toepassing voor elk onderdeel van de scorekaart, en kritieke onderdelen zetten de score op nul als ze onvoldoende zijn. Volgens Call betekent een spreiding van meer dan 20 punten dat beoordelaars de scorekaart verschillend lezen, zodat ze die samen moeten afstemmen.

Call kan sommige onderdelen ook zelf scoren als u ze beschrijft als woorden die wel of niet zijn gezegd, met de regels voor "Automatische scoring". Houd deze regels smal en waar; een lege regel is beter dan een gegokte. De beoordelingswachtrij en de scorekaart vereisen een actieve scorekaart in uw werkruimte, dus richt die in voordat u er kalibratie omheen plant.

Veelgestelde vragen

Hoe verschilt kalibratie van normale kwaliteitsbeoordelingen?

Bij een normale beoordeling scoort één beoordelaar een gesprek. Bij kalibratie scoren meerdere beoordelaars hetzelfde gesprek onafhankelijk van elkaar en vergelijken ze daarna. Het doel is de beoordelaars op één lijn te brengen, niet de medewerker te beoordelen.

Moeten beoordelaars identieke scores geven?

Nee. Kleine verschillen zijn normaal. Het doel is overeenstemming over wat per onderdeel als voldoende telt, en de totale spreiding klein houden.

Hoeveel gesprekken gebruiken we per sessie?

Drie of vier is meestal genoeg. Meer gesprekken maken de vergadering lang en oppervlakkig. Kies gesprekken die meningsverschillen blootleggen.

Moeten medewerkers de resultaten van kalibratie zien?

Medewerkers moeten de definities van de scorekaart zien en alle wijzigingen die uit kalibratie voortkomen. Of u de vergelijkingen per gesprek deelt, is een teambeslissing, maar openheid bouwt vertrouwen op.

Wat als één beoordelaar altijd strenger is?

Kijk welke onderdelen het verschil veroorzaken en bespreek die in de sessie. Vaak is de formulering van de scorekaart onduidelijk. Blijft het verschil bestaan, geef die beoordelaar dan extra toelichting en voorbeelden.

Hoe vaak moet de scorekaart worden bijgewerkt?

Werk hem bij als kalibratie terugkerende verwarring laat zien, als uw proces of product verandert of als de behoeften van klanten veranderen. Kondig wijzigingen aan bij medewerkers.

Vergelijk scores van beoordelaars op hetzelfde gesprek in Call

In de democonsole probeert u inkomende gesprekken uit in een simulatie.

Gerelateerde gidsen