QA-Kalibrierungssitzungen für faire Bewertungen durchführen
So führen Sie Kalibrierungssitzungen durch, damit Prüfende Anrufe gleich bewerten: Anrufe wählen, blind bewerten, Abweichungen klären, Bewertungsbogen schärfen.
Wenn zwei Prüfende denselben Anruf hören und die eine ihn sehr gut bewertet, während der andere ihn durchfallen lässt, verlieren Agenten schnell das Vertrauen in die Bewertungen. Kalibrierung ist die Gewohnheit, die das verhindert. Die Prüfenden bewerten dieselben Anrufe getrennt, vergleichen ihre Notizen und klären die Unterschiede, sodass eine Bewertung dasselbe bedeutet, egal wer sie vergeben hat.

Dieser Leitfaden zeigt, wie Sie Kalibrierungssitzungen in einem kleinen Team durchführen. Er baut auf Qualitätsmanagement im Callcenter auf und unterstützt den Feedback-Kreislauf aus Ein einfaches Modell für das Coaching von Agenten am Telefon.
Warum Kalibrierung wichtig ist
Bewertungsbögen bestehen aus Worten, und Worte werden unterschiedlich gelesen. „Hat Empathie gezeigt“ oder „hat das Problem gelöst“ bedeuten für verschiedene Prüfende Verschiedenes, oder für dieselbe Person an verschiedenen Tagen. Ohne Kalibrierung entstehen drei Probleme: unfaire Bewertungen zwischen Agenten, Coaching auf Basis von Meinungen und Berichte, die sich weder über die Zeit noch zwischen Teams vergleichen lassen.
Anzeichen, dass Sie Kalibrierung brauchen
- Agenten bestreiten BewertungenSie sagen, eine andere prüfende Person hätte denselben Anruf bestehen lassen.
- Durchschnittswerte der Prüfenden weichen abEine Person bewertet durchweg strenger oder milder als eine andere.
- Neue Prüfende driften abDie Bewertungen verschieben sich, wenn jemand hinzukommt oder vertritt.
- Punkte im Bewertungsbogen sind vageVerschiedene Personen erklären sie unterschiedlich.
Eine Sitzung vorbereiten
Eine gute Sitzung braucht ein wenig Vorbereitung. Die Moderation sollte jemand übernehmen, der den Bewertungsbogen gut kennt und neutral bleiben kann, oft eine QA-Leitung oder eine erfahrene Teamleitung.
Vor der Sitzung
- Drei oder vier Anrufe auswählenDarunter ein klares Bestehen, ein klares Durchfallen und mindestens ein Grenzfall.
- Identifizierende Angaben entfernenNamen der Agenten ausblenden, damit es in der Diskussion um den Anruf geht.
- Bewertungsbogen teilenAlle verwenden die aktuelle Fassung mit Definitionen.
- Unabhängige Bewertung anfordernJede prüfende Person bewertet vor dem Treffen und spricht vorher nicht mit den anderen darüber.
Echte Anrufe liefern das beste Material. Nehmen Sie Grenzfälle aus Ihrer normalen Prüfung, denn dort verstecken sich die Meinungsverschiedenheiten. Prüfen Sie, ob die Aufzeichnungen nach Ihren internen Regeln mit den Prüfenden geteilt werden dürfen, und gehen Sie sorgfältig mit personenbezogenen Daten um; zur Aufzeichnungsseite siehe Hinweis auf Anrufaufzeichnung.
Die Sitzung durchführen
Beginnen Sie mit den Bewertungen, nicht mit Meinungen. Zeigen Sie die Ergebnisse aller Prüfenden Punkt für Punkt auf einem gemeinsamen Bildschirm und suchen Sie die Punkte mit den größten Abweichungen. Bearbeiten Sie diese zuerst.
- Streuung benennen. Zeigen Sie für jeden Anruf die Gesamtbewertung jeder prüfenden Person und die Unterschiede auf Ebene der einzelnen Punkte.
- Bitten Sie jede prüfende Person, einen strittigen Punkt zu begründen, und zwar mit dem Moment im Anruf, der ihre Entscheidung bestimmt hat.
- Zurück zur Formulierung im Bewertungsbogen. Sagt sie klar, was als Bestehen zählt?
- Einigen Sie sich auf die Antwort für diesen Anruf und halten Sie die Begründung fest.
- Liegt das Problem in der Formulierung, notieren Sie die nötige Änderung; ändern Sie sie nicht spontan während der Sitzung, wenn das Verwirrung stiftet.
Grundregeln
- Besprochen werden Anruf und Bewertungsbogen, nicht Personen.
- Alle äußern sich, bevor die Moderation ihre Meinung sagt.
- Meinungsverschiedenheiten sind erwartet und nützlich.
- Entscheidungen werden festgehalten, damit die nächste Sitzung sie nicht ohne neue Informationen wieder aufrollt.
Eine fiktive Sitzung in der Praxis
Stellen Sie sich ein sechsköpfiges Team mit drei Prüfenden vor. Sie wählen vier Anrufe und bewerten sie allein. Beim dritten Anruf vergibt eine Person beim Punkt zur Bestätigung der Kundendaten ein Bestehen, eine andere ein Durchfallen. Die Moderation bittet beide, den Moment abzuspielen, auf den sie sich gestützt haben. Es stellt sich heraus, dass der Agent die Postleitzahl bestätigt hat, nicht aber den Namen, und im Bewertungsbogen steht nur „Daten bestätigen“. Das Team einigt sich darauf, dass der Punkt genau aufführen soll, welche zwei Angaben zählen, formuliert ihn neu und hält die Entscheidung fest.
Diese kleine Änderung beseitigt eine Quelle unfairer Bewertungen in jeder künftigen Prüfung. Nach diesem Muster sollten Sie suchen: Eine Meinungsverschiedenheit über einen Anruf deutet meist auf eine Lücke im Bewertungsbogen hin.
Denken Sie daran, die Agenten einzubeziehen. Sagen Sie ihnen, was sich an der Formulierung geändert hat und warum, und wenden Sie die Änderung ab einem genannten Datum an, statt alte Anrufe neu zu bewerten. War eine frühere Bewertung wegen der alten Formulierung eindeutig unfair, korrigieren Sie sie offen.
Aus Meinungsverschiedenheiten einen besseren Bewertungsbogen machen
Das wertvollste Ergebnis einer Sitzung ist meist ein klarerer Bewertungsbogen. Wenn sich Prüfende bei einem Punkt uneinig sind, ist der Punkt vermutlich vage. Machen Sie ihn konkret.
| Vager Punkt | Klarere Fassung |
|---|---|
| Hat Empathie gezeigt | Hat das Problem der Kundschaft mit deren eigenen Worten anerkannt, bevor eine Lösung angeboten wurde. |
| Hat das Problem gelöst | Hat eine vollständige Antwort gegeben oder einen klaren nächsten Schritt mit Zeitpunkt festgelegt. |
| Professioneller Ton | Keine Unterbrechungen, kein Sarkasmus, höfliche Eröffnung und höflicher Abschluss. |
| Hat den Prozess eingehalten | Hat die Kundschaft anhand der Schritte im aktuellen Verfahren verifiziert. |
Ergänzen Sie zu jedem Punkt ein oder zwei Beispielformulierungen für Bestehen und Durchfallen. Verwenden Sie „nicht zutreffend“ bewusst für Punkte, die für einen Anruftyp nicht gelten, statt zu raten. Halten Sie die kritischen Punkte, die einen ganzen Anruf durchfallen lassen können, auf einer sehr kurzen Liste und formulieren Sie sie eindeutig. Wo die Bestehensgrenze liegt, entscheidet Ihr Team; ändern Sie sie nicht, ohne die Agenten zu informieren.
Übereinstimmung über die Zeit messen
Sie brauchen keine komplexe Statistik. Ein einfaches Maß ist die Spanne zwischen der höchsten und der niedrigsten Gesamtbewertung je kalibriertem Anruf. Verfolgen Sie die durchschnittliche Spanne pro Monat und achten Sie auf die Punkte, die die meisten Meinungsverschiedenheiten verursachen.
Die Streuung deuten
| Geringe Streuung | Große Streuung | |
|---|---|---|
| Was sie nahelegt | Die Prüfenden lesen den Bewertungsbogen ähnlich | Die Prüfenden lesen ihn unterschiedlich |
| Was zu tun ist | Routine beibehalten und Anrufe wechseln | Punkte neu formulieren, Beispiele ergänzen, bald eine weitere Sitzung ansetzen |
| Risiko | Selbstzufriedenheit, gleiche blinde Flecken | Unfaire Bewertungen und Misstrauen |
Als Faustregel gilt: Eine Spanne von mehr als etwa zwanzig Punkten auf einer Hundert-Punkte-Skala ist ein Zeichen, dass die Prüfenden den Bewertungsbogen unterschiedlich anwenden und es sich lohnt, sich gemeinsam auf die Formulierung zu einigen. Verstehen Sie eine solche Zahl als Orientierung für Ihr eigenes Team, nicht als Standard.
Führen Sie ein Entscheidungsprotokoll. Ein einfaches gemeinsames Dokument mit Datum, Anruf, strittigem Punkt und vereinbarter Lesart genügt. Neue Prüfende können darin nachlesen, wie das Team den Bewertungsbogen anwendet, und es verhindert, dass dieselbe Diskussion jeden Monat zurückkehrt. Gehen Sie das Protokoll durch, wenn Sie den Bewertungsbogen überarbeiten, und streichen Sie Einträge, die durch die neue Formulierung überflüssig werden.
Häufigkeit und Teilnehmende
- Rhythmus: anfangs alle zwei bis vier Wochen, dann monatlich, sobald die Streuung gering ist.
- Wer: alle Prüfenden plus ein oder zwei Teamleitungen. Beziehen Sie frisch geschulte Prüfende ein.
- Dauer: fünfundvierzig Minuten reichen meist für drei oder vier Anrufe.
- Agenten: Laden Sie gelegentlich auch Agenten ein, mit anonymisierten Anrufen, damit sie sehen, wie die Bewertung funktioniert.
Verknüpfen Sie die Kalibrierung mit Ihrem Stichprobenplan, damit die Prüfenden eine Mischung aus Agenten und Anruftypen sehen; siehe Wie viele Anrufe sollten Sie prüfen?. Wenn ein KI-Tool Anrufe vorab bewertet, nehmen Sie auch einige seiner Ergebnisse in die Kalibrierung auf, damit alle lernen, wann man ihm vertrauen kann und wann man es übersteuern sollte.
Kalibrierung in Call
Der Bereich „Prüfung und Coaching“ in Call enthält einen Abschnitt „Kalibrierung“, der Anrufe auflistet, die von mehr als einer prüfenden Person bewertet wurden, zusammen mit der Spanne zwischen ihren Bewertungen. Admins und Manager bewerten Anrufe aus der Prüfwarteschlange und markieren jeden Punkt des Bewertungsbogens mit „Bestanden“, „Fehler“ oder als nicht zutreffend; kritische Punkte setzen die Bewertung bei Nichtbestehen auf null. Die Empfehlung in Call lautet: Eine Spanne von mehr als 20 Punkten bedeutet, dass die Prüfenden den Bewertungsbogen unterschiedlich lesen und sich gemeinsam darauf einigen sollten.
Call kann einige Punkte auch selbst bewerten, wenn Sie sie als gesagte oder nicht gesagte Worte beschreiben, und zwar mit den Regeln der „Automatischen Bewertung“. Halten Sie diese Regeln eng und zutreffend; eine leere Regel ist besser als eine geratene. Prüfwarteschlange und Bewertungsbogen setzen einen aktiven Bewertungsbogen in Ihrem Arbeitsbereich voraus; richten Sie diesen also ein, bevor Sie Kalibrierung darum herum planen.
Häufig gestellte Fragen
Worin unterscheidet sich Kalibrierung von normalen Qualitätsprüfungen?
Bei einer normalen Prüfung bewertet eine Person einen Anruf. Bei der Kalibrierung bewerten mehrere Prüfende denselben Anruf unabhängig voneinander und vergleichen dann. Zweck ist es, die Prüfenden aufeinander abzustimmen, nicht den Agenten zu beurteilen.
Müssen die Prüfenden identische Bewertungen vergeben?
Nein. Kleine Unterschiede sind normal. Ziel ist es, sich darauf zu einigen, was bei jedem Punkt als Bestehen zählt, und die Gesamtstreuung gering zu halten.
Wie viele Anrufe sollten wir pro Sitzung verwenden?
Drei oder vier reichen meist. Mehr Anrufe machen das Treffen lang und oberflächlich. Wählen Sie Anrufe, die Meinungsverschiedenheiten sichtbar machen.
Sollten Agenten die Ergebnisse der Kalibrierung sehen?
Agenten sollten die Definitionen im Bewertungsbogen und alle daraus folgenden Änderungen sehen. Ob Sie die Vergleiche Anruf für Anruf teilen, entscheidet das Team, doch Offenheit schafft Vertrauen.
Was, wenn eine prüfende Person immer strenger ist?
Sehen Sie sich an, welche Punkte die Abweichung verursachen, und besprechen Sie sie in der Sitzung. Oft ist die Formulierung im Bewertungsbogen unklar. Bleibt die Abweichung bestehen, geben Sie der Person zusätzliche Erläuterungen und Beispiele.
Wie oft sollte der Bewertungsbogen aktualisiert werden?
Aktualisieren Sie ihn, wenn die Kalibrierung wiederkehrende Unklarheiten zeigt, wenn sich Ihr Prozess oder Produkt ändert oder wenn sich die Bedürfnisse der Kundschaft ändern. Informieren Sie die Agenten über Änderungen.