Qualität und Team

QA-Kalibrierungssitzungen für faire Bewertungen durchführen

So führen Sie Kalibrierungssitzungen durch, damit Prüfende Anrufe gleich bewerten: Anrufe wählen, blind bewerten, Abweichungen klären, Bewertungsbogen schärfen.

Redaktion von Call · Veröffentlicht · 6 Min. Lesezeit

Wenn zwei Prüfende denselben Anruf hören und die eine ihn sehr gut bewertet, während der andere ihn durchfallen lässt, verlieren Agenten schnell das Vertrauen in die Bewertungen. Kalibrierung ist die Gewohnheit, die das verhindert. Die Prüfenden bewerten dieselben Anrufe getrennt, vergleichen ihre Notizen und klären die Unterschiede, sodass eine Bewertung dasselbe bedeutet, egal wer sie vergeben hat.

Eine kleine Gruppe von Qualitätsprüfenden bespricht am Besprechungstisch einen ausgedruckten Bewertungsbogen
Symbolbild

Dieser Leitfaden zeigt, wie Sie Kalibrierungssitzungen in einem kleinen Team durchführen. Er baut auf Qualitätsmanagement im Callcenter auf und unterstützt den Feedback-Kreislauf aus Ein einfaches Modell für das Coaching von Agenten am Telefon.

Warum Kalibrierung wichtig ist

Bewertungsbögen bestehen aus Worten, und Worte werden unterschiedlich gelesen. „Hat Empathie gezeigt“ oder „hat das Problem gelöst“ bedeuten für verschiedene Prüfende Verschiedenes, oder für dieselbe Person an verschiedenen Tagen. Ohne Kalibrierung entstehen drei Probleme: unfaire Bewertungen zwischen Agenten, Coaching auf Basis von Meinungen und Berichte, die sich weder über die Zeit noch zwischen Teams vergleichen lassen.

Anzeichen, dass Sie Kalibrierung brauchen

  • Agenten bestreiten BewertungenSie sagen, eine andere prüfende Person hätte denselben Anruf bestehen lassen.
  • Durchschnittswerte der Prüfenden weichen abEine Person bewertet durchweg strenger oder milder als eine andere.
  • Neue Prüfende driften abDie Bewertungen verschieben sich, wenn jemand hinzukommt oder vertritt.
  • Punkte im Bewertungsbogen sind vageVerschiedene Personen erklären sie unterschiedlich.

Eine Sitzung vorbereiten

Eine gute Sitzung braucht ein wenig Vorbereitung. Die Moderation sollte jemand übernehmen, der den Bewertungsbogen gut kennt und neutral bleiben kann, oft eine QA-Leitung oder eine erfahrene Teamleitung.

Vor der Sitzung

  1. Drei oder vier Anrufe auswählenDarunter ein klares Bestehen, ein klares Durchfallen und mindestens ein Grenzfall.
  2. Identifizierende Angaben entfernenNamen der Agenten ausblenden, damit es in der Diskussion um den Anruf geht.
  3. Bewertungsbogen teilenAlle verwenden die aktuelle Fassung mit Definitionen.
  4. Unabhängige Bewertung anfordernJede prüfende Person bewertet vor dem Treffen und spricht vorher nicht mit den anderen darüber.

Echte Anrufe liefern das beste Material. Nehmen Sie Grenzfälle aus Ihrer normalen Prüfung, denn dort verstecken sich die Meinungsverschiedenheiten. Prüfen Sie, ob die Aufzeichnungen nach Ihren internen Regeln mit den Prüfenden geteilt werden dürfen, und gehen Sie sorgfältig mit personenbezogenen Daten um; zur Aufzeichnungsseite siehe Hinweis auf Anrufaufzeichnung.

Die Sitzung durchführen

Beginnen Sie mit den Bewertungen, nicht mit Meinungen. Zeigen Sie die Ergebnisse aller Prüfenden Punkt für Punkt auf einem gemeinsamen Bildschirm und suchen Sie die Punkte mit den größten Abweichungen. Bearbeiten Sie diese zuerst.

  1. Streuung benennen. Zeigen Sie für jeden Anruf die Gesamtbewertung jeder prüfenden Person und die Unterschiede auf Ebene der einzelnen Punkte.
  2. Bitten Sie jede prüfende Person, einen strittigen Punkt zu begründen, und zwar mit dem Moment im Anruf, der ihre Entscheidung bestimmt hat.
  3. Zurück zur Formulierung im Bewertungsbogen. Sagt sie klar, was als Bestehen zählt?
  4. Einigen Sie sich auf die Antwort für diesen Anruf und halten Sie die Begründung fest.
  5. Liegt das Problem in der Formulierung, notieren Sie die nötige Änderung; ändern Sie sie nicht spontan während der Sitzung, wenn das Verwirrung stiftet.

Grundregeln

Eine fiktive Sitzung in der Praxis

Stellen Sie sich ein sechsköpfiges Team mit drei Prüfenden vor. Sie wählen vier Anrufe und bewerten sie allein. Beim dritten Anruf vergibt eine Person beim Punkt zur Bestätigung der Kundendaten ein Bestehen, eine andere ein Durchfallen. Die Moderation bittet beide, den Moment abzuspielen, auf den sie sich gestützt haben. Es stellt sich heraus, dass der Agent die Postleitzahl bestätigt hat, nicht aber den Namen, und im Bewertungsbogen steht nur „Daten bestätigen“. Das Team einigt sich darauf, dass der Punkt genau aufführen soll, welche zwei Angaben zählen, formuliert ihn neu und hält die Entscheidung fest.

Diese kleine Änderung beseitigt eine Quelle unfairer Bewertungen in jeder künftigen Prüfung. Nach diesem Muster sollten Sie suchen: Eine Meinungsverschiedenheit über einen Anruf deutet meist auf eine Lücke im Bewertungsbogen hin.

Denken Sie daran, die Agenten einzubeziehen. Sagen Sie ihnen, was sich an der Formulierung geändert hat und warum, und wenden Sie die Änderung ab einem genannten Datum an, statt alte Anrufe neu zu bewerten. War eine frühere Bewertung wegen der alten Formulierung eindeutig unfair, korrigieren Sie sie offen.

Aus Meinungsverschiedenheiten einen besseren Bewertungsbogen machen

Das wertvollste Ergebnis einer Sitzung ist meist ein klarerer Bewertungsbogen. Wenn sich Prüfende bei einem Punkt uneinig sind, ist der Punkt vermutlich vage. Machen Sie ihn konkret.

Vager PunktKlarere Fassung
Hat Empathie gezeigtHat das Problem der Kundschaft mit deren eigenen Worten anerkannt, bevor eine Lösung angeboten wurde.
Hat das Problem gelöstHat eine vollständige Antwort gegeben oder einen klaren nächsten Schritt mit Zeitpunkt festgelegt.
Professioneller TonKeine Unterbrechungen, kein Sarkasmus, höfliche Eröffnung und höflicher Abschluss.
Hat den Prozess eingehaltenHat die Kundschaft anhand der Schritte im aktuellen Verfahren verifiziert.

Ergänzen Sie zu jedem Punkt ein oder zwei Beispielformulierungen für Bestehen und Durchfallen. Verwenden Sie „nicht zutreffend“ bewusst für Punkte, die für einen Anruftyp nicht gelten, statt zu raten. Halten Sie die kritischen Punkte, die einen ganzen Anruf durchfallen lassen können, auf einer sehr kurzen Liste und formulieren Sie sie eindeutig. Wo die Bestehensgrenze liegt, entscheidet Ihr Team; ändern Sie sie nicht, ohne die Agenten zu informieren.

Übereinstimmung über die Zeit messen

Sie brauchen keine komplexe Statistik. Ein einfaches Maß ist die Spanne zwischen der höchsten und der niedrigsten Gesamtbewertung je kalibriertem Anruf. Verfolgen Sie die durchschnittliche Spanne pro Monat und achten Sie auf die Punkte, die die meisten Meinungsverschiedenheiten verursachen.

Die Streuung deuten

Geringe StreuungGroße Streuung
Was sie nahelegtDie Prüfenden lesen den Bewertungsbogen ähnlichDie Prüfenden lesen ihn unterschiedlich
Was zu tun istRoutine beibehalten und Anrufe wechselnPunkte neu formulieren, Beispiele ergänzen, bald eine weitere Sitzung ansetzen
RisikoSelbstzufriedenheit, gleiche blinde FleckenUnfaire Bewertungen und Misstrauen

Als Faustregel gilt: Eine Spanne von mehr als etwa zwanzig Punkten auf einer Hundert-Punkte-Skala ist ein Zeichen, dass die Prüfenden den Bewertungsbogen unterschiedlich anwenden und es sich lohnt, sich gemeinsam auf die Formulierung zu einigen. Verstehen Sie eine solche Zahl als Orientierung für Ihr eigenes Team, nicht als Standard.

Führen Sie ein Entscheidungsprotokoll. Ein einfaches gemeinsames Dokument mit Datum, Anruf, strittigem Punkt und vereinbarter Lesart genügt. Neue Prüfende können darin nachlesen, wie das Team den Bewertungsbogen anwendet, und es verhindert, dass dieselbe Diskussion jeden Monat zurückkehrt. Gehen Sie das Protokoll durch, wenn Sie den Bewertungsbogen überarbeiten, und streichen Sie Einträge, die durch die neue Formulierung überflüssig werden.

Häufigkeit und Teilnehmende

Verknüpfen Sie die Kalibrierung mit Ihrem Stichprobenplan, damit die Prüfenden eine Mischung aus Agenten und Anruftypen sehen; siehe Wie viele Anrufe sollten Sie prüfen?. Wenn ein KI-Tool Anrufe vorab bewertet, nehmen Sie auch einige seiner Ergebnisse in die Kalibrierung auf, damit alle lernen, wann man ihm vertrauen kann und wann man es übersteuern sollte.

Kalibrierung in Call

Der Bereich „Prüfung und Coaching“ in Call enthält einen Abschnitt „Kalibrierung“, der Anrufe auflistet, die von mehr als einer prüfenden Person bewertet wurden, zusammen mit der Spanne zwischen ihren Bewertungen. Admins und Manager bewerten Anrufe aus der Prüfwarteschlange und markieren jeden Punkt des Bewertungsbogens mit „Bestanden“, „Fehler“ oder als nicht zutreffend; kritische Punkte setzen die Bewertung bei Nichtbestehen auf null. Die Empfehlung in Call lautet: Eine Spanne von mehr als 20 Punkten bedeutet, dass die Prüfenden den Bewertungsbogen unterschiedlich lesen und sich gemeinsam darauf einigen sollten.

Call kann einige Punkte auch selbst bewerten, wenn Sie sie als gesagte oder nicht gesagte Worte beschreiben, und zwar mit den Regeln der „Automatischen Bewertung“. Halten Sie diese Regeln eng und zutreffend; eine leere Regel ist besser als eine geratene. Prüfwarteschlange und Bewertungsbogen setzen einen aktiven Bewertungsbogen in Ihrem Arbeitsbereich voraus; richten Sie diesen also ein, bevor Sie Kalibrierung darum herum planen.

Häufig gestellte Fragen

Worin unterscheidet sich Kalibrierung von normalen Qualitätsprüfungen?

Bei einer normalen Prüfung bewertet eine Person einen Anruf. Bei der Kalibrierung bewerten mehrere Prüfende denselben Anruf unabhängig voneinander und vergleichen dann. Zweck ist es, die Prüfenden aufeinander abzustimmen, nicht den Agenten zu beurteilen.

Müssen die Prüfenden identische Bewertungen vergeben?

Nein. Kleine Unterschiede sind normal. Ziel ist es, sich darauf zu einigen, was bei jedem Punkt als Bestehen zählt, und die Gesamtstreuung gering zu halten.

Wie viele Anrufe sollten wir pro Sitzung verwenden?

Drei oder vier reichen meist. Mehr Anrufe machen das Treffen lang und oberflächlich. Wählen Sie Anrufe, die Meinungsverschiedenheiten sichtbar machen.

Sollten Agenten die Ergebnisse der Kalibrierung sehen?

Agenten sollten die Definitionen im Bewertungsbogen und alle daraus folgenden Änderungen sehen. Ob Sie die Vergleiche Anruf für Anruf teilen, entscheidet das Team, doch Offenheit schafft Vertrauen.

Was, wenn eine prüfende Person immer strenger ist?

Sehen Sie sich an, welche Punkte die Abweichung verursachen, und besprechen Sie sie in der Sitzung. Oft ist die Formulierung im Bewertungsbogen unklar. Bleibt die Abweichung bestehen, geben Sie der Person zusätzliche Erläuterungen und Beispiele.

Wie oft sollte der Bewertungsbogen aktualisiert werden?

Aktualisieren Sie ihn, wenn die Kalibrierung wiederkehrende Unklarheiten zeigt, wenn sich Ihr Prozess oder Produkt ändert oder wenn sich die Bedürfnisse der Kundschaft ändern. Informieren Sie die Agenten über Änderungen.

Bewertungen verschiedener Prüfender zum selben Anruf in Call vergleichen

In der Demo-Konsole können Sie eingehende Anrufe in einer Simulation ausprobieren.

Verwandte Ratgeber