Gespräche eines Voice Agents bewerten: Kennzahlen und Prüfungen
So beurteilen Sie einen Telefon-Voice-Agent: sinnvolle Kennzahlen, Stichproben und Bewertung von Anrufen – und wie aus Erkenntnissen Korrekturen werden.
Sobald ein Voice Agent echte Anrufe annimmt, lautet die Frage nicht mehr „Funktioniert er?“, sondern „Funktioniert er gut?“. Viele Teams antworten mit einem vagen Eindruck aus einer Handvoll Anrufe. Etwas Struktur liefert weit bessere Informationen und zeigt, was als Nächstes zu beheben ist.

Dieser Leitfaden bietet einen einfachen Bewertungsansatz für einen Telefon-Voice-Agent: welche Kennzahlen Sie verfolgen, wie Sie Anrufe von Hand prüfen und wie Sie Erkenntnisse in Verbesserungen umsetzen. Grundlage sind Einen Voice-AI-Agenten testen und die allgemeinen Kennzahlen in Callcenter-KPIs.
Beginnen Sie damit, was „gut“ für Sie bedeutet
Ein guter Anruf bei einem Restaurant ist nicht dasselbe wie ein guter Anruf bei einer Praxis. Schreiben Sie vor der Wahl der Kennzahlen in ein oder zwei Sätzen auf, wie ein erfolgreicher Anruf für jede erwartete Anrufart aussieht: Die Frage des Anrufers ist beantwortet, eine Nachricht mit den richtigen Angaben ist aufgenommen, oder der Anrufer erreicht die richtige Person. Alles Weitere ergibt sich aus diesen Definitionen.
Fünf Fragen jeder Bewertung
- Wurde der Anrufer verstanden?Hat der Agent Frage und Angaben richtig gehört?
- War die Antwort richtig?War sie korrekt, im Rahmen der freigegebenen Informationen und frei von Erfundenem?
- Hat der Anruf ein nützliches Ende gefunden?Wurde die Aufgabe erledigt, eine Nachricht aufgenommen oder übergeben?
- War das Erlebnis akzeptabel?Tempo, Ton, Wiederholungen und Aufwand für den Anrufer.
- War es sicher?Hat der Agent seine Grenzen eingehalten und übergeben, wenn er sollte?
Kennzahlen, die sich lohnen
| Kennzahl | Was sie zeigt | Wie Sie sie erheben |
|---|---|---|
| Erledigte Aufgaben | Anteil der Anrufe, bei denen das Ziel des Anrufers erreicht wurde | Prüfung einer Stichprobe durch Menschen plus Anrufergebnisse |
| Antwortgenauigkeit | Ob Aussagen den freigegebenen Informationen entsprachen | Prüfung durch Menschen anhand Ihrer Quellen |
| Übergabequote | Wie oft Anrufende einen Menschen verlangen oder brauchen | Anrufergebnisse und Anfragen im Hilfecenter |
| Wiederholungsquote | Wie oft der Agent den Anrufer bat, etwas zu wiederholen | Prüfung der Transkripte |
| Antwortlücke | Zeit zwischen dem Ende des Redebeitrags des Anrufers und der Antwort des Agenten | Zeit pro Redebeitrag im Anrufverlauf |
| Abbruchquote | Anrufende, die vor einem Ergebnis auflegen | Anrufprotokoll |
| Feedback der Anrufenden | Wie Menschen den Anruf empfanden | Kurze Umfragen oder spätere Kommentare |
Beachten Sie, dass die meisten nützlichen Kennzahlen menschliches Urteil erfordern. Zahlen aus einem Protokoll sagen, wie viele; nur ein Mensch, der das Gespräch liest, kann sagen, ob ein Anruf gut lief. Rechnen Sie mit einer Mischung aus beidem. Kennzahlen für jede Art von Anruf finden Sie unter Erstlösungsquote und Annahmequote und Abbruchquote.
Anrufe von Hand prüfen
Eine kleine, regelmäßige Stichprobe schlägt eine gelegentliche große Prüfung. Wählen Sie Anrufe zufällig aus, dazu einige ungewöhnliche, etwa sehr kurze oder sehr lange, Anrufe, die mit einer Übergabe endeten, und Anrufe, bei denen der Anrufer aufgelegt hat.
Eine Routine zur Anrufprüfung
- StichprobeWählen Sie jede Woche eine feste Zahl von Anrufen, zufällige und ungewöhnliche gemischt.
- Hören und lesenSpielen Sie die Aufnahme ab und lesen Sie das Transkript dazu.
- BewertenBewerten Sie jeden Anruf mit einer einfachen Skala anhand Ihrer Kriterien.
- Ursachen notierenSchreiben Sie auf, warum etwas schiefging.
- Beheben und erneut testenÄndern Sie Quelle, Prompt oder Einstellung und testen Sie denselben Fall erneut.
Die Bewertung einfach halten
Drei Stufen genügen: gut, akzeptabel und schlecht – oder korrekt, teilweise und falsch für einzelne Aussagen. Feinere Skalen erzeugen Diskussionen ohne zusätzliche Erkenntnis. Lassen Sie gelegentlich zwei Personen eine Handvoll derselben Anrufe bewerten; sind sie sich oft uneinig, brauchen Ihre Kriterien schärfere Formulierungen.
Denken Sie daran, dass Transkripte falsch sein können
Das Transkript ist die Vermutung der Spracherkennung, nicht die Wahrheit. Sieht ein Transkript seltsam aus, hören Sie das Audio, bevor Sie dem Agenten die Schuld geben. Siehe Warum Telefonaudio die Spracherkennung erschwert.
Tempo und Rhythmus messen
Anrufende bemerken Verzögerungen stärker als fast alles andere. Erfassen Sie die Lücke vor jeder Antwort und betrachten Sie die schlechtesten Fälle, nicht nur den Durchschnitt, denn einige sehr lange Pausen verderben den Eindruck. Sind die Lücken lang, schlüsseln Sie auf, wo die Zeit bleibt; Latenz bei Voice AI zeigt, wie. Achten Sie auch auf Unterbrechungen: Wie oft hat der Agent dem Anrufer ins Wort geredet, und wie oft hat er ihn warten lassen?
Manuelle Prüfung oder automatische Bewertung
Eine Methode wählen
| Manuelle Prüfung | Automatische Bewertung | |
|---|---|---|
| Stärke | Versteht Nuancen, Ton und Zusammenhang | Deckt jeden Anruf schnell ab |
| Schwäche | Langsam; nur eine Stichprobe | Übersieht womöglich subtile Probleme oder urteilt falsch |
| Am besten geeignet für | Genauigkeit, Sicherheit und Erlebnis der Anrufenden | Anrufe markieren, die einen menschlichen Blick verdienen |
Automatische Bewertung, einschließlich Modellen, die andere Modelle bewerten, ist für die Vorsortierung nützlich: Sie kann Anrufe nach Anzeichen von Problemen ordnen, damit Menschen zuerst die richtigen ansehen. Sie sollte menschliche Stichproben nicht ersetzen, besonders nicht bei Genauigkeit und Sicherheit. Welche automatische Prüfung Sie auch nutzen: Testen Sie sie, indem Sie ihre Urteile mit Ihren eigenen bei einer Reihe bereits geprüfter Anrufe vergleichen.
Die Zahlen vernünftig lesen
Kleine Stichproben führen in die Irre. Prüfen Sie zehn Anrufe und zwei liefen schlecht, können Sie nicht sagen, dass jeder fünfte Anruf schlecht läuft; Sie können nur sagen, dass Sie zwei behebenswerte Probleme gefunden haben. Nutzen Sie Stichproben, um Ursachen zu finden, nicht um Quoten zu verkünden – es sei denn, die Stichprobe ist groß und zufällig genug dafür.
Trennen Sie den Agenten von der Situation. Ein Rückgang der erledigten Aufgaben in einer Woche mit Serviceausfall ist kein Urteil über den Prompt. Notieren Sie Ereignisse neben Ihren Kennzahlen: neue Öffnungszeiten, eine Kampagne, die Anrufende mit einer neuen Frage brachte, eine Änderung an den Quellen. Ein einfaches Änderungsprotokoll macht die Trends erklärbar.
Legen Sie schließlich vorab fest, was Sie mit jedem Ergebnis tun. Mehr Wiederholungen führen Sie vielleicht zu den Stilleeinstellungen; mehr Übergaben bei einem Thema führen Sie vielleicht dazu, eine exakte Antwort dafür zu ergänzen. Eine Kennzahl ohne verknüpfte Maßnahme ist bloße Dekoration.
Teilen Sie die Ergebnisse mit den Menschen am Telefon ebenso wie mit Führungskräften. Mitarbeitende wissen oft, warum ein Muster besteht, und sie nehmen die Anrufe an, die der Agent übergibt. Eine kurze monatliche Besprechung mit Beispielen, darunter einige gut gelaufene Anrufe, hält die Arbeit nah an echten Gesprächen.
Bewertung in Call
In Call listet der KI-Anrufverlauf die Anrufe eines Zeitraums mit dem Ergebnis und, sofern bekannt, der Stimmung auf und öffnet das gesamte Gespräch Wortwechsel für Wortwechsel. Führungskräfte können einen Anruf öffnen, um zu sehen, wie lange jeder gesprochene Beitrag gedauert hat. Der Bereich Automatische Prüfung gruppiert aktuelle Anrufe nach Thema, ordnet aktuelle Anrufe ohne menschliche Prüfung nach ihren Signalen und bietet eine Stichprobe von KI-Zusammenfassungen, die Sie als korrekt, teilweise oder falsch markieren können; daraus entsteht eine laufende Übersicht zur Genauigkeit der Zusammenfassungen. Mit der Gesprächs-KI können Sie zudem alle gespeicherten Transkripte nach einer Formulierung durchsuchen. Zusammen liefern diese Funktionen die Zahlen und die Stichproben, die Sie brauchen. Im Bearbeitungsverlauf sehen Sie Korrekturen an den Formulierungen des Agenten.
Eine wöchentliche Bewertungs-Checkliste
- Eine feste Stichprobe von Anrufen lesen, zufällige und ungewöhnliche
- Erledigte Aufgaben und Genauigkeit bewerten
- Übergaben zählen und die Gründe notieren
- Die längsten Antwortlücken prüfen
- Transkripte nach Formulierungen durchsuchen, die auf Verwirrung hindeuten
- Jedes Problem und die vorgenommene Korrektur festhalten
- Behobene Fälle vor dem Abschluss erneut testen
Häufig gestellte Fragen
Was ist die nützlichste einzelne Kennzahl für einen Voice Agent?
Es gibt keine einzelne. Erledigte Aufgaben zeigen, ob Anrufende bekommen haben, was sie brauchten, aber Sie brauchen auch Genauigkeit, Übergabequalität und Timing, um zu sehen, warum.
Wie viele Anrufe sollte ich prüfen?
Eine feste wöchentliche Stichprobe, die Sie durchhalten können, ist besser als eine gelegentliche große. Beginnen Sie mit einer überschaubaren Zahl und erhöhen Sie sie nach Änderungen beim Start oder wenn Probleme auftauchen.
Kann ich mich allein auf automatische Bewertung verlassen?
Nicht bei Genauigkeit oder Sicherheit. Nutzen Sie sie, um Anrufe zu ordnen und zu markieren, und lassen Sie Menschen die markierten sowie eine zufällige Stichprobe prüfen.
Warum weichen Transkripte manchmal von der Aufnahme ab?
Das Transkript entsteht durch Spracherkennung und kann Fehler enthalten. Hören Sie das Audio, bevor Sie den Agenten beurteilen.
Woran erkenne ich, ob eine Änderung etwas verbessert hat?
Halten Sie einen festen Satz von Testfällen und eine regelmäßige Prüfroutine vor und vergleichen Sie die Ergebnisse vor und nach der Änderung mit denselben Kriterien.
Sollten Anrufende befragt werden?
Eine kurze Frage nach dem Anruf kann nützliche Informationen liefern, aber halten Sie sie knapp und beachten Sie die Regeln zur Kontaktaufnahme. Kombinieren Sie sie mit Ihrer eigenen Prüfung des Gesprächs.