Call nutzen

Übungsanrufe: Ihren KI-Agenten vor dem Start testen

Wie simulierte Übungsanrufe einen KI-Telefonagenten zuerst an schwierigen Fällen testen, wie Sie Bewertungen und Lektionen lesen und daraus Verbesserungen machen.

Redaktion von Call · Veröffentlicht · 5 Min. Lesezeit

Jedes Team, das neue Mitarbeitende eingearbeitet hat, weiß: Die erste Woche am Telefon ist die riskanteste. Die neue Person kennt die Richtlinien, hat aber noch nicht den Anrufer erlebt, der ihr ins Wort fällt, den, der mitten im Satz das Thema wechselt, oder den, der einfach einen Schuldigen sucht. Gute Teams proben diese Momente vorher im Rollenspiel.

Eine Teamleitung prüft vor dem Start Anrufbewertungen und Transkripte auf einem Monitor
Symbolbild

Ein KI-Telefonagent braucht dieselbe Probe – und kann viel mehr davon bekommen, viel schneller. Dieser Leitfaden erklärt, wie Sie Übungen gestalten, die Ergebnisse lesen und Lektionen zurückführen. Er baut auf einen KI-Agenten einrichten und Prompts schreiben, die funktionieren auf.

Warum vor dem Start üben

Die ersten echten Anrufe prägen, was Kunden vom gesamten Service halten. Ein Agent, der einen Namen falsch versteht, Anrufern ins Wort fällt oder eine Antwort erfindet, kostet mehr als ein verpasster Anruf, denn der Kunde hat jetzt eine Geschichte zu erzählen. Übungen finden solche Probleme, solange nur Ihr eigenes Team zuhört.

Übung ist kein Beweis. Eine gute Bewertung mit simulierten Anrufern heißt nicht, dass echte Anrufer sich genauso verhalten, und das Sprachverhalten im Live-Betrieb kann von einer Simulation abweichen. Betrachten Sie ein gutes Ergebnis als Erlaubnis, es vorsichtig mit echten Anrufen zu versuchen – nicht als Zertifikat.

Was Sie testen sollten

Der Wert einer Serie hängt von den Situationen ab, die sie abdeckt. Mischen Sie bewusst leichte und schwierige Fälle.

Szenarien, die Schwächen aufdecken

  • UnterbrechungenEin Anrufer fällt dem Agenten ins Wort. Hält er inne und hört zu, oder redet er einfach weiter?
  • SprachwechselEin Anrufer beginnt in einer Sprache und wechselt in eine andere. Folgt der Agent?
  • Wunsch nach einer PersonDer Anrufer sagt: „Verbinden Sie mich mit jemandem.“ Ist die Übergabe klar und zügig?
  • PreisfragenEin Anrufer fragt, was es kostet. Antwortet der Agent nur mit dem, was er weiß, und vermeidet Vermutungen?
  • BeschwerdenEin verärgerter Anrufer. Bleibt der Agent ruhig und bietet einen nächsten Schritt an?
  • AlltagsfragenFragen aus der eigenen Wissensdatenbank des Agenten. Sind die Antworten richtig und kurz?

Die Balance ist wichtig. Eine Serie nur mit schwierigen Fällen sieht immer schlecht aus und sagt wenig über die Alltagsleistung; eine Serie nur mit leichten Fragen schmeichelt einem Agenten, der unter Druck versagt. Eine Mischung aus beidem ist meist der aufschlussreichste Start.

Eine Übungsserie in Call durchführen

In Call finden Sie die Übungen unter „KI-Agenten“, „Was gelernt wurde“, im Tab „Übungsanrufe“. KI-Anrufer rufen Ihre KI-Agenten in einer Simulation auf Japanisch und Englisch an, und jeder Anruf wird bewertet. Sie wählen die Agenten (bis zu zehn gleichzeitig; ein Agent, der noch keine Anrufe annehmen kann, ist ausgegraut), wie viele japanische und englische Anrufe jeder erhalten soll (von keinem bis zu fünfundzwanzig pro Sprache) und die Szenariomischung.

SzenariomischungWas sie abdecktEinsetzen, wenn
AusgewogenJeder schwierige Fall einmal, der Rest Fragen aus der Wissensdatenbank des AgentenSie einen neuen Agenten zum ersten Mal testen
WissensdatenbankNur Fragen aus dem, was der Agent weißSie sein Wissen geändert haben und die Genauigkeit prüfen möchten
GrenzfälleNur die schwierigen FälleSie seine Verhaltensregeln oder seinen Prompt geändert haben

Eine Serie durchführen

  1. Übungsanrufe öffnenGehen Sie zu „KI-Agenten“, dann „Was gelernt wurde“, dann „Übungsanrufe“.
  2. Agenten und Anzahl wählenHaken Sie die Agenten an und legen Sie die Zahl der Anrufe pro Sprache fest.
  3. Mischung wählenAusgewogen, Wissensdatenbank oder Grenzfälle.
  4. Serie startenDie Zahl neben der Schaltfläche ist die Gesamtzahl: Agenten mal Anrufe in beiden Sprachen.
  5. Fortschritt verfolgenDie Liste aktualisiert sich selbst; öffnen Sie eine Serie, um Bewertungen und Anrufergebnisse zu sehen.

Die Start-Schaltfläche bleibt bei null Anrufen oder bei mehr als dreihundert insgesamt ausgegraut; große Tests laufen daher in Teilen. Sie können eine wartende oder laufende Serie auch abbrechen; nicht gestartete Anrufe werden storniert, ein laufender Anruf wird zu Ende geführt. Für eine Serie können Sie Sprachausgabe aktivieren, um jedem Gesprächsschritt eine Wiedergabe-Schaltfläche hinzuzufügen; das Audio wird erst erzeugt, wenn Sie darauf klicken.

Die Ergebnisse lesen

Öffnen Sie eine abgeschlossene Serie und beginnen Sie mit der Zusammenfassung, nicht mit einem einzelnen Transkript. Die Summen zeigen durchgeführte Anrufe, die Durchschnittsbewertung, korrigierte Antworten, Fragen, die eine Antwort brauchen, und Stiltipps. Darunter folgen die Bewertung nach Kriterium, die häufigsten Probleme mit dem Durchschnitt jedes Agenten und eine Tabelle der Anrufe mit Szenario, Sprache, Bewertung und Markierungen.

  1. Suchen Sie anhand der Bewertung nach Kriterium den schwächsten Bereich.
  2. Lesen Sie die häufigsten Probleme; tritt eines bei mehreren Agenten auf, liegt es wahrscheinlich an einem gemeinsamen Prompt oder einer Regel.
  3. Sortieren Sie die Anrufe nach Bewertung und lesen Sie die drei schlechtesten Transkripte vollständig.
  4. Lesen Sie die Anmerkung der Bewertung zu jeder Antwort, nicht nur die Endnote.
  5. Vergleichen Sie die Sprachen; ein Unterschied kann bedeuten, dass eine Sprache eigene Formulierungen braucht.

Die Lektionen umsetzen

Übungen erzeugen Lektionen, die auf Ihre Prüfung warten, statt den Agenten automatisch zu verändern. Sie können jede übernehmen oder verwerfen. Korrigierte Antworten und Fragen, die eine Antwort brauchen, warten ebenfalls unter „Vorschläge“. Das ist Absicht: Ein Mensch entscheidet, was der Agent lernen soll.

Lektionen prüfen

  • Passt die Lektion zu Ihren Richtlinien und Ihrem Ton?
  • Ist die korrigierte Antwort wirklich richtig und nicht nur plausibel?
  • Gilt sie für jeden Anrufer oder nur für dieses Szenario?
  • Widersprechen sich zwei Lektionen?
  • Braucht der Agent einen neuen Wissenseintrag statt einer Prompt-Änderung?

Führen Sie nach Änderungen erneut eine kleine Serie durch und vergleichen Sie. Ändern Sie nach Möglichkeit nur eine Sache auf einmal, sonst wissen Sie nicht, welche Änderung geholfen hat. Wohin sachliche Antworten gehören, lesen Sie unter Wissensquellen.

Ein sinnvoller Übungsrhythmus

Übung zahlt sich am meisten aus, wenn sie Gewohnheit ist und kein einmaliges Ereignis. Verknüpfen Sie Serien mit Momenten, in denen sich etwas ändert.

AnlassWas Sie durchführenWorauf Sie achten
Neuer Agent, vor dem StartEine ausgewogene Serie in jeder Sprache, die Sie bedienenSchwache Kriterien, Verhalten bei der Übergabe
Nach einer Prompt- oder RegeländerungEine Grenzfall-SerieOb die Änderung das Problem behoben hat, ohne ein anderes zu verursachen
Nach neuem WissenEine Wissensdatenbank-SerieRichtige, kurze Antworten ohne erfundene Fakten
Vor einer arbeitsreichen PhaseEine ausgewogene Serie auf den Leitungen, die am stärksten ausgelastet sein werdenStabilität bei einer typischen Mischung von Fragen
Nach einem Problem in einem echten AnrufEine Serie, die den Fehler nachstelltOb die Lösung hält

Führen Sie ein kurzes Protokoll: Datum, was Sie geändert haben, welche Serie Sie durchgeführt haben und das Kernergebnis. Nach einigen Monaten zeigt diese Historie, welche Änderungen geholfen haben, und bewahrt Sie davor, ein bereits gescheitertes Experiment zu wiederholen.

Eine fiktive Arztpraxis könnte vor dem Start der neuen Leitung eine ausgewogene Serie für ihren Empfangsagenten durchführen, eine Grenzfall-Serie nach dem Hinzufügen einer Regel zu dringenden Symptomen und eine Wissensdatenbank-Serie, sobald sich Öffnungszeiten oder Leistungen ändern. Drei kleine Serien zum richtigen Zeitpunkt sagen mehr als ein einziger riesiger Test.

Über die Simulation hinaus

Eine Simulation ist eine Probe. Machen Sie vor dem Start zusätzlich einen echten Testanruf auf Ihr eigenes Telefon und hören Sie zu, wie es ein Kunde täte. Gehen Sie behutsam live: Beginnen Sie mit einer Leitung mit geringem Risiko oder eingeschränkten Zeiten, halten Sie einen einfachen Weg zu einer Person offen (siehe einen Anruf an eine Person übergeben) und hören Sie sich die ersten echten Anrufe täglich an. Für menschliche Mitarbeitende gilt dieselbe Idee; siehe ein Coaching-Rahmenwerk für Proben und Feedback mit Menschen.

Häufig gestellte Fragen

Sind Übungsanrufe echte Telefonanrufe?

Es sind simulierte Anrufe, bei denen KI-Anrufer Ihre KI-Agenten anrufen. Nutzen Sie einen separaten Testanruf auf Ihr eigenes Telefon, um den Agenten auf einer echten Leitung zu hören.

Kann ich in mehr als einer Sprache üben?

Das Übungswerkzeug führt simulierte Anrufe auf Japanisch und Englisch durch. Legen Sie fest, wie viele Sie pro Agent und Sprache möchten.

Wie viele Anrufe sollte ich durchführen?

Beginnen Sie klein, mit einigen Anrufen pro Szenario und Agent, und lesen Sie die Ergebnisse genau. Erhöhen Sie nur, wenn Sie einen Grund haben, etwa um eine Änderung über mehrere Sprachen hinweg zu testen.

Verändern Lektionen meinen Agenten automatisch?

Nein. Lektionen warten auf Ihre Prüfung. Sie übernehmen die, denen Sie zustimmen, und verwerfen die anderen.

Was sagt mir die Bewertung?

Sie zeigt, wie der simulierte Anruf gemessen an den Kriterien verlaufen ist, mit Anmerkungen zu jeder Antwort. Sie ist ein Beleg – echte Anrufer können sich trotzdem anders verhalten.

Was, wenn ein Agent ausgegraut ist?

Ein Agent, der noch keine Anrufe annehmen kann, ist entsprechend markiert und lässt sich nicht auswählen. Schließen Sie zuerst seine Einrichtung ab.

Starten Sie in Call eine Übungsserie für Ihren KI-Agenten

In der Demo-Konsole können Sie eingehende Anrufe in einer Simulation ausprobieren.

Verwandte Ratgeber