Sprach-KI-Technologie

Einen Sprach-KI-Agenten vor dem Start testen: ein praktischer Plan

Schritt für Schritt einen telefonischen KI-Sprachagenten testen: Skripte, Richtigkeit, Hören, Gesprächsfluss, Übergabe, Protokolle und eine klare Startentscheidung.

Redaktion von Call · Veröffentlicht · 6 Min. Lesezeit

Ein Sprachagent, der in einem ruhigen Büro vor der Person, die ihn gebaut hat, gut antwortet, verhält sich an einer Straßenecke mit einer nuschelnden anrufenden Person womöglich ganz anders. Die meisten Probleme beim Start sind nicht rätselhaft: Es sind Dinge, die niemand ausprobiert hat. Ein strukturierter Testplan findet sie, solange sie noch günstig zu beheben sind.

Eine Testerin mit Headset prüft ein Gesprächsskript am Laptop
Symbolbild

Dieser Leitfaden gibt Ihnen einen praktischen Plan: was Sie vorbereiten, die sechs Testbereiche, wie Sie Ergebnisse beurteilen und was nach dem Start zu tun ist. Am Ende stehen die Werkzeuge in Call. Zu den Kennzahlen hinter der Beurteilung siehe Kennzahlen zur Bewertung von Sprach-KI.

Den Test vorbereiten

Beginnen Sie mit der Liste echter Anrufe. Sammeln Sie die Fragen, die Menschen tatsächlich stellen, aus E-Mails, dem Gedächtnis des Teams und Gesprächsnotizen. Ergänzen Sie die unangenehmen: die verärgerte anrufende Person, die vage, die nach etwas fragt, das Sie nicht anbieten. Ein guter Testsatz mischt häufige, seltene und schwierige Fälle.

Vom Skript zum Start

  1. Testskripte schreibenEchte Fragen, jeweils mit der richtigen Antwort.
  2. Den Inhalt testenAntwortet der Agent korrekt und bleibt er in seinen Grenzen?
  3. Das Hören testenVersteht er Namen, Zahlen und Akzente?
  4. Den Gesprächsfluss testenVerläuft das Gespräch natürlich und endet es gut?
  5. Die Übergabe testenFunktionieren Bitten um einen Menschen und dringende Fälle?
  6. Die Protokolle prüfenSind Zusammenfassungen, Nachrichten und Protokolle korrekt?
  7. EntscheidenVergleichen Sie die Ergebnisse mit der Bestehensregel und entscheiden Sie.

Legen Sie fest, wer testet. Beziehen Sie Personen ein, die den Agenten nicht gebaut haben, denn sie fragen auf unerwartete Weise. Sprechen Ihre Anrufenden mit regionalen Akzenten oder in mehreren Sprachen, beziehen Sie auch diese Stimmen ein.

Den Inhalt testen

Die erste Frage ist, ob der Agent Wahres sagt. Stellen Sie jede Frage Ihrer Liste und vergleichen Sie mit der richtigen Antwort. Markieren Sie jede Antwort als richtig, teilweise richtig, falsch oder erfunden. Eine erfundene Antwort, bei der der Agent etwas behauptet, das ihm nie gegeben wurde, wiegt am schwersten, denn Anrufende glauben sie.

Warum erfundene Antworten entstehen, erklärt Halluzinationen bei Sprach-KI, wie Wissen genutzt wird, RAG für Sprachagenten.

Testen, was er hört

Sprachagenten scheitern oft beim Zuhören. Namen, Postleitzahlen, Telefonnummern und Daten sind die üblichen Problemfälle. Testen Sie mit echten Telefonen, nicht nur mit einem Computermikrofon, und beziehen Sie Hintergrundgeräusche, Freisprechen und schlechten Mobilfunkempfang ein.

PrüfungWieWorauf achten
NamenUngewöhnliche Namen buchstabieren und aussprechenKorrekte Erfassung oder eine höfliche Bitte um Wiederholung
ZahlenEine Telefonnummer und ein Datum vorlesenKorrekte Ziffern und eine Wiederholung zur Bestätigung
AkzenteKolleginnen und Kollegen mit verschiedenen Akzenten bittenWeniger Missverständnisse und souveräne Korrektur
LärmVon einem belebten Ort anrufenKeine Fehlauslösungen und klare Bitten um Wiederholung

Zahlen und Namen in der Sprach-KI und Spracherkennung am Telefon verbessern erklären diese Probleme ausführlicher.

Den Gesprächsfluss testen

Der Inhalt kann stimmen und das Gespräch trotzdem holpern. Achten Sie auf die Eröffnung, das Tempo, ob der Agent der anrufenden Person ins Wort fällt, wie er mit Stille umgeht und wie er endet. Unterbrechen Sie ihn, schweigen Sie, sagen Sie „Hallo?“ und ändern Sie mittendrin Ihre Meinung.

Gesprächsverhalten, das Sie ausprobieren sollten

  • UnterbrechenSprechen Sie in den Agenten hinein und prüfen Sie, ob er innehält und zuhört.
  • StilleSagen Sie nichts und prüfen Sie, ob er höflich nachfragt und dann sinnvoll beendet.
  • Meinung ändernWechseln Sie mitten in der Antwort das Thema und prüfen Sie, ob er folgt.
  • BeendenBedanken und verabschieden Sie sich und prüfen Sie, ob der Anruf sauber endet.

Auch die Geschwindigkeit gehört hierher. Notieren Sie lange Pausen und deren Ursache. Latenz bei Sprach-KI erklärt die üblichen Gründe.

Übergabe und Sicherheit testen

Jeder Sprachagent braucht einen Weg zu einem Menschen für Anliegen, die er nicht bearbeiten kann oder soll. Testen Sie ihn unter jeder Bedingung: während der Geschäftszeiten, außerhalb, wenn niemand annimmt und wenn die anrufende Person verzweifelt ist. Probieren Sie dringende Formulierungen. Prüfen Sie, dass der Agent nie behauptet, ein Mensch zu sein, und nie etwas verspricht, das er nicht halten kann, etwa eine bestätigte Buchung.

Prüfungen zur Übergabe

  • Die Bitte um einen Menschen während der Geschäftszeiten erreicht die richtigen Personen
  • Außerhalb der Geschäftszeiten gibt es eine ehrliche Ansage und die Möglichkeit, Daten zu hinterlassen
  • Nimmt niemand an, kann die anrufende Person eine Nachricht hinterlassen
  • Dringende oder verzweifelte Anrufende werden schnell weitergegeben
  • Der Agent gibt sich auf Nachfrage als KI zu erkennen
  • Sensible Angaben werden nicht erhoben, wenn sie nicht erhoben werden sollen

Datensätze und Protokolle testen

Ein Anruf hat zwei Ergebnisse: was die anrufende Person erlebt hat und was Sie erfassen. Prüfen Sie nach jedem Test die Zusammenfassung, das Transkript, die hinterlassene Nachricht und jede Folgeaufgabe. Stimmen Namen und Nummern? Ist der Anrufgrund korrekt wiedergegeben? Erfindet die Zusammenfassung etwas? Ein perfekter Anruf mit falschem Datensatz schickt das Team trotzdem in die falsche Richtung. Siehe KI-Anrufzusammenfassungen.

Über Bestehen oder Nichtbestehen entscheiden

Schreiben Sie vor Beginn die Regel auf, die entscheidet, ob der Agent starten darf. Sie kann einfach sein: keine erfundenen Antworten im Testsatz, jeder Übergabefall funktioniert, und ein festgelegter Anteil der häufigen Fragen wird richtig beantwortet. Schriftlich festgehalten verhindert sie einen Start unter Termindruck.

Startentscheidungen

Bestehensregel vorher festgelegtNachträglich beurteilt
KlarheitAlle kennen die MesslatteDie Messlatte schwankt mit der Stimmung
DruckLeicht, „noch nicht“ zu sagenSchwer, einer Frist zu widerstehen
LernenFehler zeigen auf KorrekturenFehler werden zu Streitpunkten
DokumentationErgebnisse lassen sich über die Zeit vergleichenNichts zum Vergleichen

Führen Sie ein Protokoll jedes Tests: Datum, Version des Agenten, testende Person, Frage, Ergebnis und Korrektur. Wenn Sie Prompt oder Wissen ändern, wiederholen Sie die früheren Tests, denn Korrekturen machen manchmal anderes kaputt.

Es lohnt sich auch, die stillen Fehler zu testen, über die sich kein Anrufender beschwert, die Sie aber auf Dauer etwas kosten. Prüfen Sie, ob ein vorzeitig beendeter Anruf trotzdem einen sinnvollen Datensatz erzeugt, ob eine Person, die mitten im Satz auflegt, keine halbfertige Aufgabe hinterlässt, und ob wiederholt Anrufende einheitlich behandelt werden. Diese Fälle tauchen in einem ersten Testplan selten auf, machen aber einen überraschend großen Teil des echten Aufkommens aus.

Nach dem Start

Das Testen endet nicht mit dem Livegang. Beginnen Sie mit einem begrenzten Einsatz, etwa außerhalb der Geschäftszeiten oder als Überlauf, hören Sie in der ersten Woche täglich eine Stichprobe echter Anrufe an und erweitern Sie, wenn Sie sich sicher fühlen. Prüfen Sie die Fragen, die der Agent nicht beantworten konnte, und ergänzen Sie das fehlende Wissen. Behalten Sie eine Möglichkeit, zu einer früheren Version zurückzukehren, falls eine Änderung die Lage verschlechtert. Die erste Woche Ihres KI-Empfangs ist eine gute Ergänzung.

Testen in Call

Call bietet mehrere Wege, einen KI-Agenten zu testen, bevor Anrufende es tun. In der Testumgebung unter KI-Agenten chatten Sie mit einem Agenten; sie zeigt, wie viele Wissensnotizen zu jeder Antwort gepasst haben, listet sie auf und lässt Sie eine Antwort bewerten oder eine bessere beibringen. Der Testanruf des Agenten lässt Ihr eigenes Telefon über seine Leitung klingeln, sodass Sie ihn wie eine anrufende Person hören; jeder solche Test ist ein echter, abgerechneter Anruf. Der Einrichtungsassistent bietet außerdem ein Gespräch am Bildschirm, einen Anruf auf Ihr Telefon und einen Anruf des Agenten an eine Nummer. Eine Bereitschaftsprüfung, die niemanden anruft, meldet, was ein KI-Anruf von der Leitung noch braucht.

Übungsanrufe unter KI-Agenten, Was gelernt wurde, lassen KI-Anrufende Ihre Agenten auf Japanisch und Englisch anrufen. Jeder Anruf wird bewertet, und die Erkenntnisse warten auf Ihre Prüfung, sodass sich ohne Sie nichts ändert. Speichern Sie vor einer riskanten Änderung einen Wiederherstellungspunkt am Agenten, damit Sie zurückkehren können, und steuern Sie mit Live schalten oder Auf Entwurf setzen, wann der Agent Anrufe annimmt. Zur Einrichtung selbst siehe Einen KI-Agenten in Call einrichten.

Häufig gestellte Fragen

Wie viele Testanrufe sind genug?

Genug, um jede häufige Frage, jeden Übergabefall und eine Stichprobe schwierigen Verhaltens abzudecken. Bei einem kleinen Agenten können das Dutzende Anrufe sein; machen Sie weiter, bis neue Tests keine neuen Probleme mehr finden.

Wer sollte den Agenten testen?

Personen, die ihn nicht gebaut haben, auch solche mit unterschiedlichen Akzenten und Telefongewohnheiten. Sie fragen auf Weisen, an die die Entwickelnden nie denken.

Sollte ich mit einem echten Telefon testen?

Ja. Telefonaudio ist schmalbandiger und rauschiger als Computeraudio, und viele Probleme zeigen sich erst auf einer echten Leitung.

Was gilt als schwerwiegender Fehler?

Eine selbstbewusst vorgetragene erfundene Antwort, eine fehlgeschlagene Übergabe oder ein Datensatz, der das Team in die falsche Richtung schickt. Diese sollten den Start verhindern.

Muss ich nach kleinen Änderungen erneut testen?

Ja, zumindest einen Kernsatz. Kleine Änderungen an Prompt oder Wissen können Antworten an anderer Stelle verändern.

Worauf sollte ich nach dem Livegang achten?

Hören Sie anfangs täglich eine Stichprobe von Anrufen an, notieren Sie unbeantwortete Fragen und verfolgen Sie Übergaben und Beschwerden. Verbessern Sie das Wissen jede Woche.

Führen Sie Test- und Übungsanrufe mit Ihrem KI-Agenten in Call durch

In der Demo-Konsole können Sie eingehende Anrufe in einer Simulation ausprobieren.

Verwandte Ratgeber