Sprach-KI-Technologie

Wie Sprach-KI funktioniert: Spracherkennung, LLM und Sprachausgabe

Verständlicher Rundgang durch die Pipeline hinter KI-Telefonagenten: Sprache-zu-Text, Sprachmodell, Text-zu-Sprache sowie Sprecherwechsel, Verzögerung und Übergaben.

Redaktion von Call · Veröffentlicht · 5 Min. Lesezeit

Ein Telefonat mit einem KI-Agenten kann sich wie Magie oder wie ein Rätsel anfühlen, je nachdem, ob es funktioniert. Dahinter steckt eine recht einfache Idee: die Stimme der anrufenden Person in Text verwandeln, ein Sprachmodell entscheiden lassen, was zu sagen ist, und die Antwort wieder in Sprache umwandeln, alles schnell genug, dass es sich wie ein Gespräch anfühlt. Dieser Leitfaden erklärt jede Stufe, wo etwas schiefgehen kann und was das für die Einrichtung eines Agenten bedeutet. Für das größere Bild beginnen Sie mit Was ist KI-Telefonannahme?.

Ein Telefon neben einem Diagramm, in dem Schallwellen zu Text und wieder zu Sprache werden
Symbolbild

Die Grundschleife eines Sprach-KI-Anrufs

  1. ZuhörenDas Audio der anrufenden Person wird aufgenommen und bereinigt.
  2. TranskribierenSprache-zu-Text verwandelt das Audio in Wörter.
  3. EntscheidenEin Sprachmodell wählt, was als Nächstes gesagt oder getan wird.
  4. SprechenText-zu-Sprache verwandelt die Antwort in Audio.
  5. WiederholenDie Schleife läuft bei jedem Redebeitrag, bis der Anruf endet oder übergeben wird.

Stufe eins: Sprache-zu-Text

Spracherkennung wandelt Schall in Wörter um. Auf einer Telefonleitung ist das Audio schmalbandig und komprimiert, was es schwerer macht als eine Studioaufnahme. Akzente, Hintergrundgeräusche, Durcheinanderreden und ungewöhnliche Namen beeinflussen die Genauigkeit. Moderne Systeme können bei Alltagssprache gut abschneiden, doch Zahlen, Buchstabierungen, Namen und Fachwörter wie Medikamente oder Straßennamen sind häufige Schwachstellen.

Mehr Einzelheiten finden Sie in Spracherkennung bei Telefonanrufen, Umgang mit Zahlen und Namen und Akzente und Dialekte.

Stufe zwei: das Sprachmodell

Ein großes Sprachmodell liest das bisherige Transkript zusammen mit den von Ihnen geschriebenen Anweisungen und den Informationen, die Sie bereitgestellt haben, und erzeugt dann die nächste Antwort. Es schlägt nicht von selbst etwas nach; es verlässt sich auf das, was man ihm gegeben hat. Deshalb sind Prompt und Wissensdatenbank so wichtig. Das Modell kann flüssig klingen und dabei falsch liegen, weshalb Leitplanken und Tests unerlässlich sind.

Was die Antwort des Modells prägt

  • AnweisungenDie Rolle, der Ton, die Regeln und Grenzen, die Sie ihm geben.
  • WissenDokumente, Fragen und Antworten und Fakten, auf die es zurückgreifen darf.
  • Bisheriges GesprächWas in diesem Anruf gesagt wurde.
  • WerkzeugeAktionen, die es ausführen darf, etwa eine Bestellung nachschlagen oder eine Nachricht notieren.

Leitfäden wie Prompts für einen Telefonagenten, RAG für Sprachagenten, Halluzinationen und Leitplanken gehen tiefer. Ein Prompt, der sagt, was bei Unsicherheit zu tun ist, etwa eine Person anzubieten oder eine Nachricht aufzunehmen, verhindert viele Probleme.

Stufe drei: Text-zu-Sprache

Text-zu-Sprache verwandelt die Antwort in Audio. Stimmen unterscheiden sich in Klarheit, Wärme und im Umgang mit Pausen, Zahlen und Namen in Ihrer Sprache. Manche lassen sich abstimmen oder mit einem Aussprachewörterbuch anpassen. Wählen Sie eine Stimme nach Klarheit auf einer Telefonleitung, nicht nach Neuheit, und testen Sie sie mit den tatsächlichen Sätzen, die sie sagen wird. Ein Beispiel für sprachspezifische Probleme finden Sie unter Text-zu-Sprache auf Japanisch, und zu Einwilligung und Risiko bei einer eigenen Stimme unter Stimmklonen.

Warum das Timing das Erlebnis entscheidet

Menschliche Gespräche haben schnelle Wechsel. Eine Lücke von mehr als etwa einer Sekunde wirkt seltsam. In einer Pipeline mit drei Stufen fügt jeder Schritt Verzögerung hinzu, und das Modell braucht womöglich Zeit zum Nachdenken. Entwickler verringern die Verzögerung durch Streaming: Sie beginnen zu sprechen, bevor die ganze Antwort fertig ist, und beginnen zu transkribieren, bevor die anrufende Person aufhört. Sie stimmen auch ab, wann entschieden wird, dass die anrufende Person fertig ist.

Pipeline oder Sprache-zu-Sprache

Pipeline mit drei StufenSprache-zu-Sprache-Modell
Wie es funktioniertGetrennte Erkennung, Modell und StimmeEin Modell verarbeitet Audio ein und aus
KontrolleJede Stufe lässt sich abstimmen oder austauschenWeniger sichtbar, stärker integriert
VerzögerungSummiert sich über die StufenKann geringer sein
TranskriptText bei jedem Schritt verfügbarBraucht womöglich zusätzliche Arbeit, um Text zu erzeugen
ReifegradWeit verbreitetNeuer, verändert sich schnell

Sprache-zu-Sprache-Modelle sind ein neuerer Ansatz. In jedem Fall bestimmen Latenz, Unterbrechungen und Sprecherwechsel darüber, ob sich der Agent natürlich anfühlt.

Unterbrechungen

Menschen unterbrechen. Ein guter Agent hört auf zu sprechen, wenn die anrufende Person beginnt, und hält einen Husten oder eine Stimme im Hintergrund nicht für eine Unterbrechung. Das hängt von der Spracherkennung ab, die unter Spracherkennung auf Aktivität (VAD) behandelt wird. Schlecht abgestimmte Systeme reden entweder über Anrufende hinweg oder warten zu lange.

Werkzeuge, Wissen und Aktionen

Ein Sprachagent wird nützlich, wenn er mehr kann als plaudern. Mit angebundenen Werkzeugen kann er Informationen nachschlagen, eine Nachricht aufnehmen, einen Rückrufwunsch notieren oder den Anruf an eine Person weitergeben. Jedes Werkzeug sollte einen engen Zweck und klare Regeln haben. Ein Agent kann eine Terminanfrage aufnehmen; sie zu bestätigen, ist etwas anderes, und viele Unternehmen bevorzugen, dass eine Person bestätigt. Function Calling erklärt, wie Werkzeuge dem Modell beschrieben werden.

Was mit dem Audio und dem Text geschieht

Jede Stufe verarbeitet personenbezogene Daten. Das Audio enthält eine Stimme; das Transkript enthält, was gesagt wurde, oft einschließlich Namen, Adressen und Anrufgründen. Finden Sie vor dem Einsatz heraus, wo jede Stufe läuft, was gespeichert wird, wie lange und wer es lesen kann. Entscheiden Sie, ob sensible Angaben wie Zahlungs- oder Gesundheitsdaten überhaupt vom Agenten erfasst oder an eine Person weitergegeben werden sollen. Sprach-KI mit Blick auf den Datenschutz gestalten behandelt das ausführlicher.

Halten Sie die Aufgabe des Agenten eng. Ein Agent, der häufige Fragen beantwortet, eine Nachricht aufnimmt und übergibt, lässt sich leichter testen, Anrufenden leichter erklären und leichter innerhalb Ihrer Datenschutzversprechen halten als einer, der versucht, alles zu tun.

Was Sie in der Praxis erwarten können

Erwarten Sie ein gutes Ergebnis bei einfachen, vorhersehbaren Anrufen: Öffnungszeiten, Wegbeschreibung, grundlegende Fragen, eine Nachricht aufnehmen. Erwarten Sie mehr Schwierigkeiten bei langen, emotionalen oder mehrdeutigen Anrufen, starken Akzenten, schlechten Leitungen und Anliegen, die Urteilsvermögen erfordern. Eine vernünftige Einführung beginnt mit einer kleinen Zahl von Anrufarten, hört anfangs jeden Anruf an und erweitert, wenn das Vertrauen wächst. Merken Sie sich: Der Agent ist dafür gedacht, bei definierten Aufgaben zu helfen, nicht Urteilsvermögen zu ersetzen.

Wo es schiefgeht

Gestalten Sie dafür. Machen Sie es leicht, eine Person zu erreichen, halten Sie Antworten kurz, bestätigen Sie wichtige Angaben wie Zahlen und Daten und werten Sie echte Anrufe regelmäßig aus. Einen Sprachagenten testen und Bewertungsmetriken erklären, wie.

Umsetzung in Call

In Call wird ein KI-Agent aus Persona und Prompt, einer Stimme, einer Sprache und Wissensquellen aufgebaut und dann auf dem Bildschirm und per Telefon getestet, bevor er für eine Leitung eingeschaltet wird. In Call wählen Sie unter Stimmen, passen die Aussprache mit einem Wörterbuch an, stellen ein, wie Sprache erkannt wird, und halten Quellen aktuell. Der Agent ist darauf ausgelegt, auf Wunsch zu einer Person durchzustellen, und kann eine Nachricht aufnehmen. Solange Sie keinen Agenten für eine Leitung einschalten, klingeln Anrufe bei Ihrem Team. Testen Sie immer zuerst mit eigenen Anrufen. Einen KI-Agenten in Call einrichten führt durch die Schritte.

Häufig gestellte Fragen

Aus welchen drei Teilen besteht ein Sprach-KI-Agent?

Aus Sprache-zu-Text, um die anrufende Person zu hören, einem Sprachmodell, das entscheidet, was gesagt wird, und Text-zu-Sprache, um die Antwort zu sprechen. Einige neuere Systeme kombinieren sie.

Warum macht die KI manchmal eine Pause, bevor sie antwortet?

Jede Stufe braucht Zeit, und das System muss entscheiden, dass die anrufende Person fertig gesprochen hat. Streaming und Abstimmung können die Lücke verkürzen, aber nicht beseitigen.

Kann die KI sich etwas ausdenken?

Ja. Ein Sprachmodell kann plausible, aber falsche Antworten erzeugen. Geben Sie ihm gutes Wissen, klare Grenzen und die Anweisung, bei Unsicherheit eine Person anzubieten.

Kann ein Sprachagent Termine buchen?

Er kann eine Anfrage aufnehmen und weitergeben. Viele Unternehmen bevorzugen, dass eine Person bestätigt; entscheiden Sie daher, was der Agent zusagen darf.

Muss Anrufenden gesagt werden, dass es eine KI ist?

An vielen Orten erwarten Menschen das oder haben ein Recht darauf. Sagen Sie es zu Beginn des Anrufs klar und prüfen Sie die für Sie geltenden Regeln.

Wie prüfe ich, ob es funktioniert?

Testen Sie mit echten Anrufen in verschiedenen Akzenten und Lärmpegeln, hören Sie die Ergebnisse an und führen Sie eine Liste von Fragen, die Sie nach jeder Änderung erneut stellen.

Einen KI-Sprachagenten auf Ihrer eigenen Leitung in Call ausprobieren

In der Demo-Konsole können Sie eingehende Anrufe in einer Simulation ausprobieren.

Verwandte Ratgeber