Wie Sprach-KI funktioniert: Spracherkennung, LLM und Sprachausgabe
Verständlicher Rundgang durch die Pipeline hinter KI-Telefonagenten: Sprache-zu-Text, Sprachmodell, Text-zu-Sprache sowie Sprecherwechsel, Verzögerung und Übergaben.
Ein Telefonat mit einem KI-Agenten kann sich wie Magie oder wie ein Rätsel anfühlen, je nachdem, ob es funktioniert. Dahinter steckt eine recht einfache Idee: die Stimme der anrufenden Person in Text verwandeln, ein Sprachmodell entscheiden lassen, was zu sagen ist, und die Antwort wieder in Sprache umwandeln, alles schnell genug, dass es sich wie ein Gespräch anfühlt. Dieser Leitfaden erklärt jede Stufe, wo etwas schiefgehen kann und was das für die Einrichtung eines Agenten bedeutet. Für das größere Bild beginnen Sie mit Was ist KI-Telefonannahme?.

Die Grundschleife eines Sprach-KI-Anrufs
- ZuhörenDas Audio der anrufenden Person wird aufgenommen und bereinigt.
- TranskribierenSprache-zu-Text verwandelt das Audio in Wörter.
- EntscheidenEin Sprachmodell wählt, was als Nächstes gesagt oder getan wird.
- SprechenText-zu-Sprache verwandelt die Antwort in Audio.
- WiederholenDie Schleife läuft bei jedem Redebeitrag, bis der Anruf endet oder übergeben wird.
Stufe eins: Sprache-zu-Text
Spracherkennung wandelt Schall in Wörter um. Auf einer Telefonleitung ist das Audio schmalbandig und komprimiert, was es schwerer macht als eine Studioaufnahme. Akzente, Hintergrundgeräusche, Durcheinanderreden und ungewöhnliche Namen beeinflussen die Genauigkeit. Moderne Systeme können bei Alltagssprache gut abschneiden, doch Zahlen, Buchstabierungen, Namen und Fachwörter wie Medikamente oder Straßennamen sind häufige Schwachstellen.
- Streaming-Erkennung liefert Wörter, während die anrufende Person noch spricht, was Zeit spart.
- Erkenner brauchen oft Hinweise, etwa eine Liste von Produkt- oder Ortsnamen, um besser zu werden.
- Konfidenz ist keine Gewissheit; ein System kann sich sicher irren.
- Auf das Ende eines Redebeitrags zu lauschen, ist eine andere Aufgabe, als Wörter zu erkennen.
Mehr Einzelheiten finden Sie in Spracherkennung bei Telefonanrufen, Umgang mit Zahlen und Namen und Akzente und Dialekte.
Stufe zwei: das Sprachmodell
Ein großes Sprachmodell liest das bisherige Transkript zusammen mit den von Ihnen geschriebenen Anweisungen und den Informationen, die Sie bereitgestellt haben, und erzeugt dann die nächste Antwort. Es schlägt nicht von selbst etwas nach; es verlässt sich auf das, was man ihm gegeben hat. Deshalb sind Prompt und Wissensdatenbank so wichtig. Das Modell kann flüssig klingen und dabei falsch liegen, weshalb Leitplanken und Tests unerlässlich sind.
Was die Antwort des Modells prägt
- AnweisungenDie Rolle, der Ton, die Regeln und Grenzen, die Sie ihm geben.
- WissenDokumente, Fragen und Antworten und Fakten, auf die es zurückgreifen darf.
- Bisheriges GesprächWas in diesem Anruf gesagt wurde.
- WerkzeugeAktionen, die es ausführen darf, etwa eine Bestellung nachschlagen oder eine Nachricht notieren.
Leitfäden wie Prompts für einen Telefonagenten, RAG für Sprachagenten, Halluzinationen und Leitplanken gehen tiefer. Ein Prompt, der sagt, was bei Unsicherheit zu tun ist, etwa eine Person anzubieten oder eine Nachricht aufzunehmen, verhindert viele Probleme.
Stufe drei: Text-zu-Sprache
Text-zu-Sprache verwandelt die Antwort in Audio. Stimmen unterscheiden sich in Klarheit, Wärme und im Umgang mit Pausen, Zahlen und Namen in Ihrer Sprache. Manche lassen sich abstimmen oder mit einem Aussprachewörterbuch anpassen. Wählen Sie eine Stimme nach Klarheit auf einer Telefonleitung, nicht nach Neuheit, und testen Sie sie mit den tatsächlichen Sätzen, die sie sagen wird. Ein Beispiel für sprachspezifische Probleme finden Sie unter Text-zu-Sprache auf Japanisch, und zu Einwilligung und Risiko bei einer eigenen Stimme unter Stimmklonen.
Warum das Timing das Erlebnis entscheidet
Menschliche Gespräche haben schnelle Wechsel. Eine Lücke von mehr als etwa einer Sekunde wirkt seltsam. In einer Pipeline mit drei Stufen fügt jeder Schritt Verzögerung hinzu, und das Modell braucht womöglich Zeit zum Nachdenken. Entwickler verringern die Verzögerung durch Streaming: Sie beginnen zu sprechen, bevor die ganze Antwort fertig ist, und beginnen zu transkribieren, bevor die anrufende Person aufhört. Sie stimmen auch ab, wann entschieden wird, dass die anrufende Person fertig ist.
Pipeline oder Sprache-zu-Sprache
| Pipeline mit drei Stufen | Sprache-zu-Sprache-Modell | |
|---|---|---|
| Wie es funktioniert | Getrennte Erkennung, Modell und Stimme | Ein Modell verarbeitet Audio ein und aus |
| Kontrolle | Jede Stufe lässt sich abstimmen oder austauschen | Weniger sichtbar, stärker integriert |
| Verzögerung | Summiert sich über die Stufen | Kann geringer sein |
| Transkript | Text bei jedem Schritt verfügbar | Braucht womöglich zusätzliche Arbeit, um Text zu erzeugen |
| Reifegrad | Weit verbreitet | Neuer, verändert sich schnell |
Sprache-zu-Sprache-Modelle sind ein neuerer Ansatz. In jedem Fall bestimmen Latenz, Unterbrechungen und Sprecherwechsel darüber, ob sich der Agent natürlich anfühlt.
Unterbrechungen
Menschen unterbrechen. Ein guter Agent hört auf zu sprechen, wenn die anrufende Person beginnt, und hält einen Husten oder eine Stimme im Hintergrund nicht für eine Unterbrechung. Das hängt von der Spracherkennung ab, die unter Spracherkennung auf Aktivität (VAD) behandelt wird. Schlecht abgestimmte Systeme reden entweder über Anrufende hinweg oder warten zu lange.
Werkzeuge, Wissen und Aktionen
Ein Sprachagent wird nützlich, wenn er mehr kann als plaudern. Mit angebundenen Werkzeugen kann er Informationen nachschlagen, eine Nachricht aufnehmen, einen Rückrufwunsch notieren oder den Anruf an eine Person weitergeben. Jedes Werkzeug sollte einen engen Zweck und klare Regeln haben. Ein Agent kann eine Terminanfrage aufnehmen; sie zu bestätigen, ist etwas anderes, und viele Unternehmen bevorzugen, dass eine Person bestätigt. Function Calling erklärt, wie Werkzeuge dem Modell beschrieben werden.
Was mit dem Audio und dem Text geschieht
Jede Stufe verarbeitet personenbezogene Daten. Das Audio enthält eine Stimme; das Transkript enthält, was gesagt wurde, oft einschließlich Namen, Adressen und Anrufgründen. Finden Sie vor dem Einsatz heraus, wo jede Stufe läuft, was gespeichert wird, wie lange und wer es lesen kann. Entscheiden Sie, ob sensible Angaben wie Zahlungs- oder Gesundheitsdaten überhaupt vom Agenten erfasst oder an eine Person weitergegeben werden sollen. Sprach-KI mit Blick auf den Datenschutz gestalten behandelt das ausführlicher.
Halten Sie die Aufgabe des Agenten eng. Ein Agent, der häufige Fragen beantwortet, eine Nachricht aufnimmt und übergibt, lässt sich leichter testen, Anrufenden leichter erklären und leichter innerhalb Ihrer Datenschutzversprechen halten als einer, der versucht, alles zu tun.
Was Sie in der Praxis erwarten können
Erwarten Sie ein gutes Ergebnis bei einfachen, vorhersehbaren Anrufen: Öffnungszeiten, Wegbeschreibung, grundlegende Fragen, eine Nachricht aufnehmen. Erwarten Sie mehr Schwierigkeiten bei langen, emotionalen oder mehrdeutigen Anrufen, starken Akzenten, schlechten Leitungen und Anliegen, die Urteilsvermögen erfordern. Eine vernünftige Einführung beginnt mit einer kleinen Zahl von Anrufarten, hört anfangs jeden Anruf an und erweitert, wenn das Vertrauen wächst. Merken Sie sich: Der Agent ist dafür gedacht, bei definierten Aufgaben zu helfen, nicht Urteilsvermögen zu ersetzen.
Wo es schiefgeht
- Falsch verstandene Wörter oder Zahlen führen zu falschen Antworten.
- Das Modell erfindet eine Antwort, statt zuzugeben, dass es sie nicht kennt.
- Verzögerungen lassen Anrufende sich wiederholen oder auflegen.
- Hintergrundgeräusche oder Durcheinanderreden werden für Sprache gehalten.
- Die anrufende Person will etwas außerhalb des Aufgabenbereichs des Agenten und kommt nicht heraus.
Gestalten Sie dafür. Machen Sie es leicht, eine Person zu erreichen, halten Sie Antworten kurz, bestätigen Sie wichtige Angaben wie Zahlen und Daten und werten Sie echte Anrufe regelmäßig aus. Einen Sprachagenten testen und Bewertungsmetriken erklären, wie.
Umsetzung in Call
In Call wird ein KI-Agent aus Persona und Prompt, einer Stimme, einer Sprache und Wissensquellen aufgebaut und dann auf dem Bildschirm und per Telefon getestet, bevor er für eine Leitung eingeschaltet wird. In Call wählen Sie unter Stimmen, passen die Aussprache mit einem Wörterbuch an, stellen ein, wie Sprache erkannt wird, und halten Quellen aktuell. Der Agent ist darauf ausgelegt, auf Wunsch zu einer Person durchzustellen, und kann eine Nachricht aufnehmen. Solange Sie keinen Agenten für eine Leitung einschalten, klingeln Anrufe bei Ihrem Team. Testen Sie immer zuerst mit eigenen Anrufen. Einen KI-Agenten in Call einrichten führt durch die Schritte.
Häufig gestellte Fragen
Aus welchen drei Teilen besteht ein Sprach-KI-Agent?
Aus Sprache-zu-Text, um die anrufende Person zu hören, einem Sprachmodell, das entscheidet, was gesagt wird, und Text-zu-Sprache, um die Antwort zu sprechen. Einige neuere Systeme kombinieren sie.
Warum macht die KI manchmal eine Pause, bevor sie antwortet?
Jede Stufe braucht Zeit, und das System muss entscheiden, dass die anrufende Person fertig gesprochen hat. Streaming und Abstimmung können die Lücke verkürzen, aber nicht beseitigen.
Kann die KI sich etwas ausdenken?
Ja. Ein Sprachmodell kann plausible, aber falsche Antworten erzeugen. Geben Sie ihm gutes Wissen, klare Grenzen und die Anweisung, bei Unsicherheit eine Person anzubieten.
Kann ein Sprachagent Termine buchen?
Er kann eine Anfrage aufnehmen und weitergeben. Viele Unternehmen bevorzugen, dass eine Person bestätigt; entscheiden Sie daher, was der Agent zusagen darf.
Muss Anrufenden gesagt werden, dass es eine KI ist?
An vielen Orten erwarten Menschen das oder haben ein Recht darauf. Sagen Sie es zu Beginn des Anrufs klar und prüfen Sie die für Sie geltenden Regeln.
Wie prüfe ich, ob es funktioniert?
Testen Sie mit echten Anrufen in verschiedenen Akzenten und Lärmpegeln, hören Sie die Ergebnisse an und führen Sie eine Liste von Fragen, die Sie nach jeder Änderung erneut stellen.