Sprach-KI-Technologie

Speech-to-Speech-Modelle oder kaskadierte Sprachpipelines

Zwei Wege zum Telefon-Voice-Agent: Speech-to-Speech-Modelle und kaskadierte Pipelines. Stärken, Schwächen und wie Sie per Test die richtige Wahl treffen.

Redaktion von Call · Veröffentlicht · 5 Min. Lesezeit

Hinter einem sprechenden Voice Agent steckt meist eines von zwei Designs. Beim ersten wandelt Software die Sprache des Anrufers in Text um, ein Sprachmodell schreibt eine Textantwort, und eine Sprachausgabe liest sie vor. Beim zweiten hört ein einziges Modell Audio und antwortet in Audio. Anbieter streiten darüber, was besser ist. Die ehrliche Antwort: Beide gehen Kompromisse ein.

Fachleute vergleichen auf einem Laptop Audio-Wellenformen
Symbolbild

Dieser Leitfaden vergleicht beide verständlich, damit Sie bei der Plattformwahl bessere Fragen stellen können. Eine breitere Einführung bietet So funktioniert Voice AI im Telefongespräch.

Die kaskadierte Pipeline

Eine kaskadierte Pipeline, manchmal als Speech-to-Text, dann Modell, dann Text-to-Speech bezeichnet, ist seit Jahren der Standardansatz. Jede Stufe ist eine eigene Komponente, und zwischen ihnen wird Text weitergegeben.

Kaskadierte Pipeline

  1. SpracherkennungWandelt das Audio des Anrufers in Text um.
  2. SprachmodellLiest den Text mit Anweisungen und Quellen und schreibt eine Antwort.
  3. SprachsyntheseMacht aus dem Antworttext gesprochenes Audio.
  4. TelefonieÜberträgt das Audio zum und vom Anrufer.

Weil die Mitte des Systems reiner Text ist, können Sie ihn lesen, durchsuchen, speichern, gegen Regeln prüfen und jede Stufe austauschen. Sie können eine Spracherkennung einsetzen, die mit den Akzenten Ihrer Anrufenden besser zurechtkommt, oder eine Stimme, die zu Ihrer Marke passt.

Der Speech-to-Speech-Ansatz

Ein Speech-to-Speech-Modell, auch End-to-End- oder natives Audiomodell genannt, verarbeitet Audio direkt. Es hört auf den Klang selbst und erzeugt Klang als Ausgabe, wobei viele solcher Systeme zusätzlich Text für die Protokollierung erzeugen.

Speech-to-Speech

  1. Audio reinDie Stimme des Anrufers geht direkt an das Modell.
  2. Ein ModellEs deutet Bedeutung, Tonfall und Timing und plant eine Antwort.
  3. Audio rausEs erzeugt die gesprochene Antwort direkt.
  4. TelefonieDas Audio wird zum und vom Anrufer übertragen.

Der Reiz liegt darin, dass zwischen den Stufen nichts verloren geht. Eine Pause, ein Lachen, Zögern oder ein Seufzer können die Antwort beeinflussen, und das Modell kann früher zu sprechen beginnen, weil es nicht auf drei getrennte Schritte wartet.

Im direkten Vergleich

Kaskadiert oder Speech-to-Speech

KaskadiertSpeech-to-Speech
NatürlichkeitHängt von jeder Stufe ab; kann stufenweise wirkenOft flüssiger, Timing und Tonfall bleiben erhalten
AntwortzeitSumme aus drei Stufen, die sich optimieren lassenPotenziell kürzer, da weniger Übergaben
KontrolleHoch: Regeln lassen sich auf jeder Stufe auf den Text anwendenGeringer: schwerer zu prüfen, was intern passiert
Transkripte und ProtokolleFallen von selbst anMeist separat erzeugt und womöglich abweichend vom Gesagten
Teile austauschenEinfach: Spracherkennung oder Stimme einzeln wechselnBeschränkt auf das, was das Modell bietet
StimmauswahlGroße Auswahl an StimmenOft eine kleinere Auswahl
ReifeLange ErfahrungNeuer, entwickelt sich schnell

Begegnen Sie Behauptungen absoluter Überlegenheit mit Vorsicht. Die Qualität schwankt innerhalb jeder Kategorie zwischen Produkten, und Ergebnisse aus einer sauberen Demo halten bei einem lauten Handyanruf womöglich nicht.

Was bei Telefonanrufen zählt

Telefonaudio ist schmalbandig und verrauscht

Telefonaudio ist komprimiert und oft verrauscht. Welches Design Sie auch wählen, prüfen Sie seine Leistung mit echtem Telefonaudio, nicht nur mit Studioaufnahmen. Warum Telefonaudio für die Spracherkennung schwierig ist erklärt die Auswirkungen.

Kontrolle und Nachvollziehbarkeit

Müssen Sie belegen können, was ein Agent gesagt hat und warum, hilft Text auf jeder Stufe. Ein kaskadiertes Design erlaubt eine Prüfung zwischen der Antwort des Modells und der Stimme. Bei einem End-to-End-Modell verlassen Sie sich stärker auf die Kontrollen des Anbieters und auf Tests. Lesen Sie Leitplanken für Voice AI und legen Sie fest, was Sie durchsetzen müssen.

Unterbrechungen und Timing

Native Audiomodelle gehen oft flüssiger mit Überlappungen und Unterbrechungen um, weil sie den Anrufer durchgehend hören. Kaskadierte Systeme stützen sich auf die Erkennung von Sprache und Stille, um zu entscheiden, wann sie aufhören und anfangen; siehe Sprachaktivitätserkennung und Sprecherwechsel bei Voice Agents. Bessere Technik kann den Abstand verringern, und er verändert sich womöglich weiter.

Sprachen und Akzente

Prüfen Sie die für Sie wichtigen Sprachen und Akzente durch Tests, statt eine Liste aus einer Broschüre zu übernehmen. Ein Modell, das in einer Sprache stark ist, kann in einer anderen schwächer sein, und dasselbe gilt für einzelne Stufen einer Pipeline.

Die Wahl für Ihre Situation

Einige fiktive Szenarien zeigen, wie Prioritäten in unterschiedliche Richtungen ziehen.

Fragen an einen Anbieter

  • Welche Stufen nutzt das System, und kann ich sie ändern?
  • Erhalte ich ein Transkript jedes Anrufs, und entspricht es dem, was das Modell gehört hat?
  • Wie werden Regeln und Grenzen durchgesetzt?
  • Wie verhält es sich bei Mobilfunk und verrauschten Leitungen?
  • Wie lang sind typische Antwortzeiten bei echten Telefonanrufen?
  • Wie werden Unterbrechungen behandelt?
  • Was passiert anschließend mit Audio und Text?

Wo die Grenzen verschwimmen

Die beiden Kategorien sind nicht so scharf getrennt, wie das Marketing nahelegt. Viele Speech-to-Speech-Produkte erzeugen weiterhin ein Transkript neben dem Audio, und viele kaskadierte Produkte streamen Teilergebnisse zwischen den Stufen, sodass die Sprachausgabe beginnt, bevor das Modell fertig geschrieben hat. Manche Systeme nutzen ein natives Audiomodell für das Gespräch und einen Textschritt für Abfragen oder Regelprüfungen. Sagt ein Anbieter, sein Produkt sei End-to-End, fragen Sie, was genau End-to-End ist und wo noch Text auftaucht.

Das ist wichtig, weil sich die praktischen Fragen nicht ändern. Wo können Sie nachlesen, was gesagt wurde? Wo lässt sich eine Regel durchsetzen? Wie wird eine falsche Antwort abgefangen? Eine Mischform, die ein verlässliches Transkript und eine natürliche Stimme liefert, kann der vernünftige Mittelweg sein, sofern Sie beide Teile überprüfen können.

Fair testen

Vergleiche lassen sich leicht unbeabsichtigt verzerren. Verwenden Sie für jeden Kandidaten dasselbe Skript, denselben Leitungstyp und dieselben Hintergrundgeräusche. Testen Sie vom Handy im Auto oder auf der Straße, nicht nur aus einem ruhigen Raum. Nehmen Sie die unbequemen Momente echter Anrufe auf: eine Korrektur mitten im Satz, einen buchstabierten Namen, eine Frage außerhalb des Aufgabenbereichs und die Bitte um einen Menschen.

Bewerten Sie jeden Anruf nach wenigen einfachen Punkten: War die Antwort richtig, hat der Agent auf den Anrufer gewartet, wie lang war die Lücke vor jeder Antwort, und wie endete der Anruf? Eine überschaubare Zahl einheitlich bewerteter Anrufe sagt Ihnen mehr als eine polierte Demo.

Wie Call das angeht

Die praktische Lehre lautet: Die Architektur zählt weniger als das Verhalten in Ihren Anrufen. In Call beginnt ein KI-Agent zu sprechen, sobald der erste Teil seiner Antwort bereitsteht, bereitet bei ausgehenden Anrufen Begrüßungen vorab vor und hält Antworten kurz. Sie legen Stimme und Transkriptionsoptionen fest, testen, indem Sie Ihr eigenes Telefon klingeln lassen, und lesen das Gespräch anschließend im Anrufverlauf nach. Unabhängig von der zugrunde liegenden Technik gilt derselbe Maßstab: Antwortet er korrekt, übergibt er höflich, und klingt er für Ihre Anrufenden akzeptabel? Die Kennzahlen in Gespräche eines Voice Agents bewerten gelten für beide.

Häufig gestellte Fragen

Was ist ein Speech-to-Speech-Modell?

Ein Modell, das gesprochenes Audio als Eingabe nimmt und gesprochenes Audio ausgibt, ohne getrennte Textstufe zwischen Erkennung und Sprachausgabe.

Was ist eine kaskadierte Sprachpipeline?

Eine Kette aus Spracherkennung, Sprachmodell und Sprachsynthese, bei der zwischen den Stufen Text weitergegeben wird.

Was klingt natürlicher?

Speech-to-Speech-Systeme gelten oft als flüssiger, aber die Qualität unterscheidet sich zwischen Produkten. Urteilen Sie, indem Sie sich Anrufe wie Ihre anhören.

Was lässt sich leichter prüfen?

Kaskadierte Pipelines erzeugen auf jeder Stufe Text, sodass Protokolle, Prüfungen und Regeln einfacher sind. Klären Sie bei End-to-End-Modellen, was der Anbieter aufzeichnet und wie verlässlich das ist.

Kann ich beide Ansätze kombinieren?

Manche Plattformen kombinieren sie, etwa mit einem kaskadierten Design für bestimmte Anrufe. Fragen Sie, wie ein System in jedem Modus mit Transkripten und Regeln umgeht.

Beeinflusst die Wahl die Kosten?

Das kann sie, aber Preise und Modelle ändern sich. Fragen Sie den Anbieter nach den aktuellen Konditionen und vergleichen Sie sie mit gemessenen Ergebnissen statt mit Werbeversprechen.

Einen KI-Agenten mit Call auf Ihrer eigenen Telefonleitung testen

In der Demo-Konsole können Sie eingehende Anrufe in einer Simulation ausprobieren.

Verwandte Ratgeber