Sprach-KI-Technologie

RAG für Sprachagenten: Aus eigenen Inhalten antworten

Wie Retrieval-Augmented Generation eine Telefon-KI aus Ihren Dokumenten und FAQs antworten lässt, mit Tipps zu Inhalten, Fehlerbegrenzung und Tests.

Redaktion von Call · Veröffentlicht · 5 Min. Lesezeit

Ein Sprachmodell weiß viel über die Welt und nichts über Ihr Unternehmen. Es kennt weder Ihre Öffnungszeiten noch Ihre Stornoregel noch den Namen des Technikers, der Heizkesselreparaturen betreut. Soll es ohne diese Informationen die Frage einer anrufenden Person beantworten, kann es raten. Retrieval-Augmented Generation, meist RAG abgekürzt, ist das Standardmittel dagegen: den relevanten Teil Ihrer eigenen Inhalte finden, ihn mit der Frage dem Modell übergeben und es bitten, aus diesem Material zu antworten.

Eine Person ordnet gedruckte Dokumente und einen Laptop, um eine Wissensbasis für einen Assistenten vorzubereiten
Symbolbild

Dieser Leitfaden erklärt, wie RAG im Zusammenhang mit Telefonanrufen funktioniert, wie Sie Inhalte dafür aufbereiten, wo es schiefgeht und wie Sie es testen. Hintergrund zur Verarbeitungskette finden Sie in Wie Sprach-KI funktioniert: STT, LLM und TTS.

Wie RAG in einem Anruf funktioniert

Wenn Anrufende eine Frage stellen, tut ein Sprachagent mit RAG typischerweise Folgendes:

Der Abrufpfad

  1. ZuhörenDie Spracherkennung wandelt die Worte der Anrufenden in Text um.
  2. SuchenDas System durchsucht Ihre Inhalte nach Passagen zur Frage.
  3. AuswählenEs behält die wenigen relevantesten Passagen und verwirft den Rest.
  4. VerfassenDas Sprachmodell schreibt anhand von Frage und Passagen eine kurze Antwort.
  5. SprechenText-to-Speech liest die Antwort vor.

Warum dem Modell nicht alles geben?

Sie könnten versuchen, alle Inhalte in die Anweisungen einzufügen. Doch der Arbeitsraum des Modells ist begrenzt, lange Anweisungen verlangsamen Antworten, und ein großer Textberg macht es dem Modell leichter, die eine entscheidende Zeile zu übersehen. Der Abruf hält die Arbeitsmenge klein und relevant.

Was „Suche“ bedeutet

Die Suche kann stichwortbasiert sein, bedeutungsbasiert (Passagen mit ähnlicher Bedeutung finden, auch wenn die Wörter abweichen) oder eine Mischung. Bedeutungsbasierte Suche hilft bei Anrufenden, die eine Frage unerwartet formulieren, etwa „Kann ich am Sonntag kommen?“, wenn Ihr Inhalt „Zeiten am Wochenende“ sagt. Welche Methode auch genutzt wird: Die Passagen sind kleine Stücke Ihrer Dokumente, daher wirkt sich die Art, wie Sie Inhalte schreiben und aufteilen, direkt darauf aus, was gefunden wird.

Inhalte wählen und aufbereiten

„Qualität rein, Qualität raus“ gilt hier besonders. Ein Sprachagent kann nur so genau sein wie das Material dahinter.

Häufige Inhaltsquellen

  • FAQ und Frage-Antwort-PaareExakte Antworten auf bestimmte Fragen; die verlässlichste Quelle für häufige Anrufe.
  • WebseitenVorhandene Seiten zu Leistungen, Zeiten und Richtlinien, einmal eingelesen oder über eine Website hinweg durchsucht.
  • DokumentePDFs und Textverarbeitungsdateien mit Preislisten, Speisekarten oder Verfahren, sofern der Text markierbar ist.
  • FreitextNotizen für Regeln, die sonst nirgends passen, etwa der Umgang mit einem Feiertag.
  • Korrekturen aus echten AnrufenAntworten, die eine Person nach dem Anhören eines Anrufs korrigiert hat.

Fürs Ohr schreiben

Für das Lesen geschriebene Inhalte klingen gesprochen oft seltsam. Tabellen, lange Listen und Abkürzungen funktionieren laut nicht. Schreiben Sie wichtige Antworten in schlichten Sätzen um, mit einer Tatsache je Satz, und legen Sie fest, wie Zahlen und Zeiten gesprochen werden. Halten Sie jede Passage in sich abgeschlossen, damit sie auch ohne die Seite drumherum Sinn ergibt.

Widersprüche entfernen

Sagt eine Seite, Sie schließen um fünf, und eine andere, um sechs, nennt der Agent zufällig eines von beiden. Suchen Sie vor dem Import alte Seiten, Entwürfe und doppelte Dateien und aktualisieren oder löschen Sie sie. Versehen Sie Richtlinien mit Daten, damit die neueste gilt.

Festlegen, was tabu ist

Sagen Sie dem Agenten, was er nicht beantworten soll: rechtliche, medizinische oder finanzielle Beratung, alles zum Konto einer bestimmten Person oder Themen, die Sie nur menschlich behandeln. Die richtige Reaktion ist eine höfliche Übergabe. Siehe Leitplanken für KI-Sprachagenten.

Wo RAG schiefgeht

RAG verringert Halluzinationen, beseitigt sie aber nicht. Typische Fehler sind:

Fehlerarten

Was geschiehtAbhilfe
Nichts Relevantes gefundenDer Agent improvisiert aus Allgemeinwissen.Ihm vorgeben, zu sagen, dass er es nicht weiß, und eine Person anzubieten; fehlende Inhalte ergänzen.
Falsche Passage gefundenEine ähnlich klingende Regelung für eine andere Leistung wird genutzt.Passagen mit klaren Titeln umschreiben; ähnliche Themen trennen.
Veraltete InhalteDer Agent nennt die Zeiten vom Vorjahr.Jeder Quelle eine verantwortliche Person und ein Prüfdatum geben.
Zu lange AbrufeZu viel Text verlangsamt die Antwort und verwirrt sie.Kürzere, fokussierte Passagen nutzen.
Falsch verstandene FrageFehler der Spracherkennung führen zu einer falschen Suche.Mit verrauschtem Ton und Akzenten testen; wichtige Angaben bestätigen.

Mehr dazu, wie Sie erfundene Antworten verhindern, lesen Sie in Erfundene Antworten bei Sprach-KI verhindern. Damit der Agent Live-Fakten wie den Status einer Bestellung statt statischem Text nachschlägt, siehe Einen Sprachagenten Dinge nachschlagen lassen.

Das Zeitbudget

Telefongespräche vertragen sehr wenig Verzögerung. Jeder zusätzliche Schritt, etwa das Suchen, kostet Zeit. Halten Sie Quellen aufgeräumt und klein, rufen Sie nicht mehr Passagen ab, als die Antwort braucht, und testen Sie Antwortzeiten in echten Anrufen statt auf einem Laptop. Latenz bei Sprach-KI erklärt, wie Verzögerungen wahrgenommen werden und woher sie kommen.

Aktuell halten

Zeiten, Preise und Richtlinien ändern sich schneller, als jemand daran denkt, die Wissensbasis zu bearbeiten. Legen Sie eine wiederkehrende Erinnerung in einen gemeinsamen Kalender: Vor jeder Saison, jedem Feiertag oder jeder Preisänderung prüft die verantwortliche Person die Quellen und indiziert sie neu. Rufen Sie den Agenten nach einer Änderung selbst an und fragen Sie nach dem, was sich geändert hat. Eine Prüfung von dreißig Sekunden verhindert einen Tag falscher Antworten.

Vor und nach dem Start testen

Erstellen Sie eine Liste von Fragen in drei Gruppen: Fragen, die der Inhalt klar beantwortet, Fragen, die er teilweise beantwortet, und Fragen, die er nicht abdeckt. Halten Sie für jede fest, was der Agent sagt. Prüfen Sie, dass es stimmt, kurz genug ist, um es zu sprechen, und dass er bei der dritten Gruppe zugibt, es nicht zu wissen. Führen Sie die Liste erneut durch, wann immer sich der Inhalt ändert.

Eine Testroutine

  • Stellen Sie jede häufige Frage in zwei oder drei verschiedenen Formulierungen.
  • Stellen Sie dieselben Fragen mit verrauschter Leitung oder starkem Akzent.
  • Fragen Sie nach etwas, das der Inhalt nicht enthält.
  • Stellen Sie eine Frage mit Falle, etwa einem alten Preis oder einem geschlossenen Tag.
  • Achten Sie auf Antworten, die zu lang sind, um ihnen nach Gehör zu folgen.
  • Prüfen Sie im ersten Monat wöchentlich echte Anruftranskripte.

Korrekturen, die halten

Findet ein Mensch eine falsche Antwort, genügt es nicht, das Transkript zu berichtigen; die Korrektur sollte in die Wissensbasis zurückfließen, damit der Agent beim nächsten Mal richtig antwortet. Legen Sie fest, wer diese Änderung vornehmen darf, und führen Sie einen Änderungsverlauf.

Umsetzung in Call

In Call gehört Wissen zu einem KI-Agenten und wird unter „Quellen“ hinzugefügt:

Der Speicher wird in der gesamten Organisation geteilt, mit Grenzen je Quelle, und nur Manager des Arbeitsbereichs können Quellen hinzufügen, ändern oder löschen. Ein Banner zeigt, wenn Live-Anrufe die Wissensbasis noch nicht nutzen. Im Anrufverlauf können Sie eine vom Agenten gegebene Antwort korrigieren und sie auf Wunsch als richtige Antwort für das nächste Mal speichern. Beginnen Sie mit Wissensquellen in Call nutzen und Eine Wissensbasis für Support und KI aufbauen.

Häufig gestellte Fragen

Ist RAG dasselbe wie ein Modell mit meinen Daten zu trainieren?

Nein. Training verändert das Modell selbst. RAG lässt das Modell unverändert und gibt ihm im Moment der Frage relevante Passagen aus Ihren Inhalten, was leichter zu aktualisieren und zu prüfen ist.

Verhindert RAG, dass ein Sprachagent sich etwas ausdenkt?

Es verringert das Problem, beseitigt es aber nicht. Der Agent kann eine Passage immer noch falsch lesen oder eine Frage beantworten, die Ihr Inhalt nicht abdeckt. Klare Anweisungen, gute Inhalte und regelmäßige Tests halten Fehler gering.

Wie viele Inhalte brauche ich?

Weniger, als die meisten erwarten. Einige Dutzend genaue Frage-Antwort-Paare, die Ihre häufigsten Anrufe abdecken, übertreffen oft ein großes ungeprüftes Archiv. Ergänzen Sie mehr, wenn echte Anrufe Lücken zeigen.

Kann der Agent Inhalte aus PDFs nutzen?

Meist ja, wenn das PDF markierbaren Text hat. Gescannte reine Bild-PDFs brauchen zuerst Texterkennung. Prüfen Sie, was das System extrahiert hat, denn Tabellen und Spalten können durcheinandergeraten.

Wie oft sollte ich die Wissensbasis aktualisieren?

Immer wenn sich Fakten ändern, und an einem regelmäßigen Prüfdatum für alles andere. Geben Sie jeder Quelle eine verantwortliche Person, damit Aktualisierungen nicht dem Zufall überlassen bleiben.

Fügen Sie Ihrem KI-Agenten in Call Wissensquellen hinzu und prüfen Sie seine Antworten

In der Demo-Konsole können Sie eingehende Anrufe in einer Simulation ausprobieren.

Verwandte Ratgeber