Spraak-AI-technologie

Hoe spraak-AI werkt: spraakherkenning, LLM en tekst-naar-spraak

Een heldere uitleg van de techniek achter AI-telefoonagenten: spraak-naar-tekst, een taalmodel en tekst-naar-spraak, plus beurtwisseling, vertraging en overdracht.

Redactie van Call · Gepubliceerd · 6 min leestijd

Een telefoongesprek met een AI-agent kan als magie of als een puzzel aanvoelen, afhankelijk van of het werkt. Erachter zit een vrij eenvoudig idee: zet de stem van de beller om in tekst, laat een taalmodel bepalen wat te zeggen en zet het antwoord terug om in spraak, alles snel genoeg om als een gesprek aan te voelen. Deze gids legt elke fase uit, waar het misgaat en wat dat betekent voor hoe u een agent instelt. Begin voor het grotere plaatje met Wat is AI-telefonist?.

Een telefoon naast een schema van geluidsgolven die in tekst en weer in spraak veranderen
Illustratieve afbeelding

De basislus van een spraak-AI-gesprek

  1. LuisterenAudio van de beller wordt opgevangen en opgeschoond.
  2. TranscriberenSpraak-naar-tekst zet de audio om in woorden.
  3. BeslissenEen taalmodel kiest wat het hierna zegt of doet.
  4. SprekenTekst-naar-spraak zet het antwoord om in audio.
  5. HerhalenDe lus draait voor elke beurt totdat het gesprek eindigt of wordt overgedragen.

Fase een: spraak-naar-tekst

Spraakherkenning zet geluid om in woorden. Op een telefoonlijn is de audio smalbandig en gecomprimeerd, wat het moeilijker maakt dan een studio-opname. Accenten, achtergrondgeluid, door elkaar praten en ongebruikelijke namen beïnvloeden allemaal de nauwkeurigheid. Moderne systemen kunnen het goed doen bij alledaagse spraak, maar cijfers, spellingen, namen en vakwoorden zoals medicijnen of straatnamen zijn veelvoorkomende zwakke punten.

Meer details staan in spraakherkenning voor telefoongesprekken, omgaan met nummers en namen en accenten en dialecten.

Fase twee: het taalmodel

Een groot taalmodel leest de transcriptie tot nu toe, samen met de instructies die u schreef en alle informatie die u aanleverde, en produceert dan het volgende antwoord. Het zoekt niets zelf op; het vertrouwt op wat het kreeg. Daarom zijn de prompt en de kennisbank zo belangrijk. Het model kan vloeiend klinken terwijl het ongelijk heeft, en daarom zijn vangrails en testen essentieel.

Wat het antwoord van het model bepaalt

  • InstructiesDe rol, toon, regels en grenzen die u het geeft.
  • KennisDocumenten, vragen en antwoorden en feiten waaruit het mag putten.
  • Gesprek tot nu toeWat er in dit gesprek is gezegd.
  • HulpmiddelenActies die het mag uitvoeren, zoals een bestelling opzoeken of een bericht noteren.

Gidsen zoals een telefoonagent aansturen met prompts, RAG voor spraakagenten, hallucinaties en vangrails gaan dieper in. Een prompt die zegt wat te doen bij onzekerheid, bijvoorbeeld een persoon aanbieden of een bericht aannemen, voorkomt veel problemen.

Fase drie: tekst-naar-spraak

Tekst-naar-spraak zet het antwoord om in audio. Stemmen verschillen in helderheid, warmte en hoe ze omgaan met pauzes, cijfers en namen in uw taal. Sommige kunnen worden afgestemd of aangepast met een uitspraakwoordenboek. Kies een stem om de helderheid op een telefoonlijn, niet om de noviteit, en test hem met de zinnen die hij werkelijk gaat zeggen. Zie tekst-naar-spraak in het Japans voor een voorbeeld van taalspecifieke kwesties en stemklonen voor toestemming en risico bij een eigen stem.

Waarom timing de ervaring bepaalt

Menselijke gesprekken kennen snelle beurten. Een pauze van meer dan een seconde of zo voelt vreemd. In een pijplijn met drie fasen voegt elke stap vertraging toe en het model heeft mogelijk tijd nodig om na te denken. Ontwerpers verminderen vertraging door te streamen: beginnen met spreken voordat het hele antwoord klaar is en beginnen met transcriberen voordat de beller stopt. Ze stemmen ook af wanneer wordt besloten dat de beller klaar is.

Pijplijn versus spraak-naar-spraak

Pijplijn met drie fasenSpraak-naar-spraak-model
Hoe het werktAparte herkenning, model en stemEén model verwerkt audio in en uit
ControleElke fase kan worden afgestemd of vervangenMinder zichtbaar, meer geïntegreerd
VertragingTelt op over de fasenKan lager zijn
TranscriptieTekst beschikbaar bij elke stapHeeft mogelijk extra werk nodig om tekst te produceren
VolwassenheidBreed gebruiktNieuwer, verandert snel

Spraak-naar-spraak-modellen zijn een nieuwere aanpak. Hoe dan ook bepalen latentie, onderbrekingen en beurtwisseling of de agent natuurlijk aanvoelt.

Onderbrekingen

Mensen onderbreken. Een goede agent stopt met praten wanneer de beller begint en neemt een hoest of een stem op de achtergrond niet voor een onderbreking aan. Dit hangt af van het detecteren van spraak, behandeld in spraakactiviteitsdetectie. Slecht afgestelde systemen praten ofwel over bellers heen of wachten te lang.

Hulpmiddelen, kennis en acties

Een spraakagent wordt nuttig wanneer hij meer kan dan kletsen. Met gekoppelde hulpmiddelen kan hij informatie opzoeken, een bericht vastleggen, een terugbelverzoek noteren of het gesprek aan een persoon doorgeven. Elk hulpmiddel moet een beperkt doel en duidelijke regels hebben. Een agent kan een verzoek om een afspraak aannemen; het bevestigen is iets anders, en veel bedrijven laten dat liever door een persoon doen. Function calling legt uit hoe hulpmiddelen aan het model worden beschreven.

Wat er met de audio en de tekst gebeurt

Elke fase verwerkt persoonsgegevens. De audio bevat een stem; de transcriptie bevat wat er werd gezegd, vaak inclusief namen, adressen en redenen om te bellen. Zoek voordat u uitrolt uit waar elke fase draait, wat er wordt opgeslagen, hoe lang en wie het kan lezen. Beslis of gevoelige gegevens, zoals betalings- of gezondheidsinformatie, door de agent mogen worden verzameld of aan een persoon moeten worden doorgegeven. Spraak-AI ontwerpen met privacy in gedachten behandelt dit uitgebreider.

Houd de taak van de agent beperkt. Een agent die veelgestelde vragen beantwoordt, een bericht aanneemt en overdraagt, is gemakkelijker te testen, gemakkelijker uit te leggen aan bellers en gemakkelijker binnen uw privacybeloften te houden dan een agent die alles probeert te doen.

Wat u in de praktijk kunt verwachten

Verwacht een goed resultaat bij eenvoudige, voorspelbare gesprekken: openingstijden, routebeschrijvingen, basisvragen, een bericht aannemen. Verwacht meer moeite bij lange, emotionele of dubbelzinnige gesprekken, sterke accenten, slechte lijnen en verzoeken die beoordelingsvermogen vragen. Een verstandige uitrol begint met een kleine set gesprekstypen, luistert eerst naar elk gesprek en breidt uit naarmate het vertrouwen groeit. De zin om te onthouden is dat de agent is ontworpen om te helpen met afgebakende taken, niet om beoordelingsvermogen te vervangen.

Waar het misgaat

Ontwerp hiervoor. Maak het gemakkelijk om een persoon te bereiken, houd antwoorden kort, bevestig belangrijke details zoals cijfers en data en bekijk regelmatig echte gesprekken. Een spraakagent testen en evaluatiemaatstaven leggen uit hoe.

Zo doet u het in Call

In Call wordt een AI-agent opgebouwd uit een persona en prompt, een stem, een taal en kennisbronnen, en daarna op het scherm en per telefoon getest voordat hij voor een lijn wordt ingeschakeld. Met Call kiest u uit stemmen, stemt u de uitspraak af met een woordenboek, past u aan hoe de spraak wordt herkend en houdt u bronnen actueel. De agent is ontworpen om bellers door te verbinden met een persoon als daarom wordt gevraagd, en hij kan een bericht aannemen. Totdat u een agent voor een lijn inschakelt, gaan gesprekken over bij uw team. Test altijd eerst met uw eigen gesprekken. Een AI-agent instellen in Call leidt u door de stappen.

Veelgestelde vragen

Wat zijn de drie onderdelen van een spraak-AI-agent?

Spraak-naar-tekst om de beller te horen, een taalmodel om te bepalen wat er gezegd wordt en tekst-naar-spraak om het antwoord uit te spreken. Sommige nieuwere systemen combineren deze.

Waarom pauzeert de AI soms voordat hij antwoordt?

Elke stap kost tijd, en het systeem moet vaststellen dat de beller is uitgesproken. Streaming en afstemming kunnen de pauze verkorten, maar niet wegnemen.

Kan de AI dingen verzinnen?

Ja. Een taalmodel kan aannemelijke maar onjuiste antwoorden geven. Geef het goede kennis, duidelijke grenzen en de instructie om een persoon aan te bieden bij twijfel.

Kan een spraakagent afspraken maken?

Hij kan een verzoek aannemen en doorgeven. Veel bedrijven laten liever een persoon bevestigen, dus bepaal wat de agent mag beloven.

Moeten bellers horen dat het een AI is?

Op veel plaatsen verwachten mensen dat te weten of hebben ze daar recht op. Zeg het duidelijk aan het begin van het gesprek en controleer de regels die voor u gelden.

Hoe controleer ik dat het werkt?

Test met echte gesprekken met verschillende accenten en geluidsniveaus, luister naar de resultaten en houd een lijst bij met vragen die u na elke wijziging opnieuw stelt.

Probeer een AI-spraakagent uit op uw eigen lijn in Call

In de democonsole probeert u inkomende gesprekken uit in een simulatie.

Gerelateerde gidsen