Hoe spraak-AI werkt: spraakherkenning, LLM en tekst-naar-spraak
Een heldere uitleg van de techniek achter AI-telefoonagenten: spraak-naar-tekst, een taalmodel en tekst-naar-spraak, plus beurtwisseling, vertraging en overdracht.
Een telefoongesprek met een AI-agent kan als magie of als een puzzel aanvoelen, afhankelijk van of het werkt. Erachter zit een vrij eenvoudig idee: zet de stem van de beller om in tekst, laat een taalmodel bepalen wat te zeggen en zet het antwoord terug om in spraak, alles snel genoeg om als een gesprek aan te voelen. Deze gids legt elke fase uit, waar het misgaat en wat dat betekent voor hoe u een agent instelt. Begin voor het grotere plaatje met Wat is AI-telefonist?.

De basislus van een spraak-AI-gesprek
- LuisterenAudio van de beller wordt opgevangen en opgeschoond.
- TranscriberenSpraak-naar-tekst zet de audio om in woorden.
- BeslissenEen taalmodel kiest wat het hierna zegt of doet.
- SprekenTekst-naar-spraak zet het antwoord om in audio.
- HerhalenDe lus draait voor elke beurt totdat het gesprek eindigt of wordt overgedragen.
Fase een: spraak-naar-tekst
Spraakherkenning zet geluid om in woorden. Op een telefoonlijn is de audio smalbandig en gecomprimeerd, wat het moeilijker maakt dan een studio-opname. Accenten, achtergrondgeluid, door elkaar praten en ongebruikelijke namen beïnvloeden allemaal de nauwkeurigheid. Moderne systemen kunnen het goed doen bij alledaagse spraak, maar cijfers, spellingen, namen en vakwoorden zoals medicijnen of straatnamen zijn veelvoorkomende zwakke punten.
- Streaming-herkenning produceert woorden terwijl de beller nog spreekt, wat tijd bespaart.
- Herkenners hebben vaak hints nodig, zoals een lijst met product- of plaatsnamen, om beter te presteren.
- Zekerheid van het systeem is geen zekerheid van de uitkomst; een systeem kan zelfverzekerd ongelijk hebben.
- Luisteren naar het einde van een beurt is een andere taak dan woorden herkennen.
Meer details staan in spraakherkenning voor telefoongesprekken, omgaan met nummers en namen en accenten en dialecten.
Fase twee: het taalmodel
Een groot taalmodel leest de transcriptie tot nu toe, samen met de instructies die u schreef en alle informatie die u aanleverde, en produceert dan het volgende antwoord. Het zoekt niets zelf op; het vertrouwt op wat het kreeg. Daarom zijn de prompt en de kennisbank zo belangrijk. Het model kan vloeiend klinken terwijl het ongelijk heeft, en daarom zijn vangrails en testen essentieel.
Wat het antwoord van het model bepaalt
- InstructiesDe rol, toon, regels en grenzen die u het geeft.
- KennisDocumenten, vragen en antwoorden en feiten waaruit het mag putten.
- Gesprek tot nu toeWat er in dit gesprek is gezegd.
- HulpmiddelenActies die het mag uitvoeren, zoals een bestelling opzoeken of een bericht noteren.
Gidsen zoals een telefoonagent aansturen met prompts, RAG voor spraakagenten, hallucinaties en vangrails gaan dieper in. Een prompt die zegt wat te doen bij onzekerheid, bijvoorbeeld een persoon aanbieden of een bericht aannemen, voorkomt veel problemen.
Fase drie: tekst-naar-spraak
Tekst-naar-spraak zet het antwoord om in audio. Stemmen verschillen in helderheid, warmte en hoe ze omgaan met pauzes, cijfers en namen in uw taal. Sommige kunnen worden afgestemd of aangepast met een uitspraakwoordenboek. Kies een stem om de helderheid op een telefoonlijn, niet om de noviteit, en test hem met de zinnen die hij werkelijk gaat zeggen. Zie tekst-naar-spraak in het Japans voor een voorbeeld van taalspecifieke kwesties en stemklonen voor toestemming en risico bij een eigen stem.
Waarom timing de ervaring bepaalt
Menselijke gesprekken kennen snelle beurten. Een pauze van meer dan een seconde of zo voelt vreemd. In een pijplijn met drie fasen voegt elke stap vertraging toe en het model heeft mogelijk tijd nodig om na te denken. Ontwerpers verminderen vertraging door te streamen: beginnen met spreken voordat het hele antwoord klaar is en beginnen met transcriberen voordat de beller stopt. Ze stemmen ook af wanneer wordt besloten dat de beller klaar is.
Pijplijn versus spraak-naar-spraak
| Pijplijn met drie fasen | Spraak-naar-spraak-model | |
|---|---|---|
| Hoe het werkt | Aparte herkenning, model en stem | Eén model verwerkt audio in en uit |
| Controle | Elke fase kan worden afgestemd of vervangen | Minder zichtbaar, meer geïntegreerd |
| Vertraging | Telt op over de fasen | Kan lager zijn |
| Transcriptie | Tekst beschikbaar bij elke stap | Heeft mogelijk extra werk nodig om tekst te produceren |
| Volwassenheid | Breed gebruikt | Nieuwer, verandert snel |
Spraak-naar-spraak-modellen zijn een nieuwere aanpak. Hoe dan ook bepalen latentie, onderbrekingen en beurtwisseling of de agent natuurlijk aanvoelt.
Onderbrekingen
Mensen onderbreken. Een goede agent stopt met praten wanneer de beller begint en neemt een hoest of een stem op de achtergrond niet voor een onderbreking aan. Dit hangt af van het detecteren van spraak, behandeld in spraakactiviteitsdetectie. Slecht afgestelde systemen praten ofwel over bellers heen of wachten te lang.
Hulpmiddelen, kennis en acties
Een spraakagent wordt nuttig wanneer hij meer kan dan kletsen. Met gekoppelde hulpmiddelen kan hij informatie opzoeken, een bericht vastleggen, een terugbelverzoek noteren of het gesprek aan een persoon doorgeven. Elk hulpmiddel moet een beperkt doel en duidelijke regels hebben. Een agent kan een verzoek om een afspraak aannemen; het bevestigen is iets anders, en veel bedrijven laten dat liever door een persoon doen. Function calling legt uit hoe hulpmiddelen aan het model worden beschreven.
Wat er met de audio en de tekst gebeurt
Elke fase verwerkt persoonsgegevens. De audio bevat een stem; de transcriptie bevat wat er werd gezegd, vaak inclusief namen, adressen en redenen om te bellen. Zoek voordat u uitrolt uit waar elke fase draait, wat er wordt opgeslagen, hoe lang en wie het kan lezen. Beslis of gevoelige gegevens, zoals betalings- of gezondheidsinformatie, door de agent mogen worden verzameld of aan een persoon moeten worden doorgegeven. Spraak-AI ontwerpen met privacy in gedachten behandelt dit uitgebreider.
Houd de taak van de agent beperkt. Een agent die veelgestelde vragen beantwoordt, een bericht aanneemt en overdraagt, is gemakkelijker te testen, gemakkelijker uit te leggen aan bellers en gemakkelijker binnen uw privacybeloften te houden dan een agent die alles probeert te doen.
Wat u in de praktijk kunt verwachten
Verwacht een goed resultaat bij eenvoudige, voorspelbare gesprekken: openingstijden, routebeschrijvingen, basisvragen, een bericht aannemen. Verwacht meer moeite bij lange, emotionele of dubbelzinnige gesprekken, sterke accenten, slechte lijnen en verzoeken die beoordelingsvermogen vragen. Een verstandige uitrol begint met een kleine set gesprekstypen, luistert eerst naar elk gesprek en breidt uit naarmate het vertrouwen groeit. De zin om te onthouden is dat de agent is ontworpen om te helpen met afgebakende taken, niet om beoordelingsvermogen te vervangen.
Waar het misgaat
- Verkeerd verstane woorden of cijfers leiden tot verkeerde antwoorden.
- Het model verzint een antwoord in plaats van toe te geven dat het het niet weet.
- Vertragingen laten bellers zichzelf herhalen of ophangen.
- Achtergrondgeluid of kruisspraak wordt voor spraak aangezien.
- De beller wil iets buiten het bereik van de agent en kan er niet uit.
Ontwerp hiervoor. Maak het gemakkelijk om een persoon te bereiken, houd antwoorden kort, bevestig belangrijke details zoals cijfers en data en bekijk regelmatig echte gesprekken. Een spraakagent testen en evaluatiemaatstaven leggen uit hoe.
Zo doet u het in Call
In Call wordt een AI-agent opgebouwd uit een persona en prompt, een stem, een taal en kennisbronnen, en daarna op het scherm en per telefoon getest voordat hij voor een lijn wordt ingeschakeld. Met Call kiest u uit stemmen, stemt u de uitspraak af met een woordenboek, past u aan hoe de spraak wordt herkend en houdt u bronnen actueel. De agent is ontworpen om bellers door te verbinden met een persoon als daarom wordt gevraagd, en hij kan een bericht aannemen. Totdat u een agent voor een lijn inschakelt, gaan gesprekken over bij uw team. Test altijd eerst met uw eigen gesprekken. Een AI-agent instellen in Call leidt u door de stappen.
Veelgestelde vragen
Wat zijn de drie onderdelen van een spraak-AI-agent?
Spraak-naar-tekst om de beller te horen, een taalmodel om te bepalen wat er gezegd wordt en tekst-naar-spraak om het antwoord uit te spreken. Sommige nieuwere systemen combineren deze.
Waarom pauzeert de AI soms voordat hij antwoordt?
Elke stap kost tijd, en het systeem moet vaststellen dat de beller is uitgesproken. Streaming en afstemming kunnen de pauze verkorten, maar niet wegnemen.
Kan de AI dingen verzinnen?
Ja. Een taalmodel kan aannemelijke maar onjuiste antwoorden geven. Geef het goede kennis, duidelijke grenzen en de instructie om een persoon aan te bieden bij twijfel.
Kan een spraakagent afspraken maken?
Hij kan een verzoek aannemen en doorgeven. Veel bedrijven laten liever een persoon bevestigen, dus bepaal wat de agent mag beloven.
Moeten bellers horen dat het een AI is?
Op veel plaatsen verwachten mensen dat te weten of hebben ze daar recht op. Zeg het duidelijk aan het begin van het gesprek en controleer de regels die voor u gelden.
Hoe controleer ik dat het werkt?
Test met echte gesprekken met verschillende accenten en geluidsniveaus, luister naar de resultaten en houd een lijst bij met vragen die u na elke wijziging opnieuw stelt.