Spraak-AI-technologie

Speech-to-speechmodellen en gekoppelde spraakketens vergeleken

Twee manieren om een telefonische spraakagent te bouwen: speech-to-speechmodellen en gekoppelde ketens. Waar elk sterk en zwak in is, en hoe u kiest door te testen.

Redactie van Call · Gepubliceerd · 6 min leestijd

Hoort u een spraakagent praten, dan zit daar meestal een van twee ontwerpen achter. In het eerste zet software de spraak van de beller om in tekst, schrijft een taalmodel een antwoord in tekst en leest een stemengine dat voor. In het tweede luistert één model naar audio en antwoordt het in audio. Leveranciers twisten over wat beter is. Het eerlijke antwoord is dat elk iets inlevert.

Engineers die op een laptopscherm audiogolfvormen vergelijken
Illustratieve afbeelding

Deze gids vergelijkt de twee in gewone taal, zodat u betere vragen kunt stellen bij het kiezen van een platform. Voor een bredere introductie, begin met Hoe voice-AI werkt tijdens een telefoongesprek.

De gekoppelde keten

Een gekoppelde keten, soms ook spraak-naar-tekst, dan model, dan tekst-naar-spraak genoemd, is al jaren de standaardaanpak. Elke fase is een apart onderdeel, en tussen de onderdelen gaat tekst heen en weer.

Gekoppelde keten

  1. SpraakherkenningZet de audio van de beller om in tekst.
  2. TaalmodelLeest de tekst, met instructies en bronnen, en schrijft een antwoord.
  3. SpraaksyntheseZet de antwoordtekst om in gesproken audio.
  4. TelefonieBrengt de audio van en naar de beller.

Omdat het midden van het systeem gewone tekst is, kunt u die lezen, doorzoeken, opslaan, aan regels toetsen en elke fase vervangen. U kunt een herkenner inzetten die beter overweg kan met de accenten van uw bellers of een stem die bij uw merk past.

De speech-to-speechaanpak

Een speech-to-speechmodel, ook wel end-to-end- of native audiomodel genoemd, verwerkt audio rechtstreeks. Het luistert naar het geluid zelf en genereert geluid als uitvoer, al produceren veel van zulke systemen ook tekst voor de logging.

Speech-to-speech

  1. Audio erinDe stem van de beller gaat rechtstreeks naar het model.
  2. Eén modelHet interpreteert betekenis, toon en timing en plant een antwoord.
  3. Audio eruitHet genereert het gesproken antwoord direct.
  4. TelefonieDe audio gaat van en naar de beller.

De aantrekkingskracht is dat er tussen fasen niets verloren gaat. Een pauze, een lach, aarzeling of een zucht kan het antwoord beïnvloeden, en het model kan eerder beginnen met praten omdat het niet op drie aparte stappen hoeft te wachten.

Naast elkaar

Gekoppeld versus speech-to-speech

GekoppeldSpeech-to-speech
NatuurlijkheidHangt af van elke fase; kan stapsgewijs aanvoelenVaak vloeiender, met behoud van timing en toon
ReactietijdSom van drie fasen, die af te stellen zijnMogelijk korter, door minder overdrachten
ControleHoog: regels toe te passen op tekst in elke stapLager: moeilijker te zien wat er binnenin gebeurt
Transcripties en logsKomen vanzelf meeMeestal apart gegenereerd en kunnen afwijken van wat er is gezegd
Onderdelen vervangenMakkelijk: alleen de herkenner of de stem wisselenBeperkt tot wat het model biedt
Keuze in stemmenRuime keuze aan stemmenVaak een kleinere set
VolwassenheidLange staat van dienstNieuwer, verandert snel

Wees voorzichtig met elke claim van absolute superioriteit. De kwaliteit verschilt per product binnen elke categorie, en resultaten van een schone demo houden misschien geen stand bij een rumoerig mobiel gesprek.

Wat ertoe doet bij telefoongesprekken

Telefoonaudio is smal en ruisig

Telefoonaudio is gecomprimeerd en vaak ruisig. Welk ontwerp u ook kiest, controleer hoe het presteert op echte telefoonaudio en niet alleen op studio-opnames. Waarom telefoonaudio lastig is voor spraakherkenning legt het effect uit.

Controle en controleerbaarheid

Moet u kunnen aantonen wat een agent zei en waarom, dan helpt tekst in elke fase. Een gekoppeld ontwerp laat u een controle toepassen tussen het antwoord van het model en de stem. Bij een end-to-endmodel bent u meer afhankelijk van de controles van de leverancier en van testen. Lees Vangrails voor voice-AI-agents en bepaal wat u moet afdwingen.

Onderbrekingen en timing

Native audiomodellen gaan vaak vloeiender om met overlap en onderbrekingen, omdat ze de beller continu horen. Gekoppelde systemen vertrouwen op detectie van spraak en stilte om te bepalen wanneer ze stoppen en beginnen; zie Spraakactiviteitsdetectie en Beurtwisseling bij spraakagents. Betere techniek kan het verschil verkleinen, en het verschil blijft mogelijk veranderen.

Talen en accenten

Controleer de talen en accenten die voor u belangrijk zijn door te testen, in plaats van een lijst in een brochure te accepteren. Een model dat sterk is in de ene taal, kan zwakker zijn in een andere, en hetzelfde geldt voor de afzonderlijke fasen in een keten.

Kiezen voor uw situatie

Een paar denkbeeldige scenario's laten zien hoe prioriteiten verschillende kanten op trekken.

Vragen aan een leverancier

  • Welke fasen gebruikt het systeem, en kan ik die wijzigen?
  • Krijg ik een transcriptie van elk gesprek, en is dat wat het model hoorde?
  • Hoe worden regels en grenzen afgedwongen?
  • Hoe gedraagt het zich op mobiele en ruisige lijnen?
  • Wat zijn gebruikelijke reactietijden bij echte telefoongesprekken?
  • Hoe wordt omgegaan met onderbrekingen?
  • Wat gebeurt er daarna met de audio en de tekst?

Waar de grens vervaagt

De twee categorieën zijn minder scherp dan de marketing doet vermoeden. Veel speech-to-speechproducten produceren naast de audio ook een transcriptie, en veel gekoppelde producten streamen tussenresultaten tussen fasen, zodat de spraak begint voordat het model klaar is met schrijven. Sommige systemen gebruiken een native audiomodel voor het gesprek en een tekststap voor opzoekingen of regelcontroles. Zegt een leverancier dat zijn product end-to-end is, vraag dan wat er precies end-to-end is, en waar er nog tekst opduikt.

Dat doet ertoe omdat de praktische vragen niet veranderen. Waar kunt u lezen wat er is gezegd? Waar kan een regel worden afgedwongen? Hoe wordt een fout antwoord onderschept? Een hybride die u een betrouwbare transcriptie en een natuurlijke stem geeft, kan de verstandige middenweg zijn, mits u beide delen kunt controleren.

Eerlijk testen

Vergelijkingen zijn per ongeluk makkelijk scheef te trekken. Gebruik voor elke kandidaat hetzelfde script, hetzelfde type telefoonlijn en hetzelfde achtergrondgeluid. Test vanaf een mobiele telefoon in een auto of op straat, niet alleen vanuit een stille kamer. Neem de lastige momenten op die echte bellers veroorzaken: een correctie midden in een zin, een gespelde naam, een vraag buiten de reikwijdte en een verzoek om een mens.

Beoordeel elk gesprek op een paar eenvoudige punten: was het antwoord juist, wachtte de agent op de beller, hoe lang was de pauze vóór elk antwoord en hoe eindigde het gesprek. Een bescheiden aantal consequent beoordeelde gesprekken vertelt u meer dan een gelikte demo.

Hoe Call hiermee omgaat

De praktische les is dat de architectuur minder uitmaakt dan het gedrag in uw gesprekken. In Call begint een AI-agent te spreken zodra het eerste deel van zijn antwoord klaar is, bereidt hij bij uitgaande gesprekken begroetingen vooraf voor en houdt hij antwoorden kort. U stelt de stem en de transcriptie-opties in, test door uw eigen telefoon te laten overgaan en leest het gesprek daarna terug in de gespreksgeschiedenis. Welke technologie er ook onder zit, houd haar aan dezelfde maatstaf: antwoordt ze nauwkeurig, draagt ze beleefd over en klinkt ze acceptabel voor uw bellers? De meetwaarden in De gesprekken van een spraakagent evalueren gelden voor beide.

Veelgestelde vragen

Wat is een speech-to-speechmodel?

Het is een model dat gesproken audio als invoer neemt en gesproken audio als uitvoer produceert, zonder aparte tekstfase tussen herkenning en spraak.

Wat is een gekoppelde spraakketen?

Het is een reeks van spraakherkenning, een taalmodel en spraaksynthese, waarbij tussen de fasen tekst wordt doorgegeven.

Welke is natuurlijker?

Speech-to-speechsystemen worden vaak als vloeiender omschreven, maar de kwaliteit verschilt per product. Oordeel door te luisteren naar gesprekken die op de uwe lijken.

Welke is makkelijker te controleren?

Gekoppelde ketens produceren in elke stap tekst, dus logs, controles en regels zijn eenvoudiger. Zoek bij end-to-endmodellen uit wat de leverancier vastlegt en hoe betrouwbaar dat is.

Kan ik beide benaderingen combineren?

Sommige platforms combineren ze, bijvoorbeeld door voor bepaalde gesprekken een gekoppeld ontwerp te gebruiken. Vraag hoe een systeem transcripties en regels afhandelt in de modus die het gebruikt.

Heeft de keuze invloed op de kosten?

Dat kan, maar prijzen en modellen veranderen, dus vraag de leverancier naar de actuele voorwaarden en vergelijk die met gemeten resultaten in plaats van met opvallende claims.

Test met Call een AI-agent op uw eigen telefoonlijn

In de democonsole probeert u inkomende gesprekken uit in een simulatie.

Gerelateerde gidsen