Sådan fungerer stemme-AI: talegenkendelse, LLM og tekst-til-tale
En letforståelig rundtur i pipelinen bag AI-telefonagenter: tale-til-tekst, sprogmodel, tekst-til-tale samt taleskift, forsinkelse og sikre overdragelser.
Et telefonopkald med en AI-agent kan føles som magi eller som en gåde, afhængigt af om det virker. Bag det ligger en ret enkel idé: omsæt opkalderens stemme til tekst, lad en sprogmodel afgøre, hvad der skal siges, og omsæt svaret tilbage til tale, alt sammen hurtigt nok til at føles som en samtale. Denne guide forklarer hvert trin, hvor det går galt, og hvad det betyder for, hvordan du sætter en agent op. For det bredere billede, start med Hvad er AI-telefonbetjening?.

Den grundlæggende løkke i et stemme-AI-opkald
- LytLyd fra opkalderen optages og renses.
- TransskribérTale-til-tekst omsætter lyden til ord.
- BeslutEn sprogmodel vælger, hvad der skal siges eller gøres næste gang.
- TalTekst-til-tale omsætter svaret til lyd.
- GentagLøkken kører for hver tur, til opkaldet slutter eller gives videre.
Trin et: tale-til-tekst
Talegenkendelse omsætter lyd til ord. På en telefonlinje er lyden smalbåndet og komprimeret, hvilket gør det sværere end en studieoptagelse. Accenter, baggrundsstøj, folk der taler i munden på hinanden og usædvanlige navne påvirker alle nøjagtigheden. Moderne systemer kan klare sig godt på hverdagstale, men tal, stavemåder, navne og fagord som medicin eller gadenavne er almindelige svage punkter.
- Streaming-genkendelse producerer ord, mens opkalderen stadig taler, hvilket sparer tid.
- Genkendere har ofte brug for hints, såsom en liste over produkt- eller stednavne, for at klare sig bedre.
- Sikkerhed er ikke vished; et system kan være sikkert og alligevel forkert.
- At lytte efter slutningen af en tur er et andet job end at genkende ord.
Flere detaljer findes i talegenkendelse til telefonopkald, håndtering af tal og navne og accenter og dialekter.
Trin to: sprogmodellen
En stor sprogmodel læser transskriptionen indtil nu, sammen med de instruktioner, du skrev, og de oplysninger, du leverede, og producerer så det næste svar. Den slår ikke selv ting op; den bygger på det, den har fået. Derfor betyder prompten og videnbasen så meget. Modellen kan lyde flydende og alligevel tage fejl, hvorfor værn og test er afgørende.
Hvad der former modellens svar
- InstruktionerRollen, tonen, reglerne og grænserne, du giver den.
- VidenDokumenter, spørgsmål og svar og fakta, den må trække på.
- Samtalen indtil nuHvad der er blevet sagt i dette opkald.
- VærktøjerHandlinger, den må udføre, såsom at slå en ordre op eller notere en besked.
Guides som prompt til en telefonagent, RAG til stemmeagenter, hallucinationer og værn går dybere. En prompt, der siger, hvad der skal gøres, når den er usikker, for eksempel at tilbyde et menneske eller tage en besked, forebygger mange problemer.
Trin tre: tekst-til-tale
Tekst-til-tale omsætter svaret til lyd. Stemmer varierer i klarhed, varme og i, hvordan de håndterer pauser, tal og navne på dit sprog. Nogle kan finjusteres eller justeres med en udtaleordbog. Vælg en stemme efter klarhed på en telefonlinje frem for nyhedsværdi, og test den med de faktiske vendinger, den skal sige. Se tekst-til-tale på japansk for et eksempel på sprogspecifikke problemer og stemmekloning for samtykke og risiko ved brug af en tilpasset stemme.
Hvorfor timing afgør oplevelsen
Menneskelig samtale har hurtige tur-skift. Et hul på mere end omkring et sekund føles mærkeligt. I en pipeline med tre trin lægger hvert trin forsinkelse til, og modellen kan bruge tid på at tænke. Designere mindsker forsinkelsen ved streaming: at begynde at tale, før hele svaret er klart, og at begynde at transskribere, før opkalderen stopper. De justerer også, hvornår det afgøres, at opkalderen er færdig.
Pipeline kontra tale-til-tale
| Pipeline med tre trin | Tale-til-tale-model | |
|---|---|---|
| Hvordan det fungerer | Særskilt genkendelse, model og stemme | Én model håndterer lyd ind og ud |
| Kontrol | Hvert trin kan justeres eller udskiftes | Mindre synlig, mere integreret |
| Forsinkelse | Lægges sammen på tværs af trin | Kan være lavere |
| Transskription | Tekst tilgængelig ved hvert trin | Kan kræve ekstra arbejde for at producere tekst |
| Modenhed | Udbredt | Nyere, ændrer sig hurtigt |
Tale-til-tale-modeller er en nyere tilgang. Uanset hvad afgør latenstid, afbrydelser og taleskift om agenten føles naturlig.
Afbrydelser
Folk afbryder. En god agent holder op med at tale, når opkalderen begynder, og tager ikke en hoste eller en stemme i baggrunden for en afbrydelse. Det afhænger af at registrere tale, som er gennemgået i stemmeaktivitetsregistrering. Dårligt justerede systemer enten taler henover opkaldere eller venter for længe.
Værktøjer, viden og handlinger
En stemmeagent bliver nyttig, når den kan mere end at snakke. Med tilsluttede værktøjer kan den slå oplysninger op, registrere en besked, notere en anmodning om tilbagekald eller give opkaldet videre til et menneske. Hvert værktøj bør have et snævert formål og klare regler. En agent kan tage imod en anmodning om en tid; at bekræfte den er en anden sag, og mange virksomheder foretrækker, at et menneske bekræfter. Funktionskald forklarer, hvordan værktøjer beskrives for modellen.
Hvad der sker med lyden og teksten
Hvert trin håndterer personoplysninger. Lyden rummer en stemme; udskriften rummer det, der blev sagt, ofte med navne, adresser og grunde til opkaldet. Før du tager det i brug, så find ud af, hvor hvert trin kører, hvad der gemmes, hvor længe, og hvem der kan læse det. Beslut, om følsomme oplysninger, såsom betalings- eller helbredsoplysninger, overhovedet bør indsamles af agenten eller gives videre til et menneske. Design af stemme-AI med privatliv for øje gennemgår dette mere dybtgående.
Hold agentens opgave snæver. En agent, der besvarer almindelige spørgsmål, tager en besked og giver videre, er lettere at teste, lettere at forklare for opkaldere og lettere at holde inden for dine løfter om privatliv end en, der forsøger at gøre alt.
Hvad du kan forvente i praksis
Forvent et godt resultat på simple, forudsigelige opkald: åbningstider, vejvisning, basale spørgsmål, at tage en besked. Forvent flere vanskeligheder med lange, følelsesladede eller flertydige opkald, kraftige accenter, dårlige linjer og anmodninger, der kræver skøn. En fornuftig udrulning starter med et lille sæt opkaldstyper, lytter til hvert opkald i begyndelsen og udvider, efterhånden som tilliden vokser. Det, man skal huske, er, at agenten er designet til at hjælpe med definerede opgaver, ikke til at erstatte skøn.
Hvor det går galt
- Misforståede ord eller tal fører til forkerte svar.
- Modellen opfinder et svar i stedet for at indrømme, at den ikke ved det.
- Forsinkelser får opkaldere til at gentage sig eller lægge på.
- Baggrundsstøj eller kryds-tale tages for tale.
- Opkalderen vil have noget uden for agentens område og kan ikke komme ud.
Design for dette. Gør det let at nå et menneske, hold svarene korte, bekræft vigtige oplysninger som tal og datoer, og gennemgå rigtige opkald regelmæssigt. Test af en stemmeagent og evalueringsmål forklarer hvordan.
Sådan gør du i Call
I Call bygges en AI-agent af en persona og prompt, en stemme, et sprog og videnkilder og testes derefter på skærmen og pr. telefon, før den tændes for en linje. Call lader dig vælge mellem stemmer, finjustere udtale med en ordbog, justere, hvordan talen genkendes, og holde kilder ajour. Agenten er designet til at stille opkaldere igennem til et menneske, når der bedes om det, og den kan tage en besked. Indtil du tænder for en agent på en linje, ringer opkald til dit team. Test altid med dine egne opkald først. Opsætning af en AI-agent i Call gennemgår trinnene.
Ofte stillede spørgsmål
Hvad er de tre dele af en stemme-AI-agent?
Tale-til-tekst til at høre opkalderen, en sprogmodel til at afgøre, hvad der skal siges, og tekst-til-tale til at udtale svaret. Nogle nyere systemer kombinerer dem.
Hvorfor holder AI'en nogle gange en pause, før den svarer?
Hvert trin tager tid, og systemet må afgøre, at opkalderen er færdig med at tale. Streaming og justering kan forkorte hullet, men ikke fjerne det.
Kan AI'en finde på ting?
Ja. En sprogmodel kan producere rimelige, men forkerte svar. Giv den god viden, klare grænser og en instruktion om at tilbyde et menneske, når den er usikker.
Kan en stemmeagent bestille tider?
Den kan tage imod en anmodning og give den videre. Mange virksomheder foretrækker, at et menneske bekræfter, så beslut, hvad agenten må love.
Skal opkaldere have at vide, at det er en AI?
Mange steder forventer eller har folk ret til at vide det. Sig det tydeligt i starten af opkaldet, og tjek de regler, der gælder for dig.
Hvordan tjekker jeg, at det virker?
Test med rigtige opkald med forskellige accenter og støjniveauer, lyt til resultaterne, og før en liste over spørgsmål, du kører igen efter hver ændring.