Tale-AI-teknologi

Sådan fungerer stemme-AI: talegenkendelse, LLM og tekst-til-tale

En letforståelig rundtur i pipelinen bag AI-telefonagenter: tale-til-tekst, sprogmodel, tekst-til-tale samt taleskift, forsinkelse og sikre overdragelser.

Calls redaktion · Udgivet · 5 min. læsetid

Et telefonopkald med en AI-agent kan føles som magi eller som en gåde, afhængigt af om det virker. Bag det ligger en ret enkel idé: omsæt opkalderens stemme til tekst, lad en sprogmodel afgøre, hvad der skal siges, og omsæt svaret tilbage til tale, alt sammen hurtigt nok til at føles som en samtale. Denne guide forklarer hvert trin, hvor det går galt, og hvad det betyder for, hvordan du sætter en agent op. For det bredere billede, start med Hvad er AI-telefonbetjening?.

En telefon ved siden af et diagram over lydbølger, der bliver til tekst og tilbage til tale
Illustrativt billede

Den grundlæggende løkke i et stemme-AI-opkald

  1. LytLyd fra opkalderen optages og renses.
  2. TransskribérTale-til-tekst omsætter lyden til ord.
  3. BeslutEn sprogmodel vælger, hvad der skal siges eller gøres næste gang.
  4. TalTekst-til-tale omsætter svaret til lyd.
  5. GentagLøkken kører for hver tur, til opkaldet slutter eller gives videre.

Trin et: tale-til-tekst

Talegenkendelse omsætter lyd til ord. På en telefonlinje er lyden smalbåndet og komprimeret, hvilket gør det sværere end en studieoptagelse. Accenter, baggrundsstøj, folk der taler i munden på hinanden og usædvanlige navne påvirker alle nøjagtigheden. Moderne systemer kan klare sig godt på hverdagstale, men tal, stavemåder, navne og fagord som medicin eller gadenavne er almindelige svage punkter.

Flere detaljer findes i talegenkendelse til telefonopkald, håndtering af tal og navne og accenter og dialekter.

Trin to: sprogmodellen

En stor sprogmodel læser transskriptionen indtil nu, sammen med de instruktioner, du skrev, og de oplysninger, du leverede, og producerer så det næste svar. Den slår ikke selv ting op; den bygger på det, den har fået. Derfor betyder prompten og videnbasen så meget. Modellen kan lyde flydende og alligevel tage fejl, hvorfor værn og test er afgørende.

Hvad der former modellens svar

  • InstruktionerRollen, tonen, reglerne og grænserne, du giver den.
  • VidenDokumenter, spørgsmål og svar og fakta, den må trække på.
  • Samtalen indtil nuHvad der er blevet sagt i dette opkald.
  • VærktøjerHandlinger, den må udføre, såsom at slå en ordre op eller notere en besked.

Guides som prompt til en telefonagent, RAG til stemmeagenter, hallucinationer og værn går dybere. En prompt, der siger, hvad der skal gøres, når den er usikker, for eksempel at tilbyde et menneske eller tage en besked, forebygger mange problemer.

Trin tre: tekst-til-tale

Tekst-til-tale omsætter svaret til lyd. Stemmer varierer i klarhed, varme og i, hvordan de håndterer pauser, tal og navne på dit sprog. Nogle kan finjusteres eller justeres med en udtaleordbog. Vælg en stemme efter klarhed på en telefonlinje frem for nyhedsværdi, og test den med de faktiske vendinger, den skal sige. Se tekst-til-tale på japansk for et eksempel på sprogspecifikke problemer og stemmekloning for samtykke og risiko ved brug af en tilpasset stemme.

Hvorfor timing afgør oplevelsen

Menneskelig samtale har hurtige tur-skift. Et hul på mere end omkring et sekund føles mærkeligt. I en pipeline med tre trin lægger hvert trin forsinkelse til, og modellen kan bruge tid på at tænke. Designere mindsker forsinkelsen ved streaming: at begynde at tale, før hele svaret er klart, og at begynde at transskribere, før opkalderen stopper. De justerer også, hvornår det afgøres, at opkalderen er færdig.

Pipeline kontra tale-til-tale

Pipeline med tre trinTale-til-tale-model
Hvordan det fungererSærskilt genkendelse, model og stemmeÉn model håndterer lyd ind og ud
KontrolHvert trin kan justeres eller udskiftesMindre synlig, mere integreret
ForsinkelseLægges sammen på tværs af trinKan være lavere
TransskriptionTekst tilgængelig ved hvert trinKan kræve ekstra arbejde for at producere tekst
ModenhedUdbredtNyere, ændrer sig hurtigt

Tale-til-tale-modeller er en nyere tilgang. Uanset hvad afgør latenstid, afbrydelser og taleskift om agenten føles naturlig.

Afbrydelser

Folk afbryder. En god agent holder op med at tale, når opkalderen begynder, og tager ikke en hoste eller en stemme i baggrunden for en afbrydelse. Det afhænger af at registrere tale, som er gennemgået i stemmeaktivitetsregistrering. Dårligt justerede systemer enten taler henover opkaldere eller venter for længe.

Værktøjer, viden og handlinger

En stemmeagent bliver nyttig, når den kan mere end at snakke. Med tilsluttede værktøjer kan den slå oplysninger op, registrere en besked, notere en anmodning om tilbagekald eller give opkaldet videre til et menneske. Hvert værktøj bør have et snævert formål og klare regler. En agent kan tage imod en anmodning om en tid; at bekræfte den er en anden sag, og mange virksomheder foretrækker, at et menneske bekræfter. Funktionskald forklarer, hvordan værktøjer beskrives for modellen.

Hvad der sker med lyden og teksten

Hvert trin håndterer personoplysninger. Lyden rummer en stemme; udskriften rummer det, der blev sagt, ofte med navne, adresser og grunde til opkaldet. Før du tager det i brug, så find ud af, hvor hvert trin kører, hvad der gemmes, hvor længe, og hvem der kan læse det. Beslut, om følsomme oplysninger, såsom betalings- eller helbredsoplysninger, overhovedet bør indsamles af agenten eller gives videre til et menneske. Design af stemme-AI med privatliv for øje gennemgår dette mere dybtgående.

Hold agentens opgave snæver. En agent, der besvarer almindelige spørgsmål, tager en besked og giver videre, er lettere at teste, lettere at forklare for opkaldere og lettere at holde inden for dine løfter om privatliv end en, der forsøger at gøre alt.

Hvad du kan forvente i praksis

Forvent et godt resultat på simple, forudsigelige opkald: åbningstider, vejvisning, basale spørgsmål, at tage en besked. Forvent flere vanskeligheder med lange, følelsesladede eller flertydige opkald, kraftige accenter, dårlige linjer og anmodninger, der kræver skøn. En fornuftig udrulning starter med et lille sæt opkaldstyper, lytter til hvert opkald i begyndelsen og udvider, efterhånden som tilliden vokser. Det, man skal huske, er, at agenten er designet til at hjælpe med definerede opgaver, ikke til at erstatte skøn.

Hvor det går galt

Design for dette. Gør det let at nå et menneske, hold svarene korte, bekræft vigtige oplysninger som tal og datoer, og gennemgå rigtige opkald regelmæssigt. Test af en stemmeagent og evalueringsmål forklarer hvordan.

Sådan gør du i Call

I Call bygges en AI-agent af en persona og prompt, en stemme, et sprog og videnkilder og testes derefter på skærmen og pr. telefon, før den tændes for en linje. Call lader dig vælge mellem stemmer, finjustere udtale med en ordbog, justere, hvordan talen genkendes, og holde kilder ajour. Agenten er designet til at stille opkaldere igennem til et menneske, når der bedes om det, og den kan tage en besked. Indtil du tænder for en agent på en linje, ringer opkald til dit team. Test altid med dine egne opkald først. Opsætning af en AI-agent i Call gennemgår trinnene.

Ofte stillede spørgsmål

Hvad er de tre dele af en stemme-AI-agent?

Tale-til-tekst til at høre opkalderen, en sprogmodel til at afgøre, hvad der skal siges, og tekst-til-tale til at udtale svaret. Nogle nyere systemer kombinerer dem.

Hvorfor holder AI'en nogle gange en pause, før den svarer?

Hvert trin tager tid, og systemet må afgøre, at opkalderen er færdig med at tale. Streaming og justering kan forkorte hullet, men ikke fjerne det.

Kan AI'en finde på ting?

Ja. En sprogmodel kan producere rimelige, men forkerte svar. Giv den god viden, klare grænser og en instruktion om at tilbyde et menneske, når den er usikker.

Kan en stemmeagent bestille tider?

Den kan tage imod en anmodning og give den videre. Mange virksomheder foretrækker, at et menneske bekræfter, så beslut, hvad agenten må love.

Skal opkaldere have at vide, at det er en AI?

Mange steder forventer eller har folk ret til at vide det. Sig det tydeligt i starten af opkaldet, og tjek de regler, der gælder for dig.

Hvordan tjekker jeg, at det virker?

Test med rigtige opkald med forskellige accenter og støjniveauer, lyt til resultaterne, og før en liste over spørgsmål, du kører igen efter hver ændring.

Prøv en AI-stemmeagent på din egen linje i Call

I demokonsollen kan du afprøve indgående opkald i en simulering.

Relaterede guides