Sådan tester du en AI-stemmeagent før lancering: en praktisk plan
En trin-for-trin-plan for test af en AI-stemmeagent til telefonen før lancering: scripts, nøjagtighed, hørelse, forløb, overdragelse, logning og en klar beslutning.
En stemmeagent, der svarer godt på et stille kontor foran den person, der har bygget den, kan opføre sig helt anderledes på et gadehjørne med en opkalder, der mumler. De fleste problemer ved lancering er ikke mystiske: Det er ting, ingen har prøvet. En struktureret testplan finder dem, mens de stadig er billige at rette.

Denne guide giver dig en praktisk plan: hvad du skal forberede, de seks områder, der skal testes, hvordan du vurderer resultaterne, og hvad du gør efter lanceringen. Til sidst gennemgår vi værktøjerne i Call. Nøgletallene bag vurderingen finder du i Målepunkter til evaluering af stemme-AI.
Forberedelse af testen
Start med listen over rigtige opkald. Saml de spørgsmål, folk faktisk stiller, fra e-mails, medarbejdernes hukommelse og opkaldsnoter. Tilføj de besværlige: den vrede opkalder, den vage opkalder, opkalderen, der beder om noget, I ikke tilbyder. Et godt testsæt blander almindelige, sjældne og vanskelige tilfælde.
Fra script til lancering
- Skriv testscriptsRigtige spørgsmål med det korrekte svar til hvert.
- Test indholdetSvarer agenten korrekt og holder sig inden for rammerne?
- Test hørelsenForstår den navne, tal og accenter?
- Test forløbetFlyder samtalen naturligt og slutter godt?
- Test overdragelseVirker anmodninger om et menneske og akutte tilfælde?
- Tjek registreringerneEr resuméer, beskeder og logs korrekte?
- BeslutSammenlign resultaterne med kriteriet for godkendelse, og vælg.
Beslut, hvem der tester. Tag folk med, som ikke har bygget agenten, fordi de vil spørge på uventede måder. Hvis jeres opkaldere taler med regionale accenter eller på flere sprog, så tag også de stemmer med.
Test af indholdet
Det første spørgsmål er, om agenten siger sande ting. Stil hvert spørgsmål på listen, og sammenlign med det korrekte svar. Markér hvert svar som korrekt, delvist korrekt, forkert eller opdigtet. Et opdigtet svar, hvor agenten fremfører noget, den aldrig har fået oplyst, er det vigtigste, fordi opkalderne tror på det.
- Stil det samme spørgsmål med andre ord.
- Spørg om ting, der ikke er i vidensgrundlaget, og tjek, at agenten indrømmer, at den ikke ved det.
- Bed om noget, den skal afvise, fx rådgivning eller oplysninger om andre kunder.
- Prøv at føre den på afveje med en selvsikker forkert påstand, og tjek, at den ikke bare er enig.
Se Hallucinationer i stemme-AI for, hvorfor opdigtede svar opstår, og Videnssøgning for stemmeagenter for, hvordan viden bruges.
Test af, hvad den hører
Stemmeagenter fejler ofte i lyttetrinnet. Navne, postnumre, telefonnumre og datoer er de sædvanlige problemer. Test med rigtige telefoner, ikke kun en computermikrofon, og inkluder baggrundsstøj, højttalertelefon og dårlig mobildækning.
| Tjek | Hvordan | Hvad du skal se efter |
|---|---|---|
| Navne | Stav og sig usædvanlige navne | Korrekt registrering eller en høflig anmodning om gentagelse |
| Tal | Læs et telefonnummer og en dato op | Korrekte cifre og en gentagelse til bekræftelse |
| Accenter | Spørg kolleger med forskellige accenter | Færre misforståelser og elegant genopretning |
| Støj | Ring fra et travlt sted | Ingen falske udløsninger og klare anmodninger om gentagelse |
Tal og navne i stemme-AI og Talegenkendelse på telefonlyd forklarer disse problemer mere i dybden.
Test af samtalens forløb
Indholdet kan være rigtigt, og samtalen stadig være akavet. Lyt efter indledningen, tempoet, om agenten taler ind over opkalderen, hvordan den håndterer stilhed, og hvordan den slutter. Afbryd den, vær stille, sig "hallo?", og skift mening undervejs.
Adfærd i forløbet, du skal afprøve
- AfbrydelseTal ind over agenten, og tjek, at den stopper og lytter.
- StilhedSig ingenting, og tjek, at den høfligt spørger ind og derefter afslutter fornuftigt.
- Skift af meningSkift emne midt i et svar, og tjek, at den følger med.
- AfslutningSig tak og farvel, og tjek, at opkaldet lukkes pænt.
Hastighed hører også til her. Notér lange pauser og hvad der forårsagede dem. Latens i stemme-AI forklarer de sædvanlige årsager.
Test af overdragelse og sikkerhed
Enhver stemmeagent har brug for en vej til et menneske ved anmodninger, den ikke kan eller ikke bør håndtere. Test den under alle forhold: i åbningstiden, uden for åbningstiden, når ingen svarer, og når opkalderen er oprevet. Prøv akutte formuleringer. Tjek, at agenten aldrig udgiver sig for at være et menneske og aldrig lover ting, den ikke kan levere, fx en bekræftet booking.
Tjek af overdragelse
- En anmodning om et menneske i åbningstiden når de rette personer
- En anmodning uden for åbningstiden giver en ærlig besked og en mulighed for at efterlade oplysninger
- Hvis ingen svarer, kan opkalderen lægge en besked
- Akutte eller oprevne opkaldere sendes hurtigt videre
- Agenten oplyser, at den er en AI, når den bliver spurgt
- Følsomme oplysninger indsamles ikke, når de ikke bør
Test af registreringer og logs
Et opkald har to resultater: hvad opkalderen oplevede, og hvad I registrerer. Efter hver test skal du tjekke resuméet, udskriften, den efterladte besked og eventuelle opfølgningsopgaver. Er navne og tal korrekte? Er årsagen til opkaldet angivet præcist? Opdigter resuméet noget? Et perfekt opkald med en forkert registrering sender stadig teamet i den forkerte retning. Se AI-resuméer af opkald.
Beslutning om godkendt eller ikke godkendt
Før du går i gang, så skriv den regel ned, der afgør, om agenten må lanceres. Den kan være enkel: ingen opdigtede svar i testsættet, alle tilfælde af overdragelse virker, og en angivet andel af de almindelige spørgsmål besvares korrekt. Når det står på skrift, forhindrer det en lancering drevet af deadlinepres.
Beslutninger om lancering
| Kriterium skrevet først | Vurderet bagefter | |
|---|---|---|
| Klarhed | Alle kender barren | Barren flytter sig med stemningen |
| Pres | Let at sige ikke endnu | Svært at modstå en deadline |
| Læring | Fejl peger på rettelser | Fejl bliver til diskussioner |
| Dokumentation | Resultater kan sammenlignes over tid | Intet at sammenligne med |
Før en log over hver test: dato, version af agenten, opkalder, spørgsmål, resultat og rettelse. Når du ændrer prompten eller vidensgrundlaget, så gentag de tidligere test, da rettelser nogle gange ødelægger andre ting.
Det betaler sig også at teste de stille fejl, som ingen opkalder vil klage over, men som koster jer over tid. Tjek, at et opkald, der slutter tidligt, stadig giver en fornuftig registrering, at en opkalder, der lægger på midt i en sætning, ikke efterlader en halvfærdig opgave, og at gentagne opkaldere håndteres ensartet. Disse tilfælde optræder sjældent i en første testplan, men udgør en overraskende stor del af den rigtige trafik.
Efter lanceringen
Testen stopper ikke, når agenten går live. Start med et begrænset omfang, fx uden for åbningstid eller ved overløb, lyt til et udsnit af rigtige opkald hver dag den første uge, og udvid, når du føler dig tryg. Gennemgå de spørgsmål, den ikke kunne besvare, og tilføj den manglende viden. Hav en mulighed for at rulle tilbage til en tidligere version, hvis en ændring gør tingene værre. Din AI-receptionists første uge er en god ledsager.
Test i Call
Call giver dig flere måder at teste en AI-agent på, før opkalderne gør det. Testområdet under AI-agenter lader dig chatte med en agent, viser, hvor mange vidensnoter der matchede hvert svar, og lister dem, og lader dig vurdere et svar eller lære den et bedre. Agentens Testopkald ringer til din egen telefon via dens linje, så du hører den, som en opkalder gør; hver sådan test er et rigtigt opkald, der faktureres. Opsætningsguiden tilbyder også at tale på skærmen, et opkald til din telefon og at lade agenten ringe til et nummer. Et parathedstjek, der køres uden at ringe til nogen, viser, hvad et AI-opkald fra linjen stadig mangler.
Øvelsesopkald under AI-agenter, Det har den lært, lader AI-opkaldere ringe til dine agenter på japansk og engelsk. Hvert opkald bedømmes, og læringspunkterne venter på din gennemgang, så intet ændres uden dig. Før en risikabel ændring kan du gemme et gendannelsespunkt på agenten, så du kan rulle tilbage, og bruge Sæt live eller Sæt til kladde til at styre, hvornår agenten svarer. Se Opsætning af en AI-agent i Call for selve opsætningen.
Ofte stillede spørgsmål
Hvor mange testopkald er nok?
Nok til at dække alle almindelige spørgsmål, alle tilfælde af overdragelse og et udsnit af vanskelig adfærd. For en lille agent kan det være snesevis af opkald; fortsæt, indtil nye test holder op med at finde nye problemer.
Hvem skal teste agenten?
Folk, der ikke har bygget den, herunder personer med forskellige accenter og telefonvaner. De spørger på måder, som den, der har bygget den, aldrig tænker på.
Skal jeg teste på en rigtig telefon?
Ja. Telefonlyd er mere smalbåndet og støjende end computerlyd, og mange problemer viser sig kun på en rigtig linje.
Hvad tæller som en alvorlig fejl?
Et opdigtet svar fremført med selvsikkerhed, en overdragelse, der fejler, eller en registrering, der sender teamet i den forkerte retning. Disse bør blokere for lancering.
Skal jeg teste igen efter små ændringer?
Ja, i det mindste et kernesæt. Små ændringer af prompten eller vidensgrundlaget kan ændre svar andre steder.
Hvad skal jeg holde øje med efter go-live?
Lyt til et udsnit af opkald dagligt i starten, notér spørgsmål, den ikke kunne besvare, og følg overdragelser og klager. Forbedr vidensgrundlaget hver uge.