Brug af Call

Øveopkald: test din AI-agent, før den går live

Sådan lader simulerede øveopkald dig teste en AI-telefonagent på svære sager først, læse karakterer og læringer og omsætte resultaterne til rettelser.

Calls redaktion · Udgivet · 5 min. læsetid

Alle teams, der har oplært nye medarbejdere, ved, at den første uge ved telefonerne er den mest risikable. Den nye kender retningslinjerne, men har endnu ikke mødt opkalderen, der taler hen over dem, den, der skifter emne midt i en sætning, eller den, der bare vil have nogen at give skylden. Gode teams øver de øjeblikke med rollespil, før det gælder.

En teamleder gennemgår scorer og udskrifter af opkald på en skærm før en lancering
Illustrativt billede

En AI-telefonagent har brug for de samme prøver, og den kan få langt flere af dem, langt hurtigere. Denne guide forklarer, hvordan du designer øvelsen, hvordan du læser resultaterne, og hvordan du fører læringerne tilbage. Den bygger på opsætning af en AI-agent og prompter, der virker.

Hvorfor øve, før du går live

De første rigtige opkald former kundernes indtryk af hele servicen. En agent, der hører et navn forkert, taler hen over opkalderen eller finder på et svar, koster mere end et mistet opkald, fordi kunden nu har en historie at fortælle. Øvelse finder de problemer, mens det eneste publikum er dit eget team.

Øvelse er ikke bevis. En god score på simulerede opkaldere betyder ikke, at rigtige opkaldere vil opføre sig på samme måde, og stemmeadfærd i virkeligheden kan afvige fra en simulering. Betragt et godt resultat som tilladelse til forsigtigt at prøve med rigtige opkald, ikke som et certifikat.

Hvad du skal teste

Værdien af en runde afhænger af de situationer, den dækker. Bland bevidst lette og svære sager.

Scenarier, der afslører svagheder

  • AfbrydelserEn opkalder, der taler hen over agenten. Stopper den og lytter, eller fortsætter den ufortrødent?
  • SprogskiftEn opkalder, der starter på ét sprog og skifter til et andet. Følger agenten med?
  • Beder om et menneskeOpkalderen siger "lad mig tale med en person". Er overdragelsen tydelig og hurtig?
  • Spørgsmål om prisEn opkalder spørger, hvad det koster. Svarer agenten kun på det, den ved, og undgår den at gætte?
  • KlagerEn oprevet opkalder. Forbliver agenten rolig og tilbyder et næste skridt?
  • HverdagsspørgsmålSpørgsmål hentet fra agentens egen vidensbase. Er svarene rigtige og korte?

Balancen betyder noget. En runde med kun svære sager vil altid se dårlig ud og lære dig lidt om den daglige præstation; en runde med kun lette spørgsmål vil smigre en agent, der svigter under pres. En blanding af begge er som regel den mest lærerige start.

Kør en øverunde i Call

I Call findes øvelse under AI-agenter, i Hvad den har lært, på fanen Øveopkald. AI-opkaldere ringer til dine AI-agenter i en simulering, på japansk og engelsk, og hvert opkald får en karakter. Du vælger agenterne (op til ti ad gangen; en agent, der endnu ikke kan besvare opkald, er nedtonet), hvor mange japanske og engelske opkald hver skal have (fra ingen til femogtyve af hver), og scenarieblandingen.

ScenarieblandingHvad den dækkerBrug den, når
BalanceretHver svær sag én gang, resten spørgsmål fra agentens vidensbaseDu tester en ny agent for første gang
VidensbaseKun spørgsmål hentet fra det, agenten vedDu har ændret dens viden og vil tjekke nøjagtigheden
GrænsetilfældeKun de svære sagerDu har ændret dens adfærdsregler eller prompt

Kør en runde

  1. Åbn ØveopkaldGå til AI-agenter, derefter Hvad den har lært og så Øveopkald.
  2. Vælg agenter og antalSæt flueben ved agenterne, og angiv antallet af opkald på hvert sprog.
  3. Vælg en blandingBalanceret, Vidensbase eller Grænsetilfælde.
  4. Start rundenTallet ved siden af knappen er det samlede antal: agenter ganget med opkald på begge sprog.
  5. Følg fremdriftenListen opdaterer sig selv; åbn en runde for at se scorer og resultater af opkald.

Startknappen forbliver nedtonet ved nul opkald eller over i alt tre hundrede, så store tests køres i portioner. Du kan også annullere en runde, der venter eller kører; opkald, der ikke er startet, annulleres, og et opkald, der allerede er i gang, afsluttes. Du kan slå stemme til for en runde for at tilføje en afspilningsknap til hver replik, og lyden laves først, når du trykker på den.

Læs resultaterne

Åbn en færdig runde, og start med opsummeringen, ikke en enkelt udskrift. Totalerne viser gennemførte opkald, gennemsnitsscoren, rettede svar, spørgsmål der kræver et svar, og stiltips. Under dem kommer scoren pr. kriterium, de største problemer med hver agents gennemsnit og en tabel over opkald med scenarie, sprog, score og markeringer.

  1. Se på scoren pr. kriterium for at finde det svageste område.
  2. Læs de største problemer; hvis et går igen på tværs af agenter, er det sandsynligvis en fælles prompt eller regel.
  3. Sortér opkaldene efter score, og læs de tre dårligste udskrifter i deres helhed.
  4. Læs bedømmerens note til hvert svar, ikke kun den endelige karakter.
  5. Sammenlign sprogene; en forskel kan betyde, at ét sprog skal have sine egne formuleringer.

Anvend læringerne

Øvelse giver læringer, og de venter på din gennemgang i stedet for at ændre agenten automatisk. Du kan anvende eller afvise hver enkelt. Rettede svar og spørgsmål, der kræver et svar, venter også under Forslag. Det er bevidst: Et menneske afgør, hvad agenten skal lære.

Gennemgå læringer

  • Passer læringen til jeres politik og tone
  • Er det rettede svar faktisk korrekt og ikke blot plausibelt
  • Gælder det for alle opkaldere eller kun for dette scenarie
  • Modsiger to læringer hinanden
  • Har agenten brug for et nyt vidensindhold frem for en ændret prompt

Når du har anvendt ændringer, så kør en lille runde igen, og sammenlign. Ændr én ting ad gangen, hvor du kan, ellers ved du ikke, hvilken ændring der hjalp. Se vidensbaser for, hvor faktuelle svar hører hjemme.

En fornuftig øverytme

Øvelse betaler sig mest, når den er en vane og ikke en enkeltstående begivenhed. Knyt runder til tidspunkter, hvor noget ændrer sig.

TidspunktHvad du skal køreHvad du skal kigge efter
Ny agent, før lanceringEn balanceret runde på hvert sprog, I betjenerSvage kriterier, adfærd ved overdragelse
Efter en ændring af prompt eller regelEn runde med grænsetilfældeOm ændringen løste problemet uden at ødelægge noget andet
Efter at have tilføjet videnEn vidensbaserundeKorrekte, korte svar og ingen opdigtede fakta
Før en travl periodeEn balanceret runde på de linjer, der bliver travlestStabilitet under en typisk blanding af spørgsmål
Efter et problem i et rigtigt opkaldEn runde, der efterligner fejlenOm rettelsen holder

Før en kort log: datoen, hvad du ændrede, hvilken runde du kørte, og hovedresultatet. Efter nogle måneder viser historikken, hvilke ændringer der hjalp, og den forhindrer dig i at gentage et forsøg, der allerede er slået fejl.

En tænkt klinik kunne køre en balanceret runde for sin receptionsagent, før den nye linje åbner, en runde med grænsetilfælde efter at have tilføjet en regel om akutte symptomer og en vidensbaserunde, hver gang åbningstider eller ydelser ændres. Tre små runder, kørt på de rette tidspunkter, siger mere end én kæmpetest kørt én gang.

Ud over simuleringen

En simulering er en prøve. Før lanceringen bør du også foretage et rigtigt testopkald til din egen telefon og lytte, som en kunde ville. Gå forsigtigt live: Start med en linje med lav risiko eller begrænsede åbningstider, bevar en nem vej til et menneske (se overdrag et opkald til et menneske), og lyt til de første rigtige opkald dagligt. For menneskelige medarbejdere gælder den samme idé; se en coachingmodel for prøver og feedback med mennesker.

Ofte stillede spørgsmål

Er øveopkald rigtige telefonopkald?

Det er simulerede opkald, hvor AI-opkaldere ringer til dine AI-agenter. Brug et separat testopkald til din egen telefon for at høre agenten på en rigtig linje.

Kan jeg øve på mere end ét sprog?

Øveværktøjet kører simulerede opkald på japansk og engelsk. Angiv, hvor mange af hver du vil have pr. agent.

Hvor mange opkald bør jeg køre?

Start småt med nogle få af hvert scenarie pr. agent, og læs resultaterne grundigt. Øg kun, når du har en grund, for eksempel for at teste en ændring på tværs af sprog.

Ændrer læringer min agent automatisk?

Nej. Læringer venter på din gennemgang. Du anvender dem, du er enig i, og afviser de andre.

Hvad fortæller karakteren mig?

Den viser, hvordan det simulerede opkald klarede sig i forhold til kriterierne, med bedømmerens noter til hvert svar. Det er dokumentation, og rigtige opkaldere kan stadig opføre sig anderledes.

Hvad hvis en agent er nedtonet?

En agent, der endnu ikke kan besvare opkald, er markeret som ude af stand til at svare og kan ikke vælges. Gør først dens opsætning færdig.

Start en øverunde for din AI-agent i Call

I demokonsollen kan du afprøve indgående opkald i en simulering.

Relaterede guides