Tale-AI-teknologi

Sådan evaluerer du en stemmeagents samtaler: målinger og gennemgang

En praktisk måde at bedømme en stemmeagent i telefonen på: de målinger, der er værd at følge, hvordan du bedømmer opkald, og hvordan fund bliver til rettelser.

Calls redaktion · Udgivet · 5 min. læsetid

Når en stemmeagent besvarer rigtige opkald, ændrer spørgsmålet sig fra virker den til virker den godt. Mange teams svarer med et vagt indtryk fra en håndfuld opkald. Lidt struktur giver langt bedre information og fortæller dig, hvad du skal rette næste gang.

En teamleder, der gennemgår noter om opkaldskvalitet med en kollega
Illustrativt billede

Denne guide giver en enkel evalueringstilgang til en stemmeagent i telefonen: hvilke målinger du skal følge, hvordan du gennemgår opkald manuelt, og hvordan du gør fund til forbedringer. Den bygger på Test af en stemme-AI-agent og de generelle målinger i KPI'er for callcentre.

Start med, hvad godt betyder for dig

Et godt opkald for en restaurant er ikke det samme som et godt opkald for en klinik. Før du vælger målinger, så skriv i en sætning eller to ned, hvordan et vellykket opkald ser ud for hver type opkald, du forventer: Kundens spørgsmål er besvaret, en besked er taget med de rigtige oplysninger, eller kunden når den rette person. Alt andet følger af de definitioner.

Fem spørgsmål, enhver evaluering stiller

  • Blev kunden forstået?Hørte agenten spørgsmålet og oplysningerne korrekt?
  • Var svaret rigtigt?Var det præcist, inden for de godkendte oplysninger og uden opdigtning?
  • Nåede opkaldet en nyttig afslutning?Blev opgaven løst, en besked taget eller en overdragelse foretaget?
  • Var oplevelsen acceptabel?Tempo, tone, gentagelser og indsats for kunden.
  • Var det sikkert?Respekterede agenten sine grænser og overdrog, når den skulle?

Målinger, der er værd at følge

MålingHvad den fortæller digSådan får du den
Gennemførte opgaverAndelen af opkald, hvor kundens mål blev nåetMenneskelig gennemgang af en stikprøve plus opkaldsudfald
SvarpræcisionOm udsagnene matchede de godkendte oplysningerMenneskelig gennemgang op mod dine kilder
OverdragelsesrateHvor ofte kunderne beder om eller har brug for et menneskeOpkaldsresultater og henvendelser i helpdesken
GentagelsesrateHvor ofte agenten bad kunden sige noget igenGennemgang af udskrifter
SvarpauseTiden fra afslutningen af kundens tur til agentens svarTiming pr. tur i opkaldshistorikken
AfbrudsrateKunder, der lægger på, før der er et udfaldOpkaldslog
Feedback fra kunderHvordan folk oplevede opkaldetKorte undersøgelser eller kommentarer ved opfølgning

Læg mærke til, at de fleste af de nyttige målinger kræver en vis menneskelig vurdering. Optællinger fra en log fortæller dig hvor mange, men kun et menneske, der læser samtalen, kan sige, om et opkald gik godt. Regn med en blanding af begge. Målinger, der gælder for alle typer opkald, finder du i First Call Resolution og Svarprocent og afbrudsrate.

Manuel gennemgang af opkald

En lille, regelmæssig stikprøve slår en lejlighedsvis stor gennemgang. Udvælg opkald tilfældigt plus nogle få, der ser usædvanlige ud, som meget korte eller meget lange, opkald, der endte i en overdragelse, og opkald, der endte med, at kunden lagde på.

En rutine for gennemgang af opkald

  1. UdvælgVælg et fast antal opkald hver uge med en blanding af tilfældige og usædvanlige.
  2. Lyt og læsAfspil optagelsen, og læs udskriften samtidig.
  3. BedømGiv hvert opkald en vurdering ud fra dine kriterier på en enkel skala.
  4. Notér årsagerSkriv ned, hvorfor noget gik galt.
  5. Ret og test igenÆndr kilden, prompten eller indstillingen, og test så det samme tilfælde igen.

Hold bedømmelsen enkel

Tre niveauer er nok: god, acceptabel og dårlig, eller præcis, delvis og forkert for de enkelte udsagn. Finmaskede skalaer skaber diskussioner uden at tilføje indsigt. Lad af og til to personer bedømme en håndfuld af de samme opkald; er de ofte uenige, skal dine kriterier formuleres skarpere.

Husk, at udskrifter kan være forkerte

Udskriften er talegenkendelsens bud, ikke sandheden. Ser en udskrift mærkelig ud, så lyt til lyden, før du giver agenten skylden. Se Hvorfor telefonlyd er svær for talegenkendelse.

Mål hastighed og rytme

Kunder bemærker forsinkelse mere end næsten noget andet. Følg pausen før hvert svar, og se på de værste tilfælde, ikke kun gennemsnittet, for nogle få meget lange pauser ødelægger indtrykket. Er pauserne lange, så find ud af, hvor tiden går; Latens i stemme-AI viser hvordan. Læg også mærke til afbrydelser: Hvor ofte talte agenten hen over kunden, og hvor ofte lod den dem vente?

Manuel gennemgang eller automatisk bedømmelse

Valg af metode

Manuel gennemgangAutomatisk bedømmelse
StyrkeForstår nuancer, tone og sammenhængDækker hurtigt alle opkald
SvaghedLangsom; kun en stikprøveKan overse subtile problemer eller fejlvurdere
Bedst brugt tilPræcision, sikkerhed og kundeoplevelseAt markere opkald, der fortjener et menneskeligt blik

Automatisk bedømmelse, herunder modeller, der bedømmer andre modeller, er nyttig til sortering: den kan rangere opkald efter tegn på problemer, så mennesker ser på de rigtige først. Den bør ikke erstatte menneskelige stikprøver, især ikke når det gælder præcision og sikkerhed. Uanset hvilket automatisk tjek du bruger, så test det ved at sammenligne dets vurderinger med dine egne på et sæt opkald, du har gennemgået.

Læs tallene fornuftigt

Små stikprøver vildleder. Gennemgår du ti opkald, og to gik dårligt, kan du ikke sige, at hvert femte opkald går dårligt; du kan kun sige, at du fandt to problemer, der er værd at rette. Brug stikprøver til at finde årsager, ikke til at udråbe rater, medmindre stikprøven er stor og tilfældig nok til at bære det.

Skil agenten fra situationen. Et fald i gennemførte opgaver i en uge med et driftsnedbrud er ikke en dom over prompten. Notér begivenheder ved siden af dine målinger: en ny åbningstid, en kampagne, der sendte kunder med et nyt spørgsmål, en ændring i kilderne. En enkel log over ændringer gør tendenserne forklarlige.

Beslut endelig på forhånd, hvad du vil gøre med hvert resultat. En stigning i gentagelser kan få dig til at se på stilhedsindstillingerne; en stigning i overdragelser om ét emne kan få dig til at tilføje et præcist svar til det. En måling uden tilknyttet handling er blot pynt.

Del resultaterne med dem, der tager telefonerne, lige så vel som med lederne. Medarbejderne ved ofte, hvorfor et mønster findes, og det er dem, der tager de opkald, agenten overdrager. En kort månedlig gennemgang med eksempler, herunder nogle opkald, der gik godt, holder arbejdet forankret i rigtige samtaler.

Evaluering i Call

I Call viser AI-opkaldshistorikken en periodes opkald med resultat og, når den er kendt, stemning og åbner hele samtalen replik for replik. Ledere kan åbne et opkald og se, hvor lang tid hver talt tur tog. Området for automatisk gennemgang grupperer nylige opkald efter emne, rangerer nylige opkald uden menneskelig gennemgang efter signalerne på dem og tilbyder en stikprøve af AI-resuméer, som du kan markere som præcise, delvist præcise eller forkerte, hvilket giver et løbende billede af resuméernes præcision. Samtale-AI lader dig også søge i alle gemte udskrifter efter en vending. Tilsammen giver de dig de optællinger og stikprøver, du har brug for. Brug redigeringshistorikken til at se rettelser af agentens formuleringer.

En ugentlig tjekliste til evaluering

  • Læs en fast stikprøve af opkald, tilfældige og usædvanlige
  • Bedøm gennemførte opgaver og præcision
  • Tæl overdragelser, og notér, hvorfor de skete
  • Tjek de længste svarpauser
  • Søg i udskrifter efter vendinger, der signalerer forvirring
  • Registrér hvert problem og den rettelse, der blev lavet
  • Test rettede tilfælde igen, før de lukkes

Ofte stillede spørgsmål

Hvad er den mest nyttige enkeltmåling for en stemmeagent?

Der er ikke én. Gennemførte opgaver fortæller dig, om kunderne fik det, de havde brug for, men du har også brug for præcision, kvalitet i overdragelser og timing for at se hvorfor.

Hvor mange opkald skal jeg gennemgå?

En fast ugentlig stikprøve, du kan holde ved, er bedre end en lejlighedsvis stor. Start med et beskedent antal, og øg det efter ændringer ved lanceringen, eller når der opstår problemer.

Kan jeg stole på automatisk bedømmelse alene?

Ikke når det gælder præcision eller sikkerhed. Brug den til at rangere og markere opkald, og lad så mennesker gennemgå de markerede og en tilfældig stikprøve.

Hvorfor er udskrifter nogle gange uenige med optagelsen?

Udskriften produceres af talegenkendelse og kan indeholde fejl. Lyt til lyden, før du bedømmer agenten.

Hvordan ved jeg, om en ændring har forbedret noget?

Hav et fast sæt testtilfælde og en regelmæssig rutine for gennemgang, og sammenlign så resultaterne før og efter ændringen med de samme kriterier.

Skal kunderne spørges i en undersøgelse?

Et kort spørgsmål efter opkaldet kan tilføje nyttig information, men hold det kort, og respektér eventuelle regler for at kontakte folk. Kombinér det med din egen gennemgang af samtalen.

Gennemgå AI-samtaler i din opkaldshistorik i Call

I demokonsollen kan du afprøve indgående opkald i en simulering.

Relaterede guides