Kako procijeniti razgovore glasovnog agenta: metrike i pregledi
Praktičan način procjene telefonskog glasovnog agenta: metrike koje vrijedi pratiti, kako uzorkovati i ocjenjivati pozive i kako nalaze pretvoriti u popravke.
Kada glasovni agent počne odgovarati na stvarne pozive, pitanje se mijenja iz „radi li?” u „radi li dobro?”. Mnogi timovi odgovaraju nejasnim dojmom iz nekoliko poziva. Malo strukture daje daleko bolje informacije i govori vam što sljedeće popraviti.

Ovaj vodič nudi jednostavan pristup procjeni telefonskog glasovnog agenta: koje metrike pratiti, kako ručno pregledavati pozive i kako nalaze pretvoriti u poboljšanja. Nadovezuje se na članak Testiranje glasovnog AI agenta i opće mjere iz članka KPI-jevi call centra.
Počnite od toga što za vas znači dobro
Dobar poziv za restoran nije isto što i dobar poziv za ordinaciju. Prije odabira metrika u rečenici ili dvije zapišite kako izgleda uspješan poziv za svaku vrstu poziva koju očekujete: pozivatelj je dobio odgovor na pitanje, poruka je primljena s pravim podacima ili je pozivatelj došao do prave osobe. Sve ostalo proizlazi iz tih definicija.
Pet pitanja koja postavlja svaka procjena
- Je li pozivatelj shvaćen?Je li agent ispravno čuo pitanje i podatke?
- Je li odgovor bio ispravan?Je li bio točan, unutar odobrenih informacija i bez izmišljanja?
- Je li poziv dobio koristan završetak?Je li zadatak obavljen, poruka primljena ili poziv predan?
- Je li iskustvo bilo prihvatljivo?Tempo, ton, ponavljanja i trud pozivatelja.
- Je li bilo sigurno?Je li agent poštovao svoje granice i predao poziv kada je trebao?
Metrike koje vrijedi pratiti
| Metrika | Što vam govori | Kako je dobiti |
|---|---|---|
| Dovršeni zadaci | Udio poziva u kojima je pozivateljev cilj ostvaren | Ljudski pregled uzorka i ishodi poziva |
| Točnost odgovora | Jesu li izjave odgovarale odobrenim informacijama | Ljudski pregled u odnosu na vaše izvore |
| Stopa predaje | Koliko često pozivatelji traže osobu ili im je potrebna | Rezultati poziva i zahtjevi u službi za pomoć |
| Stopa ponavljanja | Koliko je često agent tražio od pozivatelja da nešto ponovi | Pregled transkripata |
| Razmak u odgovoru | Vrijeme između kraja pozivateljeva reda i agentova odgovora | Vrijeme po izmjeni u povijesti poziva |
| Stopa napuštanja | Pozivatelji koji prekinu prije ishoda | Zapisnik poziva |
| Povratne informacije pozivatelja | Kako su se ljudi osjećali u pozivu | Kratke ankete ili naknadni komentari |
Primijetite da većina korisnih mjera zahtijeva određenu ljudsku prosudbu. Brojke iz zapisnika govore koliko, ali samo osoba koja čita razgovor može reći je li poziv prošao dobro. Računajte na kombinaciju obojega. Za mjere koje vrijede za svaku vrstu poziva pogledajte Rješavanje u prvom pozivu i Stopa odgovorenih i stopa napuštenih poziva.
Ručni pregled poziva
Malen, redovit uzorak bolji je od povremenog velikog pregleda. Odaberite pozive nasumično te nekoliko onih koji izgledaju neobično, primjerice vrlo kratke ili vrlo duge, pozive koji su završili predajom i pozive koji su završili tako da je pozivatelj prekinuo.
Rutina pregleda poziva
- UzorakSvaki tjedan odaberite fiksan broj poziva, kombinirajući nasumične i neobične.
- Slušajte i čitajteReproducirajte snimku i istodobno čitajte transkript.
- OcijeniteSvaki poziv ocijenite prema svojim kriterijima jednostavnom ljestvicom.
- Zabilježite uzrokeZapišite zašto je nešto pošlo po zlu.
- Popravite i ponovno testirajtePromijenite izvor, prompt ili postavku, a zatim ponovno testirajte isti slučaj.
Neka ocjenjivanje bude jednostavno
Dovoljne su tri razine: dobro, prihvatljivo i loše, odnosno točno, djelomično i pogrešno za pojedine izjave. Detaljne ljestvice stvaraju rasprave bez novih uvida. Povremeno neka dvije osobe ocijene nekoliko istih poziva; ako se često ne slažu, kriteriji trebaju precizniju formulaciju.
Imajte na umu da transkripti mogu biti pogrešni
Transkript je pretpostavka prepoznavača, a ne istina. Ako transkript izgleda čudno, poslušajte zvuk prije nego što okrivite agenta. Pogledajte Zašto je telefonski zvuk težak za prepoznavanje govora.
Mjerenje brzine i ritma
Pozivatelji primjećuju kašnjenje više od gotovo bilo kojeg drugog čimbenika. Pratite razmak prije svakog odgovora i gledajte najgore slučajeve, a ne samo prosjek, jer nekoliko vrlo dugih stanki pokvari dojam. Ako su razmaci dugi, raščlanite kamo odlazi vrijeme; članak Latencija glasovnog AI-ja pokazuje kako. Obratite pozornost i na prekidanje: koliko je često agent govorio preko pozivatelja, a koliko ga je često ostavio da čeka?
Ručna provjera ili automatsko ocjenjivanje
Odabir metode
| Ručni pregled | Automatsko ocjenjivanje | |
|---|---|---|
| Prednost | Razumije nijanse, ton i kontekst | Brzo pokriva svaki poziv |
| Slabost | Sporo; samo uzorak | Može propustiti suptilne probleme ili pogrešno procijeniti |
| Najbolje za | Točnost, sigurnost i iskustvo pozivatelja | Označavanje poziva koji zaslužuju ljudski pogled |
Automatsko ocjenjivanje, uključujući modele koji ocjenjuju druge modele, korisno je za trijažu: može rangirati pozive prema znakovima problema kako bi ljudi najprije pogledali prave. Ne bi smjelo zamijeniti ljudsko uzorkovanje, osobito kod točnosti i sigurnosti. Koju god automatsku provjeru koristili, testirajte je tako da njezine prosudbe usporedite sa svojima na skupu poziva koje ste pregledali.
Razumno čitanje brojki
Mali uzorci zavaravaju. Ako pregledate deset poziva i dva su prošla loše, ne možete reći da jedan od pet poziva prolazi loše; možete samo reći da ste pronašli dva problema koja vrijedi popraviti. Uzorke koristite za pronalaženje uzroka, a ne za objavljivanje stopa, osim ako je uzorak dovoljno velik i nasumičan da to podrži.
Odvojite agenta od situacije. Pad dovršenih zadataka u tjednu s prekidom usluge nije presuda promptu. Uz metrike bilježite događaje: novo radno vrijeme, kampanju koja je dovela pozivatelje s novim pitanjem, promjenu izvora. Jednostavan zapisnik promjena čini trendove objašnjivima.
Na kraju, unaprijed odlučite što ćete učiniti sa svakim rezultatom. Porast ponavljanja mogao bi vas navesti da pogledate postavke tišine; porast predaja za jednu temu mogao bi vas navesti da za nju dodate točan odgovor. Metrika bez povezanog postupka samo je ukras.
Rezultate podijelite s onima koji se javljaju na telefone, a ne samo s voditeljima. Zaposlenici često znaju zašto obrazac postoji, a upravo oni preuzimaju pozive koje agent preda. Kratak mjesečni pregled s primjerima, uključujući nekoliko poziva koji su prošli dobro, drži rad utemeljenim na stvarnim razgovorima.
Procjena u Callu
U Callu povijest AI poziva navodi pozive iz određenog razdoblja s rezultatom i, kada je poznat, sentimentom te otvara cijeli razgovor izmjenu po izmjenu. Voditelji mogu otvoriti poziv i vidjeti koliko je trajala svaka izgovorena izmjena. Odjeljak Automatski pregled grupira nedavne pozive po temi, rangira nedavne pozive bez ljudskog pregleda prema signalima na njima i nudi uzorak AI sažetaka koje označavate kao točne, djelomično točne ili pogrešne, što hrani tekući pregled točnosti sažetaka. Conversation AI omogućuje i pretraživanje svih pohranjenih transkripata po izrazu. Zajedno vam daju brojke i uzorkovanje koje trebate. Povijest izmjena koristite da vidite ispravke agentovih formulacija.
Tjedni kontrolni popis procjene
- Pročitajte fiksan uzorak poziva, nasumičnih i neobičnih
- Ocijenite dovršene zadatke i točnost
- Prebrojite predaje i zabilježite zašto su se dogodile
- Provjerite najdulje razmake u odgovorima
- Pretražite transkripte po izrazima koji upućuju na zbunjenost
- Zabilježite svaki problem i napravljeni popravak
- Ponovno testirajte popravljene slučajeve prije zatvaranja
Često postavljana pitanja
Koja je najkorisnija pojedinačna metrika za glasovnog agenta?
Ne postoji jedna. Dovršeni zadaci govore jesu li pozivatelji dobili ono što im treba, ali trebate i točnost, kvalitetu predaje i vrijeme kako biste vidjeli zašto.
Koliko poziva trebam pregledati?
Fiksan tjedni uzorak koji možete održati bolji je od povremenog velikog. Počnite sa skromnim brojem i povećajte ga nakon promjena pri pokretanju ili kada se pojave problemi.
Mogu li se osloniti samo na automatsko ocjenjivanje?
Ne za točnost ni sigurnost. Koristite ga za rangiranje i označavanje poziva, a zatim neka ljudi pregledaju označene pozive i nasumičan uzorak.
Zašto se transkripti ponekad ne slažu sa snimkom?
Transkript nastaje prepoznavanjem govora i može sadržavati pogreške. Prije procjene agenta poslušajte zvuk.
Kako znati je li promjena nešto poboljšala?
Imajte fiksan skup testnih slučajeva i redovitu rutinu pregleda, a zatim usporedite rezultate prije i poslije promjene prema istim kriterijima.
Treba li anketirati pozivatelje?
Kratko pitanje nakon poziva može donijeti korisne informacije, ali neka bude kratko i poštujte pravila o kontaktiranju ljudi. Kombinirajte ga s vlastitim pregledom razgovora.