Tehnologia AI vocală

Cum evaluați conversațiile unui agent vocal: indicatori și analize

O metodă practică de a judeca un agent vocal telefonic: indicatorii care merită urmăriți, cum eșantionați și notați apelurile și cum ajungeți la corecturi.

Echipa editorială Call · Publicat · 5 min de citit

Odată ce un agent vocal răspunde la apeluri reale, întrebarea se schimbă din „funcționează?” în „funcționează bine?”. Multe echipe răspund cu o impresie vagă formată din câteva apeluri. Puțină structură oferă informații mult mai bune și vă spune ce să corectați în continuare.

Un coordonator de echipă analizând cu un coleg notițe despre calitatea apelurilor
Imagine ilustrativă

Acest ghid propune o abordare simplă de evaluare a unui agent vocal telefonic: ce indicatori să urmăriți, cum să analizați manual apelurile și cum să transformați constatările în îmbunătățiri. Se bazează pe Testarea unui agent AI vocal și pe indicatorii generali din KPI pentru call center.

Porniți de la ce înseamnă „bine” pentru dumneavoastră

Un apel bun pentru un restaurant nu este același lucru cu un apel bun pentru o clinică. Înainte de a alege indicatorii, notați într-o propoziție sau două cum arată un apel reușit pentru fiecare tip de apel la care vă așteptați: întrebarea apelantului primește răspuns, un mesaj este preluat cu detaliile corecte sau apelantul ajunge la persoana potrivită. Tot restul decurge din aceste definiții.

Cinci întrebări pe care le pune orice evaluare

  • A fost înțeles apelantul?A auzit agentul corect întrebarea și detaliile?
  • A fost corect răspunsul?A fost exact, în limitele informațiilor aprobate și fără invenții?
  • A ajuns apelul la un final util?S-a îndeplinit sarcina, s-a preluat un mesaj sau s-a făcut o predare?
  • A fost experiența acceptabilă?Ritmul, tonul, repetările și efortul apelantului.
  • A fost sigur?Și-a respectat agentul limitele și a predat apelul când trebuia?

Indicatori care merită urmăriți

IndicatorCe vă spuneCum îl obțineți
Finalizarea sarciniiProporția apelurilor în care scopul apelantului a fost atinsAnaliza umană a unui eșantion, plus rezultatele apelurilor
Acuratețea răspunsurilorDacă afirmațiile au corespuns informațiilor aprobateAnaliza umană comparată cu sursele
Rata de predareCât de des cer sau au nevoie apelanții de o persoanăRezultatele apelurilor și cererile din help desk
Rata de repetareCât de des i-a cerut agentul apelantului să repete cevaAnaliza transcrierilor
Pauza de răspunsTimpul dintre sfârșitul replicii apelantului și răspunsul agentuluiTimpii pe replică din istoricul apelurilor
Rata de abandonApelanții care închid înainte de un rezultatJurnalul de apeluri
Feedbackul apelanțilorCum s-au simțit oamenii în legătură cu apelulSondaje scurte sau comentarii ulterioare

Observați că majoritatea indicatorilor utili necesită o anumită judecată umană. Cifrele din jurnal vă spun „câte”, dar doar o persoană care citește conversația poate spune dacă un apel a decurs bine. Așteptați-vă la o combinație a celor două. Pentru indicatorii valabili pentru orice tip de apel, vedeți Rezolvarea din primul apel și Rata de răspuns și rata de abandon.

Analiza manuală a apelurilor

Un eșantion mic și regulat este mai bun decât o analiză amplă ocazională. Alegeți apeluri la întâmplare, plus câteva care par neobișnuite, de exemplu foarte scurte sau foarte lungi, apeluri încheiate cu o predare și apeluri în care apelantul a închis.

O rutină de analiză a apelurilor

  1. EșantionațiAlegeți un număr fix de apeluri pe săptămână, combinând apeluri aleatorii și neobișnuite.
  2. Ascultați și citițiRedați înregistrarea și citiți transcrierea în paralel.
  3. NotațiEvaluați fiecare apel după criterii, pe o scală simplă.
  4. Notați cauzeleScrieți de ce a mers prost ceva.
  5. Corectați și retestațiModificați sursa, promptul sau setarea, apoi retestați același caz.

Păstrați notarea simplă

Trei niveluri sunt suficiente: bun, acceptabil și slab sau, pentru afirmații individuale, corect, parțial și greșit. Scalele foarte detaliate creează dispute fără să aducă mai multă înțelegere. Rugați ocazional două persoane să noteze câteva apeluri identice; dacă nu sunt de acord des, criteriile trebuie formulate mai precis.

Nu uitați că transcrierile pot fi greșite

Transcrierea este presupunerea motorului de recunoaștere, nu adevărul. Dacă o transcriere arată ciudat, ascultați sunetul înainte să dați vina pe agent. Vedeți De ce sunetul telefonic este dificil pentru recunoașterea vocală.

Măsurarea vitezei și a ritmului

Apelanții observă întârzierea mai mult decât aproape orice alt factor. Urmăriți pauza dinaintea fiecărui răspuns și uitați-vă la cazurile cele mai proaste, nu doar la medie, pentru că câteva pauze foarte lungi strică impresia. Dacă pauzele sunt lungi, aflați unde se duce timpul; Latența AI-ului vocal arată cum. Fiți atent și la întreruperi: cât de des a vorbit agentul peste apelant și cât de des l-a lăsat să aștepte?

Analiză manuală sau notare automată

Alegerea metodei

Analiză manualăNotare automată
Punct forteÎnțelege nuanțele, tonul și contextulAcoperă rapid toate apelurile
Punct slabLentă; doar un eșantionPoate rata probleme subtile sau poate judeca greșit
Cel mai potrivit pentruAcuratețe, siguranță și experiența apelantuluiSemnalarea apelurilor care merită o privire umană

Notarea automată, inclusiv modelele care evaluează alte modele, este utilă pentru triaj: poate ordona apelurile după semnele de probleme, astfel încât oamenii să se uite mai întâi la cele potrivite. Nu ar trebui să înlocuiască eșantionarea umană, mai ales pentru acuratețe și siguranță. Oricare ar fi verificarea automată folosită, testați-o comparând verdictele ei cu ale dumneavoastră pe un set de apeluri pe care le-ați analizat.

Interpretarea rezonabilă a cifrelor

Eșantioanele mici induc în eroare. Dacă analizați zece apeluri și două au mers prost, nu puteți spune că unul din cinci apeluri merge prost; puteți spune doar că ați găsit două probleme care merită corectate. Folosiți eșantioanele ca să găsiți cauze, nu ca să anunțați rate, cu excepția cazului în care eșantionul este suficient de mare și de aleatoriu ca să susțină acest lucru.

Separați agentul de situație. O scădere a ratei de finalizare într-o săptămână cu o întrerupere a serviciului nu este un verdict asupra promptului. Notați evenimentele alături de indicatori: un nou program, o campanie care a adus apelanți cu o întrebare nouă, o modificare a surselor. Un simplu jurnal al modificărilor face tendințele explicabile.

În sfârșit, decideți dinainte ce veți face cu fiecare rezultat. O creștere a repetărilor v-ar putea face să verificați setările de tăcere; o creștere a predărilor pe un anumit subiect v-ar putea face să adăugați un răspuns exact pentru el. Un indicator fără o acțiune asociată este doar decor.

Împărtășiți rezultatele atât cu managerii, cât și cu cei care răspund la telefoane. Angajații știu adesea de ce există un anumit tipar și tot ei preiau apelurile predate de agent. O scurtă analiză lunară cu exemple, inclusiv câteva apeluri care au mers bine, ține munca ancorată în conversații reale.

Evaluarea în Call

În Call, istoricul apelurilor AI listează apelurile dintr-o perioadă, cu rezultatul și, atunci când este cunoscut, sentimentul, și deschide întreaga conversație replică cu replică. Managerii pot deschide un apel ca să vadă cât a durat fiecare replică rostită. Zona de analiză automată grupează apelurile recente pe subiecte, ordonează apelurile recente fără analiză umană după semnalele pe care le prezintă și oferă un eșantion de rezumate AI pe care le puteți marca drept corecte, parțial corecte sau greșite, ceea ce alimentează o imagine continuă a acurateței rezumatelor. Conversation AI vă permite și să căutați o expresie în toate transcrierile stocate. Împreună, acestea vă oferă cifrele și eșantionarea de care aveți nevoie. Folosiți istoricul modificărilor pentru a vedea corecturile aduse formulărilor agentului.

Un checklist săptămânal de evaluare

  • Citiți un eșantion fix de apeluri, aleatorii și neobișnuite
  • Notați finalizarea sarcinii și acuratețea
  • Numărați predările și notați de ce au avut loc
  • Verificați cele mai lungi pauze de răspuns
  • Căutați în transcrieri expresii care semnalează confuzie
  • Înregistrați fiecare problemă și corectura aplicată
  • Retestați cazurile corectate înainte de a le închide

Întrebări frecvente

Care este cel mai util indicator pentru un agent vocal?

Nu există unul singur. Finalizarea sarcinii vă spune dacă apelanții au obținut ce le trebuia, dar aveți nevoie și de acuratețe, calitatea predării și timpi de răspuns ca să înțelegeți de ce.

Câte apeluri ar trebui să analizez?

Un eșantion săptămânal fix, pe care îl puteți susține, este mai bun decât unul mare, ocazional. Începeți cu un număr modest și creșteți-l după modificările de la lansare sau când apar probleme.

Mă pot baza doar pe notarea automată?

Nu pentru acuratețe sau siguranță. Folosiți-o ca să ordonați și să semnalați apeluri, apoi lăsați oamenii să analizeze apelurile semnalate și un eșantion aleatoriu.

De ce nu corespund uneori transcrierile cu înregistrarea?

Transcrierea este produsă de recunoașterea vocală și poate conține erori. Ascultați sunetul înainte de a judeca agentul.

Cum știu dacă o modificare a îmbunătățit lucrurile?

Păstrați un set fix de cazuri de test și o rutină regulată de analiză, apoi comparați rezultatele de dinainte și de după modificare folosind aceleași criterii.

Ar trebui să le cer apelanților părerea?

O întrebare scurtă după apel poate aduce informații utile, dar păstrați-o scurtă și respectați regulile privind contactarea persoanelor. Combinați-o cu propria analiză a conversației.

Analizați conversațiile AI în istoricul apelurilor din Call

În consola demo puteți încerca apeluri primite într-o simulare.

Ghiduri conexe