Ako hodnotiť rozhovory hlasového agenta: metriky a kontroly
Praktický spôsob, ako posúdiť telefonického hlasového agenta: metriky, ktoré sa oplatí sledovať, ako vyberať a hodnotiť hovory a ako zistenia premeniť na opravy.
Keď hlasový agent prijíma skutočné hovory, otázka sa mení z funguje to na funguje to dobre. Mnohé tímy odpovedajú vágnym dojmom z niekoľkých hovorov. Trocha štruktúry prinesie oveľa lepšie informácie a povie vám, čo opraviť ďalej.

Tento návod ponúka jednoduchý prístup k hodnoteniu telefonického hlasového agenta: ktoré metriky sledovať, ako kontrolovať hovory ručne a ako zistenia premeniť na zlepšenia. Nadväzuje na článok Testovanie hlasového AI agenta a na všeobecné ukazovatele v článku KPI call centra.
Začnite tým, čo pre vás znamená dobrý hovor
Dobrý hovor pre reštauráciu nie je to isté ako dobrý hovor pre ambulanciu. Skôr než vyberiete metriky, zapíšte si jednou či dvoma vetami, ako vyzerá úspešný hovor pre každý typ hovoru, ktorý očakávate: otázka volajúceho je zodpovedaná, odkaz je zapísaný so správnymi údajmi alebo sa volajúci dostane k správnemu človeku. Všetko ostatné vychádza z týchto definícií.
Päť otázok, ktoré kladie každé hodnotenie
- Porozumel agent volajúcemu?Počul agent otázku a údaje správne?
- Bola odpoveď správna?Bola presná, v rámci schválených informácií a bez vymýšľania?
- Dospel hovor k užitočnému koncu?Bola úloha splnená, odkaz zapísaný alebo hovor odovzdaný?
- Bol zážitok prijateľný?Tempo, tón, opakovania a námaha volajúceho.
- Bol hovor bezpečný?Rešpektoval agent svoje hranice a odovzdal hovor, keď mal?
Metriky, ktoré sa oplatí sledovať
| Metrika | Čo vám povie | Ako ju získať |
|---|---|---|
| Splnenie úlohy | Podiel hovorov, v ktorých sa cieľ volajúceho splnil | Ľudská kontrola vzorky plus výsledky hovorov |
| Presnosť odpovedí | Či tvrdenia zodpovedali schváleným informáciám | Ľudská kontrola voči vašim zdrojom |
| Miera odovzdania | Ako často volajúci žiadajú alebo potrebujú človeka | Výsledky hovorov a žiadosti v Centre podpory |
| Miera opakovaní | Ako často agent žiadal volajúceho, aby niečo zopakoval | Kontrola prepisov |
| Medzera v odpovedi | Čas medzi koncom repliky volajúceho a odpoveďou agenta | Časovanie replík v histórii hovorov |
| Miera opustenia | Volajúci, ktorí zložia pred dosiahnutím výsledku | Záznam hovorov |
| Spätná väzba volajúcich | Ako ľudia vnímali hovor | Krátke prieskumy alebo následné komentáre |
Všimnite si, že väčšina užitočných ukazovateľov si vyžaduje určitý ľudský úsudok. Počty zo záznamu vám povedia koľko, ale len človek, ktorý číta rozhovor, dokáže posúdiť, či hovor prebehol dobre. Počítajte s kombináciou oboch. Ukazovatele platné pre všetky druhy hovorov nájdete v článkoch Vyriešenie pri prvom kontakte a Miera prijatia a miera opustenia hovorov.
Ručná kontrola hovorov
Malá pravidelná vzorka je lepšia než občasná veľká kontrola. Vyberajte hovory náhodne a k nim niekoľko nezvyčajných, napríklad veľmi krátke či veľmi dlhé, hovory, ktoré skončili odovzdaním, a hovory, ktoré skončili zložením volajúceho.
Rutina kontroly hovorov
- VýberKaždý týždeň vyberte pevný počet hovorov, náhodných aj nezvyčajných.
- Počúvanie a čítaniePrehrajte nahrávku a súčasne čítajte prepis.
- HodnotenieOhodnoťte každý hovor podľa svojich kritérií jednoduchou stupnicou.
- Zaznamenanie príčinZapíšte si, prečo sa niečo pokazilo.
- Oprava a nový testZmeňte zdroj, pokyn alebo nastavenie a potom znova otestujte ten istý prípad.
Hodnotenie držte jednoduché
Stačia tri úrovne: dobré, prijateľné a slabé, alebo pri jednotlivých tvrdeniach presné, čiastočne a nesprávne. Jemné stupnice vyvolávajú spory bez pridanej hodnoty. Občas nechajte dvoch ľudí ohodnotiť niekoľko rovnakých hovorov; ak sa často nezhodnú, vaše kritériá potrebujú presnejšie znenie.
Pamätajte, že prepisy môžu byť nesprávne
Prepis je odhad rozpoznávača, nie pravda. Ak prepis vyzerá zvláštne, vypočujte si zvuk skôr, než budete viniť agenta. Pozrite si Prečo je telefonický zvuk pre rozpoznávanie reči náročný.
Meranie rýchlosti a rytmu
Volajúci si oneskorenie všímajú viac než takmer čokoľvek iné. Sledujte medzeru pred každou odpoveďou a pozerajte sa na najhoršie prípady, nielen na priemer, pretože niekoľko veľmi dlhých páuz pokazí dojem. Ak sú medzery dlhé, rozložte, kam sa čas stráca; ako na to, ukazuje článok Latencia hlasovej AI. Všímajte si aj prerušenia: ako často agent hovoril cez volajúceho a ako často ho nechal čakať?
Ručná kontrola alebo automatické hodnotenie
Výber metódy
| Ručná kontrola | Automatické hodnotenie | |
|---|---|---|
| Silná stránka | Rozumie nuansám, tónu a kontextu | Rýchlo pokryje každý hovor |
| Slabá stránka | Pomalá; len vzorka | Môže prehliadnuť jemné problémy alebo zle posúdiť |
| Najvhodnejšie na | Presnosť, bezpečnosť a zážitok volajúceho | Označenie hovorov, ktoré si zaslúžia pohľad človeka |
Automatické hodnotenie vrátane modelov, ktoré hodnotia iné modely, je užitočné na triedenie: dokáže zoradiť hovory podľa znakov problémov, aby sa ľudia najprv pozreli na tie správne. Nemalo by nahrádzať ľudský výber vzoriek, najmä pri presnosti a bezpečnosti. Nech používate akúkoľvek automatickú kontrolu, otestujte ju porovnaním jej verdiktov s vlastnými na súbore hovorov, ktoré ste skontrolovali.
Rozumné čítanie čísel
Malé vzorky zavádzajú. Ak skontrolujete desať hovorov a dva dopadli zle, nemôžete povedať, že zle dopadne každý piaty hovor; môžete len povedať, že ste našli dva problémy, ktoré sa oplatí opraviť. Vzorky používajte na hľadanie príčin, nie na vyhlasovanie mier, pokiaľ vzorka nie je dosť veľká a náhodná, aby to podložila.
Oddeľte agenta od situácie. Pokles splnenia úloh v týždni s výpadkom služby nie je verdiktom o pokynoch. Vedľa metrík si zapisujte udalosti: novú otváraciu hodinu, kampaň, ktorá priviedla volajúcich s novou otázkou, zmenu zdrojov. Jednoduchý záznam zmien urobí trendy vysvetliteľnými.
Nakoniec vopred rozhodnite, čo s každým výsledkom urobíte. Nárast opakovaní vás môže viesť k nastaveniam ticha; nárast odovzdaní pri jednej téme k doplneniu presnej odpovede. Metrika bez prepojeného kroku je len ozdoba.
Výsledky zdieľajte s ľuďmi, ktorí dvíhajú telefóny, aj s manažérmi. Zamestnanci často vedia, prečo vzorec existuje, a práve oni preberajú hovory, ktoré agent odovzdá. Krátke mesačné zhodnotenie s príkladmi vrátane niekoľkých hovorov, ktoré prebehli dobre, udrží prácu ukotvenú v skutočných rozhovoroch.
Hodnotenie v Call
V Call história hovorov AI zobrazuje hovory za obdobie s výsledkom a, ak je známa, náladou a otvára celý rozhovor repliku po replike. Manažéri môžu otvoriť hovor a vidieť, ako dlho trvala každá hovorená replika. Oblasť Automatická kontrola zoskupuje nedávne hovory podľa tém, zoraďuje nedávne hovory bez ľudskej kontroly podľa signálov, ktoré obsahujú, a ponúka vzorku zhrnutí od AI, ktoré označíte ako presné, čiastočne presné alebo nesprávne, čo priebežne tvorí prehľad o presnosti zhrnutí. Konverzačná AI vám tiež umožní vyhľadať frázu vo všetkých uložených prepisoch. Spolu vám tieto nástroje dajú počty aj vzorky, ktoré potrebujete. V histórii úprav uvidíte opravy slov agenta.
Týždenný kontrolný zoznam hodnotenia
- Prečítajte pevnú vzorku hovorov, náhodných aj nezvyčajných
- Ohodnoťte splnenie úloh a presnosť
- Spočítajte odovzdania a poznačte si, prečo nastali
- Skontrolujte najdlhšie medzery v odpovediach
- V prepisoch vyhľadajte frázy, ktoré signalizujú zmätok
- Zaznamenajte každý problém a vykonanú opravu
- Opravené prípady pred uzavretím znova otestujte
Často kladené otázky
Ktorá metrika je pre hlasového agenta najužitočnejšia?
Neexistuje jediná. Splnenie úlohy vám povie, či volajúci dostali, čo potrebovali, ale aby ste videli prečo, potrebujete aj presnosť, kvalitu odovzdania a časovanie.
Koľko hovorov mám kontrolovať?
Pevná týždenná vzorka, ktorú zvládnete udržať, je lepšia než občasná veľká. Začnite so skromným počtom a zvýšte ho po zmenách pri spustení alebo keď sa objavia problémy.
Môžem sa spoľahnúť len na automatické hodnotenie?
Pri presnosti a bezpečnosti nie. Použite ho na zoradenie a označenie hovorov a potom nechajte ľudí skontrolovať označené hovory a náhodnú vzorku.
Prečo sa prepisy niekedy nezhodujú s nahrávkou?
Prepis vytvára rozpoznávanie reči a môže obsahovať chyby. Skôr než posúdite agenta, vypočujte si zvuk.
Ako zistím, či zmena niečo zlepšila?
Majte pevnú sadu testovacích prípadov a pravidelnú rutinu kontroly a potom porovnajte výsledky pred zmenou a po nej podľa rovnakých kritérií.
Majú sa volajúci dotazovať?
Krátka otázka po hovore môže pridať užitočné informácie, ale nech je stručná a rešpektuje pravidlá kontaktovania ľudí. Spojte ju s vlastnou kontrolou rozhovoru.