Technologie hlasové AI

Jak hodnotit rozhovory hlasového agenta: metriky a kontroly

Praktický způsob, jak posoudit telefonního hlasového agenta: metriky, které stojí za sledování, jak vybírat a hodnotit hovory a jak zjištění proměnit v opravy.

Redakce Call · Zveřejněno · Čtení na 5 min

Jakmile hlasový agent přijímá skutečné hovory, otázka se mění z toho, zda funguje, na to, zda funguje dobře. Mnoho týmů odpovídá vágním dojmem z hrstky hovorů. Trocha struktury dá mnohem lepší informace a řekne vám, co opravit jako další.

Vedoucí týmu prochází s kolegou poznámky ke kvalitě hovorů
Ilustrační obrázek

Tento průvodce nabízí jednoduchý přístup k hodnocení telefonního hlasového agenta: které metriky sledovat, jak ručně kontrolovat hovory a jak zjištění proměnit ve zlepšení. Navazuje na článek Testování hlasového AI agenta a obecné ukazatele v článku KPI call centra.

Začněte tím, co pro vás znamená dobrý hovor

Dobrý hovor pro restauraci není totéž co dobrý hovor pro ordinaci. Než zvolíte metriky, napište jednou nebo dvěma větami, jak vypadá úspěšný hovor u každého typu hovoru, který očekáváte: otázka volajícího je zodpovězena, vzkaz je přijat se správnými údaji nebo se volající dostane ke správnému člověku. Vše ostatní z těchto definic vyplývá.

Pět otázek, které klade každé hodnocení

  • Porozuměl agent volajícímu?Slyšel agent otázku a údaje správně?
  • Byla odpověď správná?Byla přesná, v mezích schválených informací a bez vymýšlení?
  • Dospěl hovor k užitečnému konci?Byl úkol splněn, vzkaz přijat nebo hovor předán?
  • Byla zkušenost přijatelná?Tempo, tón, opakování a námaha volajícího.
  • Byl hovor bezpečný?Respektoval agent své limity a předal hovor, když měl?

Metriky, které stojí za sledování

MetrikaCo vám říkáJak ji získat
Dokončení úkoluPodíl hovorů, ve kterých byl cíl volajícího splněnLidská kontrola vzorku a výsledky hovorů
Přesnost odpovědíZda tvrzení odpovídala schváleným informacímLidská kontrola oproti vašim zdrojům
Míra předáníJak často volající žádají o člověka nebo ho potřebujíVýsledky hovorů a požadavky v helpdesku
Míra opakováníJak často agent žádal volajícího, aby něco zopakovalKontrola přepisů
Mezera v odpovědiČas mezi koncem promluvy volajícího a odpovědí agentaČasování jednotlivých promluv v historii hovorů
Míra opuštěníVolající, kteří zavěsí před dosažením výsledkuZáznam hovorů
Zpětná vazba volajícíchJak lidé hovor vnímaliKrátké průzkumy nebo následné komentáře

Všimněte si, že většina užitečných ukazatelů vyžaduje určitý lidský úsudek. Počty ze záznamu vám řeknou kolik, ale jen člověk, který čte rozhovor, pozná, zda hovor proběhl dobře. Počítejte s kombinací obojího. Ukazatele, které platí pro každý druh hovoru, popisují články Vyřešení při prvním kontaktu a Míra přijetí a míra opuštění.

Ruční kontrola hovorů

Malý pravidelný vzorek je lepší než občasná velká kontrola. Vybírejte hovory náhodně a k tomu několik neobvyklých, například velmi krátké nebo velmi dlouhé, hovory, které skončily předáním, a hovory, které skončily zavěšením volajícího.

Postup kontroly hovorů

  1. VzorekKaždý týden vyberte pevný počet hovorů, náhodných i neobvyklých.
  2. Poslech a čteníPřehrávejte nahrávku a současně čtěte přepis.
  3. HodnoceníOhodnoťte každý hovor podle svých kritérií jednoduchou stupnicí.
  4. PříčinyZapište, proč se cokoli pokazilo.
  5. Oprava a nový testZměňte zdroj, prompt nebo nastavení a pak stejný případ otestujte znovu.

Udržujte hodnocení jednoduché

Stačí tři úrovně: dobré, přijatelné a špatné, nebo u jednotlivých tvrzení přesné, částečně a špatně. Jemné stupnice vyvolávají spory, aniž by přinášely vhled. Občas nechte dva lidi ohodnotit několik stejných hovorů; pokud se často neshodnou, vaše kritéria potřebují přesnější formulaci.

Pamatujte, že přepisy mohou být chybné

Přepis je odhad rozpoznávače, ne pravda. Pokud přepis vypadá podivně, poslechněte si zvuk dřív, než budete vinit agenta. Viz Proč je telefonní zvuk pro rozpoznávání řeči obtížný.

Měření rychlosti a rytmu

Volající vnímají zpoždění víc než téměř cokoli jiného. Sledujte mezeru před každou odpovědí a dívejte se na nejhorší případy, nejen na průměr, protože pár velmi dlouhých pauz pokazí celkový dojem. Pokud jsou mezery dlouhé, rozeberte, kde se čas ztrácí; Latence hlasové AI ukazuje jak. Věnujte pozornost i přerušením: jak často agent mluvil přes volajícího a jak často ho nechal čekat?

Ruční kontrola, nebo automatické hodnocení

Volba metody

Ruční kontrolaAutomatické hodnocení
Silná stránkaRozumí nuancím, tónu a kontextuRychle pokryje každý hovor
Slabá stránkaPomalá; jen vzorekMůže přehlédnout jemné problémy nebo chybně soudit
Nejlépe se hodí proPřesnost, bezpečnost a zkušenost volajícíchOznačení hovorů, které si zaslouží lidský pohled

Automatické hodnocení, včetně modelů, které hodnotí jiné modely, je užitečné pro třídění: dokáže seřadit hovory podle známek potíží, aby se lidé nejprve podívali na ty správné. Nemělo by nahradit lidskou kontrolu vzorku, zejména u přesnosti a bezpečnosti. Ať používáte jakoukoli automatickou kontrolu, otestujte ji porovnáním jejích verdiktů s vlastními na sadě hovorů, které jste zkontrolovali.

Rozumné čtení čísel

Malé vzorky klamou. Pokud zkontrolujete deset hovorů a dva dopadly špatně, nemůžete tvrdit, že špatně dopadá každý pátý hovor; můžete jen říct, že jste našli dva problémy, které stojí za opravu. Vzorky používejte k hledání příčin, ne k vyhlašování podílů, pokud vzorek není dost velký a náhodný, aby to unesl.

Oddělte agenta od situace. Pokles dokončení úkolů v týdnu s výpadkem služby není verdiktem nad promptem. Zapisujte si události vedle metrik: nová otevírací doba, kampaň, kvůli které volající přišli s novou otázkou, změna zdrojů. Jednoduchý záznam změn umožní trendy vysvětlit.

Nakonec předem rozhodněte, co s každým výsledkem uděláte. Nárůst opakování vás může vést ke kontrole nastavení ticha; nárůst předání u jednoho tématu vás může vést k doplnění přesné odpovědi. Metrika bez navazujícího kroku je jen ozdoba.

Výsledky sdílejte s lidmi, kteří zvedají telefony, i s vedoucími. Zaměstnanci často vědí, proč nějaký vzorec existuje, a jsou to oni, kdo přebírá hovory, které agent předá. Krátké měsíční hodnocení s příklady, včetně několika hovorů, které proběhly dobře, udrží práci ukotvenou ve skutečných rozhovorech.

Hodnocení v Call

V Call historie hovorů AI uvádí hovory za období s výsledkem a, pokud je známa, s náladou a otevírá celý rozhovor replika po replice. Vedoucí mohou otevřít hovor a zjistit, jak dlouho trvala každá promluva. Sekce Automatická kontrola seskupuje nedávné hovory podle témat, řadí nedávné hovory bez lidské kontroly podle signálů, které na nich jsou, a nabízí vzorek AI shrnutí, která označíte jako přesná, částečně, nebo špatně, což průběžně zpřesňuje přehled o přesnosti shrnutí. Konverzační AI také umožňuje prohledat všechny uložené přepisy podle fráze. Společně vám to dá počty i vzorky, které potřebujete. Opravy agentových formulací uvidíte v historii úprav.

Týdenní kontrolní seznam hodnocení

  • Přečtěte pevný vzorek hovorů, náhodných i neobvyklých
  • Ohodnoťte dokončení úkolu a přesnost
  • Spočítejte předání a zapište, proč k nim došlo
  • Zkontrolujte nejdelší mezery v odpovědích
  • Vyhledejte v přepisech fráze, které signalizují zmatek
  • Zaznamenejte každý problém a provedenou opravu
  • Opravené případy před uzavřením znovu otestujte

Často kladené otázky

Která metrika je pro hlasového agenta nejužitečnější?

Žádná jediná neexistuje. Dokončení úkolu vám řekne, zda volající dostali, co potřebovali, ale abyste viděli proč, potřebujete i přesnost, kvalitu předání a časování.

Kolik hovorů mám kontrolovat?

Pevný týdenní vzorek, který dokážete udržet, je lepší než občasný velký. Začněte skromným počtem a zvyšte ho po změnách při spuštění nebo když se objeví problémy.

Mohu se spolehnout jen na automatické hodnocení?

U přesnosti a bezpečnosti ne. Použijte ho k řazení a označování hovorů a pak nechte lidi zkontrolovat označené hovory a náhodný vzorek.

Proč se přepisy někdy neshodují s nahrávkou?

Přepis vytváří rozpoznávání řeči a může obsahovat chyby. Než budete agenta soudit, poslechněte si zvuk.

Jak poznám, že změna situaci zlepšila?

Mějte pevnou sadu testovacích případů a pravidelnou rutinu kontrol a pak porovnejte výsledky před změnou a po ní podle stejných kritérií.

Mají se volající dotazovat průzkumem?

Krátká otázka po hovoru může přinést užitečné informace, ale udržte ji stručnou a respektujte pravidla pro kontaktování lidí. Doplňte ji vlastní kontrolou rozhovoru.

Procházejte AI rozhovory ve své historii hovorů v Call

V demo konzoli si můžete příchozí hovory vyzkoušet v simulaci.

Související průvodci