Kvalita a tým

Kalibrační schůzky QA, které udrží hodnocení hovorů férové

Jak vést kalibrační schůzky, aby hodnotitelé posuzovali hovory stejně: vyberte hovory, hodnoťte nezávisle, proberte rozdíly, upravte kartu a sledujte shodu.

Redakce Call · Zveřejněno · Čtení na 5 min

Pokud dva hodnotitelé poslouchají stejný hovor a jeden ho ohodnotí jako velmi dobrý, zatímco druhý ho shodí, operátoři rychle přestanou skóre věřit. Kalibrace je návyk, který tomu zabrání. Hodnotitelé posoudí stejné hovory každý zvlášť, porovnají poznámky a rozdíly vyřeší, aby skóre znamenalo totéž, ať ho dal kdokoli.

Malá skupina hodnotitelů kvality diskutuje u jednacího stolu nad vytištěnou hodnoticí kartou
Ilustrační obrázek

Tento průvodce ukazuje, jak vést kalibrační schůzky v malém týmu. Navazuje na článek Řízení kvality hovorů a podporuje smyčku zpětné vazby z článku Jednoduchý rámec pro koučink operátorů na hovorech.

Proč na kalibraci záleží

Hodnoticí karty jsou psané slovy a slova se čtou různě. „Projevená empatie“ nebo „vyřešení problému“ znamenají pro různé hodnotitele, nebo pro téhož hodnotitele v různé dny, něco jiného. Bez kalibrace vzniknou tři problémy: nespravedlivé skóre mezi operátory, koučink založený na názorech a reporty, které nelze porovnávat v čase ani mezi týmy.

Známky, že kalibraci potřebujete

  • Operátoři skóre zpochybňujíŘíkají, že jiný hodnotitel by stejný hovor uznal.
  • Průměry hodnotitelů se lišíJeden hodnotitel je soustavně přísnější nebo shovívavější než jiný.
  • Noví hodnotitelé se odchylujíSkóre se posune, když někdo nastoupí nebo zastupuje.
  • Položky karty jsou vágníRůzní lidé je vysvětlují různě.

Příprava schůzky

Dobrá schůzka potřebuje trochu přípravy. Moderovat by ji měl někdo, kdo hodnoticí kartu dobře zná a dokáže zůstat neutrální, často vedoucí QA nebo zkušený vedoucí týmu.

Před schůzkou

  1. Vyberte tři nebo čtyři hovoryZahrňte jasně vyhovující, jasně nevyhovující a alespoň jeden hraniční hovor.
  2. Odstraňte identifikační údajeSkryjte jména operátorů, aby se diskuse týkala hovoru.
  3. Sdílejte hodnoticí kartuVšichni používají aktuální verzi s definicemi.
  4. Požádejte o nezávislé hodnoceníKaždý hodnotitel hodnotí před schůzkou a s ostatními o tom nemluví.

Nejlepší materiál poskytují skutečné hovory. Hraniční hovory berte z běžného hodnocení, protože právě v nich se skrývají neshody. Ověřte, že nahrávky lze podle vašich interních pravidel sdílet s hodnotiteli, a s osobními údaji zacházejte opatrně; stránku nahrávání popisuje článek Upozornění na nahrávání hovorů z naší řady průvodců.

Průběh schůzky

Začněte skóre, ne názory. Dejte výsledky všech hodnotitelů po jednotlivých položkách na sdílenou obrazovku a hledejte položky s největšími rozdíly. Těmi začněte.

  1. Ukažte rozptyl. U každého hovoru zobrazte celkové skóre každého hodnotitele a rozdíly na úrovni položek.
  2. Požádejte každého hodnotitele, aby sporou položku vysvětlil a uvedl moment v hovoru, který jeho rozhodnutí určil.
  3. Vraťte se ke znění hodnoticí karty. Říká jasně, co se počítá jako splněné?
  4. Dohodněte se na odpovědi pro tento hovor a zapište zdůvodnění.
  5. Pokud je problém ve znění, poznamenejte si změnu, kterou je třeba udělat; neopravujte ho na místě způsobem, který lidi zmate.

Základní pravidla

Smyšlená schůzka v praxi

Představte si šestičlenný tým se třemi hodnotiteli. Vyberou čtyři hovory a každý je ohodnotí sám. U třetího hovoru dá jeden hodnotitel u položky o ověření údajů zákazníka splněno a druhý nesplněno. Moderátor požádá každého, aby přehrál moment, o který se opíral. Ukáže se, že operátor ověřil PSČ, ale ne jméno, a hodnoticí karta říká jen „ověřit údaje“. Tým se shodne, že položka má přesně uvést, které dva údaje se počítají, přepíše ji a rozhodnutí zaznamená.

Tato malá změna odstraní zdroj nespravedlivého skóre ve všech budoucích hodnoceních. Právě tento vzorec hledejte: neshoda ohledně hovoru obvykle signalizuje mezeru v hodnoticí kartě.

Nezapomeňte smyčku uzavřít i s operátory. Řekněte jim, co se ve znění změnilo a proč, a změnu uplatněte od stanoveného data, místo abyste přehodnocovali staré hovory. Pokud bylo dřívější skóre kvůli starému znění zjevně nespravedlivé, otevřeně ho opravte.

Jak z neshody udělat lepší hodnoticí kartu

Nejcennějším výsledkem schůzky bývá jasnější hodnoticí karta. Pokud se hodnotitelé u položky neshodnou, je položka pravděpodobně vágní. Udělejte ji konkrétní.

Vágní položkaJasnější verze
Projevená empatieProblém zákazníka zopakován jeho vlastními slovy dřív, než bylo nabídnuto řešení.
Vyřešení problémuÚplná odpověď nebo jasný další krok s termínem.
Profesionální tónŽádné skákání do řeči, žádný sarkasmus, zdvořilé zahájení i ukončení.
Dodržení postupuZákazník ověřen podle kroků aktuálního postupu.

Ke každé položce přidejte jednu nebo dvě ukázkové fráze pro splnění a nesplnění. U položek, které se na daný typ hovoru nevztahují, používejte „N/A“ záměrně, místo abyste hádali. Kritické položky, které mohou shodit celý hovor, omezte na velmi krátký seznam a formulujte je jednoznačně. Rozumná hranice úspěšnosti je rozhodnutím vašeho týmu; neměňte ji, aniž byste to operátorům řekli.

Měření shody v čase

Složitou statistiku nepotřebujete. Jednoduchým měřítkem je rozptyl mezi nejvyšším a nejnižším celkovým skóre u každého kalibrovaného hovoru. Sledujte průměrný rozptyl po měsících a dívejte se na položky, které vyvolávají nejvíc neshod.

Jak číst rozptyl

Malý rozptylVelký rozptyl
Co naznačujeHodnotitelé čtou kartu podobněHodnotitelé ji čtou různě
Co dělatZachovat rutinu a obměňovat hovoryPřepsat položky, přidat příklady, brzy uspořádat další schůzku
RizikoUspokojení, stejná slepá místaNespravedlivé skóre a nedůvěra

Orientačně platí, že rozptyl nad zhruba dvacet bodů na stobodové škále signalizuje, že hodnotitelé používají kartu různě a že stojí za to dohodnout se na znění společně. Jakékoli takové číslo berte jako vodítko pro svůj tým, ne jako standard.

Veďte záznam rozhodnutí. Stačí jednoduchý sdílený dokument s datem, hovorem, spornou položkou a dohodnutým výkladem. Noví hodnotitelé se z něj naučí, jak tým kartu uplatňuje, a stejný spor se nebude vracet každý měsíc. Při revizi karty záznam projděte a vyřaďte položky, které nové znění učinilo zbytečnými.

Četnost a účastníci

Propojte kalibraci s plánem výběru vzorku, aby hodnotitelé viděli různé operátory a typy hovorů; viz Kolik hovorů hodnotit?. Pokud hovory předběžně hodnotí nástroj AI, zahrňte do kalibrace i několik jeho výsledků, aby se lidé naučili, kdy mu věřit a kdy ho přehlasovat.

Kalibrace v Call

Oblast Rozbor a koučink v Call obsahuje sekci „Kalibrace“, která uvádí hovory ohodnocené více než jedním hodnotitelem spolu s rozptylem jejich skóre. Správci a manažeři hodnotí hovory z fronty k rozboru tak, že u každé položky hodnoticí karty zvolí Splněno, Selhání nebo N/A, a kritické položky při nesplnění vynulují celé skóre. Podle pokynů Call rozptyl nad 20 bodů znamená, že hodnotitelé čtou kartu různě, a měli by se proto na ní dohodnout společně.

Call také umí některé položky ohodnotit sám, pokud je popíšete jako slova, která zazněla nebo nezazněla, a to pomocí pravidel „Automatické skórování“. Udržujte tato pravidla úzká a pravdivá; prázdné pravidlo je lepší než odhadnuté. Fronta k rozboru a hodnoticí karta vyžadují ve vašem pracovním prostoru aktivní hodnoticí kartu, proto ji nastavte dřív, než kolem ní začnete plánovat kalibraci.

Často kladené otázky

Čím se kalibrace liší od běžného hodnocení kvality?

Při běžném hodnocení hovor posuzuje jeden hodnotitel. Při kalibraci stejný hovor nezávisle ohodnotí několik hodnotitelů a pak výsledky porovnají. Účelem je sladit hodnotitele, ne posoudit operátora.

Musí mít hodnotitelé totožné skóre?

Ne. Malé rozdíly jsou normální. Cílem je shodnout se, co se u každé položky počítá jako splněné, a udržet celkový rozptyl malý.

Kolik hovorů použít na jedné schůzce?

Obvykle stačí tři nebo čtyři. Víc hovorů udělá schůzku dlouhou a povrchní. Vybírejte hovory, které neshody odhalí.

Mají operátoři vidět výsledky kalibrace?

Operátoři by měli vidět definice z hodnoticí karty a všechny změny, které z kalibrace vzejdou. Zda sdílet srovnání hovor po hovoru, je rozhodnutím týmu, ale otevřenost buduje důvěru.

Co když je jeden hodnotitel vždy přísnější?

Podívejte se, které položky rozdíl způsobují, a proberte je na schůzce. Často je nejasné znění karty. Pokud rozdíl přetrvává, dejte tomuto hodnotiteli další pokyny a příklady.

Jak často aktualizovat hodnoticí kartu?

Když kalibrace ukazuje opakovaný zmatek, když se změní váš postup nebo produkt, nebo když se změní potřeby zákazníků. Změny operátorům oznamte.

Porovnejte v Call hodnocení stejného hovoru od různých hodnotitelů

V demo konzoli si můžete příchozí hovory vyzkoušet v simulaci.

Související průvodci