Laatu ja tiimi

Laadunarvioinnin kalibrointikokoukset reilun pisteytyksen tueksi

Näin pidätte kalibrointikokoukset, joissa arvioijat pisteyttävät puhelut samalla tavalla: puheluvalinta, sokkoarviointi, erot, arviointikortti ja yksimielisyys.

Call-toimitus · Julkaistu · Lukuaika 4 min

Jos kaksi arvioijaa kuuntelee saman puhelun ja toinen antaa sille erinomaiset pisteet toisen hylätessä sen, asiantuntijat lakkaavat nopeasti luottamasta pisteisiin. Kalibrointi on tapa, joka estää tämän. Arvioijat pisteyttävät samat puhelut erikseen, vertaavat muistiinpanojaan ja sopivat erot, jotta pistemäärä tarkoittaa samaa riippumatta siitä, kuka sen antoi.

Pieni joukko laatuarvioijia keskustelee tulostetusta arviointikortista kokouspöydän ääressä
Havainnekuva

Tässä oppaassa näytetään, miten kalibrointikokouksia pidetään pienessä tiimissä. Se pohjautuu artikkeliin Puheluiden laadunhallinta ja tukee palautekiertoa, jota kuvataan artikkelissa Yksinkertainen malli asiantuntijoiden puheluvalmennukseen.

Miksi kalibrointi on tärkeää

Arviointikortit on kirjoitettu sanoin, ja sanoja luetaan eri tavoin. ”Osoitti empatiaa” tai ”ratkaisi asian” tarkoittavat eri asioita eri arvioijille tai samalle arvioijalle eri päivinä. Ilman kalibrointia syntyy kolme ongelmaa: epäreilut pisteet asiantuntijoiden välillä, mielipiteisiin perustuva valmennus ja raportit, joita ei voi verrata ajassa tai tiimien välillä.

Merkkejä kalibroinnin tarpeesta

  • Asiantuntijat kiistävät pisteitäHe sanovat, että toinen arvioija olisi hyväksynyt saman puhelun.
  • Arvioijien keskiarvot eroavatYksi arvioija on johdonmukaisesti toista ankarampi tai lempeämpi.
  • Uudet arvioijat ajautuvat erilleenPisteet muuttuvat, kun joku liittyy joukkoon tai sijaistaa.
  • Arviointikortin kohdat ovat epämääräisiäEri ihmiset selittävät ne eri tavoin.

Kokouksen valmistelu

Hyvä kokous vaatii hieman valmistelua. Vetäjän kannattaa olla henkilö, joka tuntee arviointikortin hyvin ja pystyy pysymään puolueettomana, usein laatuvastaava tai kokenut tiiminvetäjä.

Ennen kokousta

  1. Valitkaa kolme tai neljä puheluaMukaan selvä hyväksytty, selvä hylätty ja ainakin yksi rajatapaus.
  2. Poistakaa tunnistetiedotPiilottakaa asiantuntijoiden nimet, jotta keskustelu pysyy puhelussa.
  3. Jakakaa arviointikorttiKaikki käyttävät nykyistä versiota määritelmineen.
  4. Pyytäkää itsenäinen pisteytysJokainen arvioija pisteyttää ennen kokousta eikä keskustele siitä muiden kanssa.

Todelliset puhelut ovat paras materiaali. Poimikaa rajatapauksia tavallisesta arvioinnistanne, koska juuri niissä erimielisyys piilee. Tarkistakaa, että tallenteet saa jakaa arvioijille sisäisten sääntöjenne mukaisesti, ja käsitelkää henkilötietoja huolellisesti; tallennuspuolta käsitellään artikkelissa Suostumus puheluiden tallentamiseen.

Kokouksen kulku

Aloittakaa pisteistä, älkää mielipiteistä. Näyttäkää kaikkien kohtakohtaiset tulokset yhteisellä näytöllä ja etsikää kohdat, joissa erot ovat suurimmat. Käykää ne läpi ensin.

  1. Kertokaa hajonta. Näyttäkää jokaisesta puhelusta kunkin arvioijan kokonaispisteet ja kohtakohtaiset erot.
  2. Pyytäkää jokaista arvioijaa perustelemaan kiistanalainen kohta ja nimeämään puhelun hetki, johon päätös perustui.
  3. Palatkaa arviointikortin sanamuotoon. Kertooko se selvästi, mikä lasketaan hyväksytyksi?
  4. Sopikaa tämän puhelun ratkaisu ja kirjatkaa perustelut.
  5. Jos ongelma on sanamuodossa, kirjatkaa tehtävä muutos; älkää korjatko sitä lennossa tavalla, joka hämmentää ihmisiä.

Pelisäännöt

Kuvitteellinen kokous käytännössä

Kuvitelkaa kuuden hengen tiimi, jossa on kolme arvioijaa. He valitsevat neljä puhelua ja pisteyttävät ne yksin. Kolmannessa puhelussa yksi arvioija hyväksyy asiakkaan tietojen varmistamista koskevan kohdan ja toinen hylkää sen. Vetäjä pyytää kumpaakin soittamaan hetken, johon he tukeutuivat. Selviää, että asiantuntija varmisti postinumeron mutta ei nimeä, ja arviointikortissa lukee vain ”varmista tiedot”. Tiimi sopii, että kohdassa pitää luetella tarkalleen, mitkä kaksi tietoa lasketaan, kirjoittaa sen uudelleen ja kirjaa päätöksen.

Tuo pieni muutos poistaa epäreilujen pisteiden lähteen jokaisesta tulevasta arvioinnista. Tätä kuviota kannattaa etsiä: erimielisyys puhelusta on yleensä merkki aukosta arviointikortissa.

Muistakaa sulkea kehä asiantuntijoiden kanssa. Kertokaa heille, mikä sanamuodossa muuttui ja miksi, ja soveltakaa muutosta ilmoitetusta päivästä alkaen sen sijaan, että pisteytätte vanhoja puheluita uudelleen. Jos aiempi pistemäärä oli vanhan sanamuodon vuoksi selvästi epäreilu, korjatkaa se avoimesti.

Erimielisyydestä parempi arviointikortti

Kokouksen arvokkain tulos on yleensä selkeämpi arviointikortti. Jos arvioijat ovat eri mieltä kohdasta, kohta on todennäköisesti epämääräinen. Tehkää siitä konkreettinen.

Epämääräinen kohtaSelkeämpi versio
Osoitti empatiaaTunnusti asiakkaan ongelman tämän omin sanoin ennen ratkaisun tarjoamista.
Ratkaisi asianAntoi täydellisen vastauksen tai sopi selkeän seuraavan vaiheen aikatauluineen.
Ammattimainen sävyEi keskeytyksiä, ei sarkasmia sekä kohtelias aloitus ja lopetus.
Noudatti prosessiaTunnisti asiakkaan voimassa olevan menettelyn vaiheiden mukaisesti.

Lisätkää jokaiseen kohtaan yksi tai kaksi esimerkki-ilmausta hyväksytystä ja hylätystä. Käyttäkää ”ei sovellu” -merkintää harkitusti kohdissa, jotka eivät koske kyseistä puhelutyyppiä, älkääkä arvatko. Pitäkää kriittisten kohtien eli koko puhelun hylkäämiseen johtavien kohtien lista hyvin lyhyenä ja tehkää niistä yksiselitteisiä. Kohtuullinen hyväksymisraja on tiiminne päätös; välttäkää sen muuttamista kertomatta asiantuntijoille.

Yksimielisyyden mittaaminen ajan mittaan

Monimutkaisia tilastoja ei tarvita. Yksinkertainen mittari on korkeimman ja matalimman kokonaispistemäärän välinen hajonta kussakin kalibroidussa puhelussa. Seuratkaa keskimääräistä hajontaa kuukausittain ja tarkastelkaa kohtia, jotka aiheuttavat eniten erimielisyyttä.

Hajonnan tulkinta

Pieni hajontaSuuri hajonta
Mitä se viittaaArvioijat tulkitsevat arviointikorttia samoinArvioijat tulkitsevat sitä eri tavoin
Mitä tehdäJatkakaa rutiinia ja vaihdelkaa puheluitaKirjoittakaa kohdat uudelleen, lisätkää esimerkkejä ja pitäkää pian uusi kokous
RiskiTyytyväisyys nykytilaan, samat sokeat pisteetEpäreilut pisteet ja epäluottamus

Nyrkkisääntönä yli noin kahdenkymmenen pisteen hajonta sadan pisteen asteikolla on merkki siitä, että arvioijat käyttävät arviointikorttia eri tavoin ja että sanamuodosta kannattaa sopia yhdessä. Pitäkää tällaista lukua oman tiiminne ohjenuorana, ei standardina.

Pitäkää päätöslokia. Yksinkertainen yhteinen asiakirja, jossa on päivämäärä, puhelu, kiistanalainen kohta ja sovittu tulkinta, riittää. Uudet arvioijat voivat lukea siitä, miten tiimi soveltaa arviointikorttia, ja se estää saman väittelyn palaamisen joka kuukausi. Käykää loki läpi, kun uudistatte arviointikorttia, ja poistakaa merkinnät, jotka uusi sanamuoto tekee tarpeettomiksi.

Tiheys ja osallistujat

Yhdistäkää kalibrointi otantasuunnitelmaanne, jotta arvioijat näkevät eri asiantuntijoita ja puhelutyyppejä; katsokaa Kuinka monta puhelua kannattaa arvioida?. Jos tekoälytyökalu esipisteyttää puhelut, ottakaa myös muutama sen tulos mukaan kalibrointiin, jotta ihmiset oppivat, milloin siihen voi luottaa ja milloin se kannattaa ohittaa.

Kalibrointi Callissa

Callin Arviointi ja valmennus -osiossa on ”Kalibrointi”-osio, joka listaa useamman arvioijan pisteyttämät puhelut sekä heidän pisteidensä välisen hajonnan. Ylläpitäjät ja esihenkilöt pisteyttävät puheluita arviointijonosta merkitsemällä kunkin arviointikortin kohdan läpäistyksi, epäonnistuneeksi tai ei sovellettavaksi, ja epäonnistunut kriittinen kohta nollaa pistemäärän. Callin ohjeistuksen mukaan yli 20 pisteen hajonta tarkoittaa, että arvioijat tulkitsevat arviointikorttia eri tavoin, joten heidän kannattaa sopia siitä yhdessä.

Call voi myös pisteyttää joitakin kohtia itse, kun kuvaatte ne sanottuina tai sanomatta jääneinä sanoina ”Automaattinen pisteytys” -sääntöjen avulla. Pitäkää nämä säännöt kapeina ja paikkansapitävinä; tyhjä sääntö on parempi kuin arvattu. Arviointijono ja arviointikortti edellyttävät, että työtilassanne on aktiivinen arviointikortti, joten ottakaa se käyttöön ennen kuin suunnittelette kalibrointia sen varaan.

Usein kysytyt kysymykset

Miten kalibrointi eroaa tavallisesta laadunarvioinnista?

Tavallisessa arvioinnissa yksi arvioija pisteyttää puhelun. Kalibroinnissa useampi arvioija pisteyttää saman puhelun toisistaan riippumatta ja vertaa sitten tuloksia. Tarkoitus on yhtenäistää arvioijat, ei arvioida asiantuntijaa.

Pitääkö arvioijien saada identtiset pisteet?

Ei. Pienet erot ovat normaaleja. Tavoitteena on sopia, mikä lasketaan hyväksytyksi kussakin kohdassa, ja pitää kokonaishajonta pienenä.

Kuinka montaa puhelua kussakin kokouksessa pitäisi käyttää?

Kolme tai neljä riittää yleensä. Useampi puhelu tekee kokouksesta pitkän ja pinnallisen. Valitkaa puheluita, jotka tuovat erimielisyyden esiin.

Pitäisikö asiantuntijoiden nähdä kalibroinnin tulokset?

Asiantuntijoiden kannattaa nähdä arviointikortin määritelmät ja kaikki kalibroinnista seuraavat muutokset. Jaatteko puhelukohtaiset vertailut, on tiimin päätös, mutta avoimuus rakentaa luottamusta.

Entä jos yksi arvioija on aina muita ankarampi?

Katsokaa, mitkä kohdat eron synnyttävät, ja käsitelkää ne kokouksessa. Usein arviointikortin sanamuoto on epäselvä. Jos ero säilyy, antakaa arvioijalle lisäohjeita ja esimerkkejä.

Kuinka usein arviointikorttia pitäisi päivittää?

Päivittäkää se, kun kalibrointi paljastaa toistuvaa epäselvyyttä, kun prosessinne tai tuotteenne muuttuu tai kun asiakkaiden tarpeet muuttuvat. Ilmoittakaa muutoksista asiantuntijoille.

Vertailkaa arvioijien pisteitä samasta puhelusta Callissa

Demokonsolissa voit kokeilla saapuvia puheluita simulaatiossa.

Aiheeseen liittyvät oppaat