Laadunarvioinnin kalibrointikokoukset reilun pisteytyksen tueksi
Näin pidätte kalibrointikokoukset, joissa arvioijat pisteyttävät puhelut samalla tavalla: puheluvalinta, sokkoarviointi, erot, arviointikortti ja yksimielisyys.
Jos kaksi arvioijaa kuuntelee saman puhelun ja toinen antaa sille erinomaiset pisteet toisen hylätessä sen, asiantuntijat lakkaavat nopeasti luottamasta pisteisiin. Kalibrointi on tapa, joka estää tämän. Arvioijat pisteyttävät samat puhelut erikseen, vertaavat muistiinpanojaan ja sopivat erot, jotta pistemäärä tarkoittaa samaa riippumatta siitä, kuka sen antoi.

Tässä oppaassa näytetään, miten kalibrointikokouksia pidetään pienessä tiimissä. Se pohjautuu artikkeliin Puheluiden laadunhallinta ja tukee palautekiertoa, jota kuvataan artikkelissa Yksinkertainen malli asiantuntijoiden puheluvalmennukseen.
Miksi kalibrointi on tärkeää
Arviointikortit on kirjoitettu sanoin, ja sanoja luetaan eri tavoin. ”Osoitti empatiaa” tai ”ratkaisi asian” tarkoittavat eri asioita eri arvioijille tai samalle arvioijalle eri päivinä. Ilman kalibrointia syntyy kolme ongelmaa: epäreilut pisteet asiantuntijoiden välillä, mielipiteisiin perustuva valmennus ja raportit, joita ei voi verrata ajassa tai tiimien välillä.
Merkkejä kalibroinnin tarpeesta
- Asiantuntijat kiistävät pisteitäHe sanovat, että toinen arvioija olisi hyväksynyt saman puhelun.
- Arvioijien keskiarvot eroavatYksi arvioija on johdonmukaisesti toista ankarampi tai lempeämpi.
- Uudet arvioijat ajautuvat erilleenPisteet muuttuvat, kun joku liittyy joukkoon tai sijaistaa.
- Arviointikortin kohdat ovat epämääräisiäEri ihmiset selittävät ne eri tavoin.
Kokouksen valmistelu
Hyvä kokous vaatii hieman valmistelua. Vetäjän kannattaa olla henkilö, joka tuntee arviointikortin hyvin ja pystyy pysymään puolueettomana, usein laatuvastaava tai kokenut tiiminvetäjä.
Ennen kokousta
- Valitkaa kolme tai neljä puheluaMukaan selvä hyväksytty, selvä hylätty ja ainakin yksi rajatapaus.
- Poistakaa tunnistetiedotPiilottakaa asiantuntijoiden nimet, jotta keskustelu pysyy puhelussa.
- Jakakaa arviointikorttiKaikki käyttävät nykyistä versiota määritelmineen.
- Pyytäkää itsenäinen pisteytysJokainen arvioija pisteyttää ennen kokousta eikä keskustele siitä muiden kanssa.
Todelliset puhelut ovat paras materiaali. Poimikaa rajatapauksia tavallisesta arvioinnistanne, koska juuri niissä erimielisyys piilee. Tarkistakaa, että tallenteet saa jakaa arvioijille sisäisten sääntöjenne mukaisesti, ja käsitelkää henkilötietoja huolellisesti; tallennuspuolta käsitellään artikkelissa Suostumus puheluiden tallentamiseen.
Kokouksen kulku
Aloittakaa pisteistä, älkää mielipiteistä. Näyttäkää kaikkien kohtakohtaiset tulokset yhteisellä näytöllä ja etsikää kohdat, joissa erot ovat suurimmat. Käykää ne läpi ensin.
- Kertokaa hajonta. Näyttäkää jokaisesta puhelusta kunkin arvioijan kokonaispisteet ja kohtakohtaiset erot.
- Pyytäkää jokaista arvioijaa perustelemaan kiistanalainen kohta ja nimeämään puhelun hetki, johon päätös perustui.
- Palatkaa arviointikortin sanamuotoon. Kertooko se selvästi, mikä lasketaan hyväksytyksi?
- Sopikaa tämän puhelun ratkaisu ja kirjatkaa perustelut.
- Jos ongelma on sanamuodossa, kirjatkaa tehtävä muutos; älkää korjatko sitä lennossa tavalla, joka hämmentää ihmisiä.
Pelisäännöt
- Keskustelkaa puhelusta ja arviointikortista, älkää ihmisistä.
- Kaikki puhuvat ennen kuin vetäjä kertoo mielipiteensä.
- Erimielisyys on odotettua ja hyödyllistä.
- Päätökset kirjataan, jotta seuraava kokous ei avaa niitä uudelleen ilman uutta tietoa.
Kuvitteellinen kokous käytännössä
Kuvitelkaa kuuden hengen tiimi, jossa on kolme arvioijaa. He valitsevat neljä puhelua ja pisteyttävät ne yksin. Kolmannessa puhelussa yksi arvioija hyväksyy asiakkaan tietojen varmistamista koskevan kohdan ja toinen hylkää sen. Vetäjä pyytää kumpaakin soittamaan hetken, johon he tukeutuivat. Selviää, että asiantuntija varmisti postinumeron mutta ei nimeä, ja arviointikortissa lukee vain ”varmista tiedot”. Tiimi sopii, että kohdassa pitää luetella tarkalleen, mitkä kaksi tietoa lasketaan, kirjoittaa sen uudelleen ja kirjaa päätöksen.
Tuo pieni muutos poistaa epäreilujen pisteiden lähteen jokaisesta tulevasta arvioinnista. Tätä kuviota kannattaa etsiä: erimielisyys puhelusta on yleensä merkki aukosta arviointikortissa.
Muistakaa sulkea kehä asiantuntijoiden kanssa. Kertokaa heille, mikä sanamuodossa muuttui ja miksi, ja soveltakaa muutosta ilmoitetusta päivästä alkaen sen sijaan, että pisteytätte vanhoja puheluita uudelleen. Jos aiempi pistemäärä oli vanhan sanamuodon vuoksi selvästi epäreilu, korjatkaa se avoimesti.
Erimielisyydestä parempi arviointikortti
Kokouksen arvokkain tulos on yleensä selkeämpi arviointikortti. Jos arvioijat ovat eri mieltä kohdasta, kohta on todennäköisesti epämääräinen. Tehkää siitä konkreettinen.
| Epämääräinen kohta | Selkeämpi versio |
|---|---|
| Osoitti empatiaa | Tunnusti asiakkaan ongelman tämän omin sanoin ennen ratkaisun tarjoamista. |
| Ratkaisi asian | Antoi täydellisen vastauksen tai sopi selkeän seuraavan vaiheen aikatauluineen. |
| Ammattimainen sävy | Ei keskeytyksiä, ei sarkasmia sekä kohtelias aloitus ja lopetus. |
| Noudatti prosessia | Tunnisti asiakkaan voimassa olevan menettelyn vaiheiden mukaisesti. |
Lisätkää jokaiseen kohtaan yksi tai kaksi esimerkki-ilmausta hyväksytystä ja hylätystä. Käyttäkää ”ei sovellu” -merkintää harkitusti kohdissa, jotka eivät koske kyseistä puhelutyyppiä, älkääkä arvatko. Pitäkää kriittisten kohtien eli koko puhelun hylkäämiseen johtavien kohtien lista hyvin lyhyenä ja tehkää niistä yksiselitteisiä. Kohtuullinen hyväksymisraja on tiiminne päätös; välttäkää sen muuttamista kertomatta asiantuntijoille.
Yksimielisyyden mittaaminen ajan mittaan
Monimutkaisia tilastoja ei tarvita. Yksinkertainen mittari on korkeimman ja matalimman kokonaispistemäärän välinen hajonta kussakin kalibroidussa puhelussa. Seuratkaa keskimääräistä hajontaa kuukausittain ja tarkastelkaa kohtia, jotka aiheuttavat eniten erimielisyyttä.
Hajonnan tulkinta
| Pieni hajonta | Suuri hajonta | |
|---|---|---|
| Mitä se viittaa | Arvioijat tulkitsevat arviointikorttia samoin | Arvioijat tulkitsevat sitä eri tavoin |
| Mitä tehdä | Jatkakaa rutiinia ja vaihdelkaa puheluita | Kirjoittakaa kohdat uudelleen, lisätkää esimerkkejä ja pitäkää pian uusi kokous |
| Riski | Tyytyväisyys nykytilaan, samat sokeat pisteet | Epäreilut pisteet ja epäluottamus |
Nyrkkisääntönä yli noin kahdenkymmenen pisteen hajonta sadan pisteen asteikolla on merkki siitä, että arvioijat käyttävät arviointikorttia eri tavoin ja että sanamuodosta kannattaa sopia yhdessä. Pitäkää tällaista lukua oman tiiminne ohjenuorana, ei standardina.
Pitäkää päätöslokia. Yksinkertainen yhteinen asiakirja, jossa on päivämäärä, puhelu, kiistanalainen kohta ja sovittu tulkinta, riittää. Uudet arvioijat voivat lukea siitä, miten tiimi soveltaa arviointikorttia, ja se estää saman väittelyn palaamisen joka kuukausi. Käykää loki läpi, kun uudistatte arviointikorttia, ja poistakaa merkinnät, jotka uusi sanamuoto tekee tarpeettomiksi.
Tiheys ja osallistujat
- Rytmi: aluksi kahden–neljän viikon välein, sitten kuukausittain, kun hajonta on pieni.
- Ketkä: kaikki arvioijat sekä yksi tai kaksi tiiminvetäjää. Ottakaa mukaan myös vasta koulutetut arvioijat.
- Kesto: neljäkymmentäviisi minuuttia riittää yleensä kolmelle tai neljälle puhelulle.
- Asiantuntijat: harkitkaa asiantuntijoiden kutsumista toisinaan mukaan anonymisoitujen puheluiden kanssa, jotta he näkevät, miten pisteytys toimii.
Yhdistäkää kalibrointi otantasuunnitelmaanne, jotta arvioijat näkevät eri asiantuntijoita ja puhelutyyppejä; katsokaa Kuinka monta puhelua kannattaa arvioida?. Jos tekoälytyökalu esipisteyttää puhelut, ottakaa myös muutama sen tulos mukaan kalibrointiin, jotta ihmiset oppivat, milloin siihen voi luottaa ja milloin se kannattaa ohittaa.
Kalibrointi Callissa
Callin Arviointi ja valmennus -osiossa on ”Kalibrointi”-osio, joka listaa useamman arvioijan pisteyttämät puhelut sekä heidän pisteidensä välisen hajonnan. Ylläpitäjät ja esihenkilöt pisteyttävät puheluita arviointijonosta merkitsemällä kunkin arviointikortin kohdan läpäistyksi, epäonnistuneeksi tai ei sovellettavaksi, ja epäonnistunut kriittinen kohta nollaa pistemäärän. Callin ohjeistuksen mukaan yli 20 pisteen hajonta tarkoittaa, että arvioijat tulkitsevat arviointikorttia eri tavoin, joten heidän kannattaa sopia siitä yhdessä.
Call voi myös pisteyttää joitakin kohtia itse, kun kuvaatte ne sanottuina tai sanomatta jääneinä sanoina ”Automaattinen pisteytys” -sääntöjen avulla. Pitäkää nämä säännöt kapeina ja paikkansapitävinä; tyhjä sääntö on parempi kuin arvattu. Arviointijono ja arviointikortti edellyttävät, että työtilassanne on aktiivinen arviointikortti, joten ottakaa se käyttöön ennen kuin suunnittelette kalibrointia sen varaan.
Usein kysytyt kysymykset
Miten kalibrointi eroaa tavallisesta laadunarvioinnista?
Tavallisessa arvioinnissa yksi arvioija pisteyttää puhelun. Kalibroinnissa useampi arvioija pisteyttää saman puhelun toisistaan riippumatta ja vertaa sitten tuloksia. Tarkoitus on yhtenäistää arvioijat, ei arvioida asiantuntijaa.
Pitääkö arvioijien saada identtiset pisteet?
Ei. Pienet erot ovat normaaleja. Tavoitteena on sopia, mikä lasketaan hyväksytyksi kussakin kohdassa, ja pitää kokonaishajonta pienenä.
Kuinka montaa puhelua kussakin kokouksessa pitäisi käyttää?
Kolme tai neljä riittää yleensä. Useampi puhelu tekee kokouksesta pitkän ja pinnallisen. Valitkaa puheluita, jotka tuovat erimielisyyden esiin.
Pitäisikö asiantuntijoiden nähdä kalibroinnin tulokset?
Asiantuntijoiden kannattaa nähdä arviointikortin määritelmät ja kaikki kalibroinnista seuraavat muutokset. Jaatteko puhelukohtaiset vertailut, on tiimin päätös, mutta avoimuus rakentaa luottamusta.
Entä jos yksi arvioija on aina muita ankarampi?
Katsokaa, mitkä kohdat eron synnyttävät, ja käsitelkää ne kokouksessa. Usein arviointikortin sanamuoto on epäselvä. Jos ero säilyy, antakaa arvioijalle lisäohjeita ja esimerkkejä.
Kuinka usein arviointikorttia pitäisi päivittää?
Päivittäkää se, kun kalibrointi paljastaa toistuvaa epäselvyyttä, kun prosessinne tai tuotteenne muuttuu tai kun asiakkaiden tarpeet muuttuvat. Ilmoittakaa muutoksista asiantuntijoille.