Puheagentin keskustelujen arviointi: mittarit ja tarkistukset
Käytännön tapa arvioida puhelinagenttia: seuraamisen arvoiset mittarit, puheluiden otanta ja pisteytys sekä havaintojen muuttaminen korjauksiksi.
Kun puheagentti vastaa todellisiin puheluihin, kysymys muuttuu toimiiko se -kysymyksestä toimiiko se hyvin -kysymykseksi. Monet tiimit vastaavat epämääräisellä vaikutelmalla kourallisesta puheluita. Pieni rakenne antaa paljon parempaa tietoa ja kertoo, mitä korjata seuraavaksi.

Tämä opas tarjoaa yksinkertaisen arviointitavan puhelinagentille: mitä mittareita seurata, miten puheluita tarkistetaan käsin ja miten havainnot muutetaan parannuksiksi. Se pohjaa artikkeliin Puhetekoälyagentin testaaminen ja yleisiin mittareihin artikkelissa Asiakaspalvelukeskuksen KPI:t.
Aloittakaa siitä, mitä hyvä tarkoittaa teille
Hyvä puhelu ravintolalle ei ole sama kuin hyvä puhelu klinikalle. Ennen mittareiden valintaa kirjoittakaa lauseella tai kahdella, miltä onnistunut puhelu näyttää kunkin odottamanne puhelutyypin kohdalla: soittajan kysymykseen vastataan, viesti otetaan oikein tiedoin tai soittaja tavoittaa oikean henkilön. Kaikki muu seuraa näistä määritelmistä.
Viisi kysymystä, jotka jokainen arviointi esittää
- Ymmärrettiinkö soittaja?Kuuliko agentti kysymyksen ja tiedot oikein?
- Oliko vastaus oikein?Oliko se tarkka, hyväksyttyjen tietojen rajoissa ja vailla keksittyä?
- Päättyikö puhelu hyödyllisesti?Tehtiinkö tehtävä, otettiinko viesti tai tehtiinkö siirto?
- Oliko kokemus hyväksyttävä?Tempo, sävy, toistot ja soittajan vaiva.
- Oliko se turvallinen?Kunnioittiko agentti rajojaan ja siirsikö se puhelun, kun piti?
Seuraamisen arvoiset mittarit
| Mittari | Mitä se kertoo | Miten sen saa |
|---|---|---|
| Tehtävän suorittaminen | Osuus puheluista, joissa soittajan tavoite täyttyi | Ihmisen tekemä otoksen tarkistus sekä puheluiden lopputulokset |
| Vastausten tarkkuus | Vastasivatko väitteet hyväksyttyjä tietoja | Ihmisen tarkistus lähteitänne vasten |
| Siirtoaste | Kuinka usein soittajat pyytävät tai tarvitsevat ihmistä | Puheluiden tulokset ja helpdeskin pyynnöt |
| Toistoaste | Kuinka usein agentti pyysi soittajaa sanomaan jotain uudelleen | Litterointien tarkistus |
| Vastausviive | Aika soittajan vuoron päättymisestä agentin vastaukseen | Vuorokohtainen ajoitus puheluhistoriassa |
| Keskeytysaste | Soittajat, jotka katkaisevat ennen lopputulosta | Puheluloki |
| Soittajapalaute | Miltä puhelu ihmisistä tuntui | Lyhyet kyselyt tai jälkikommentit |
Huomatkaa, että useimmat hyödylliset mittarit vaativat jonkin verran ihmisen harkintaa. Lokin laskennat kertovat kuinka monta, mutta vain keskustelun lukeva ihminen voi kertoa, menikö puhelu hyvin. Varautukaa yhdistelmään molempia. Kaikkiin puhelutyyppeihin soveltuvista mittareista kertovat Ensikontaktiratkaisu ja Vastausaste ja keskeytysaste.
Puheluiden tarkistaminen käsin
Pieni, säännöllinen otos voittaa satunnaisen suuren tarkistuksen. Valitkaa puheluita satunnaisesti sekä muutama poikkeavalta näyttävä, kuten hyvin lyhyet tai hyvin pitkät puhelut, siirtoon päättyneet puhelut ja puhelut, joissa soittaja katkaisi.
Puheluiden tarkistusrutiini
- OtantaValitkaa joka viikko kiinteä määrä puheluita, sekä satunnaisia että poikkeavia.
- Kuunnelkaa ja lukekaaToistakaa tallenne ja lukekaa litterointi rinnakkain.
- PisteyttäkääArvioikaa jokainen puhelu kriteereitänne vasten yksinkertaisella asteikolla.
- Kirjatkaa syytKirjoittakaa ylös, miksi jokin meni pieleen.
- Korjatkaa ja testatkaa uudelleenMuuttakaa lähdettä, kehotetta tai asetusta ja testatkaa sama tapaus uudelleen.
Pitäkää pisteytys yksinkertaisena
Kolme tasoa riittää: hyvä, hyväksyttävä ja huono, tai yksittäisille väitteille oikein, osittain ja väärin. Hienojakoiset asteikot synnyttävät väittelyjä tuomatta lisää ymmärrystä. Antakaa ajoittain kahden henkilön pisteyttää kourallinen samoja puheluita; jos he ovat usein eri mieltä, kriteerienne sanamuotoa on terävöitettävä.
Muistakaa, että litteroinnit voivat olla väärin
Litterointi on tunnistimen arvaus, ei totuus. Jos litterointi näyttää oudolta, kuunnelkaa ääni ennen kuin syytätte agenttia. Katsokaa Miksi puhelimen ääni on vaikea puheentunnistukselle.
Nopeuden ja rytmin mittaaminen
Soittajat huomaavat viiveen lähes kaikkia muita tekijöitä herkemmin. Seuratkaa jokaista vastausta edeltävää taukoa ja katsokaa pahimpia tapauksia, ei vain keskiarvoa, sillä muutama hyvin pitkä tauko pilaa vaikutelman. Jos tauot ovat pitkiä, eritelkää, mihin aika kuluu; Puhetekoälyn viive näyttää miten. Kiinnittäkää huomiota myös keskeytyksiin: kuinka usein agentti puhui soittajan päälle ja kuinka usein se jätti tämän odottamaan?
Manuaalinen tarkistus vai automaattinen pisteytys
Menetelmän valinta
| Manuaalinen tarkistus | Automaattinen pisteytys | |
|---|---|---|
| Vahvuus | Ymmärtää vivahteet, sävyn ja asiayhteyden | Kattaa jokaisen puhelun nopeasti |
| Heikkous | Hidas; vain otos | Voi ohittaa hienovaraiset ongelmat tai arvioida väärin |
| Sopii parhaiten | Tarkkuuteen, turvallisuuteen ja soittajakokemukseen | Ihmisen tarkistusta ansaitsevien puheluiden liputtamiseen |
Automaattinen pisteytys, mukaan lukien mallit, jotka arvioivat toisia malleja, on hyödyllinen priorisoinnissa: se voi järjestää puhelut ongelmamerkkien mukaan, jotta ihmiset katsovat ensin oikeita. Sen ei pitäisi korvata ihmisen tekemää otantaa, erityisesti tarkkuuden ja turvallisuuden osalta. Käyttämästänne automaattisesta tarkistuksesta riippumatta testatkaa sitä vertaamalla sen arvioita omiinne joukolla jo tarkistamianne puheluita.
Lukujen järkevä tulkinta
Pienet otokset johtavat harhaan. Jos tarkistatte kymmenen puhelua ja kaksi meni huonosti, ette voi sanoa, että joka viides puhelu menee huonosti; voitte vain sanoa löytäneenne kaksi korjaamisen arvoista ongelmaa. Käyttäkää otoksia syiden löytämiseen, älkää osuuksien ilmoittamiseen, ellei otos ole riittävän suuri ja satunnainen sen tueksi.
Erottakaa agentti tilanteesta. Tehtävien suorittamisen lasku viikolla, jolloin palvelussa oli katko, ei ole tuomio kehotteesta. Kirjatkaa tapahtumat mittareiden rinnalle: uusi aukioloaika, kampanja, joka toi soittajia uuden kysymyksen kanssa, muutos lähteisiin. Yksinkertainen muutosloki tekee trendeistä selitettäviä.
Päättäkää lopuksi etukäteen, mitä teette kunkin tuloksen kanssa. Toistojen lisääntyminen voi johtaa hiljaisuusasetusten tarkasteluun; siirtojen lisääntyminen yhdessä aiheessa voi johtaa tarkan vastauksen lisäämiseen siihen. Mittari, johon ei liity toimenpidettä, on pelkkää koristetta.
Jakakaa tulokset puhelimiin vastaavien ihmisten kanssa esihenkilöiden lisäksi. Henkilöstö tietää usein, miksi kuvio on olemassa, ja juuri he ottavat vastaan puhelut, jotka agentti siirtää. Lyhyt kuukausikatsaus esimerkkeineen, mukaan lukien muutama hyvin mennyt puhelu, pitää työn kiinni todellisissa keskusteluissa.
Arviointi Callissa
Callissa tekoälyn puheluhistoria listaa ajanjakson puhelut tuloksineen ja, kun se tiedetään, tunnesävyineen ja avaa koko keskustelun vuoro vuorolta. Esihenkilöt voivat avata puhelun nähdäkseen, kuinka kauan kukin puhevuoro kesti. Automaattisen tarkistuksen osio ryhmittelee viimeaikaiset puhelut aiheittain, järjestää viimeaikaiset puhelut, joita ihminen ei ole tarkistanut, niissä näkyvien signaalien mukaan ja tarjoaa otoksen tekoälyn yhteenvedoista merkittäväksi oikeiksi, osittain oikeiksi tai vääriksi, mikä kerryttää jatkuvaa kuvaa yhteenvetojen tarkkuudesta. Keskustelutekoälyllä voi myös hakea kaikista tallennetuista litteroinneista ilmausta. Yhdessä nämä antavat tarvitsemanne laskennat ja otannan. Käyttäkää muokkaushistoriaa nähdäksenne agentin sanoihin tehdyt korjaukset.
Viikoittainen arviointilista
- Lukekaa kiinteä otos puheluita, satunnaisia ja poikkeavia
- Pisteyttäkää tehtävän suorittaminen ja tarkkuus
- Laskekaa siirrot ja kirjatkaa niiden syyt
- Tarkistakaa pisimmät vastausviiveet
- Hakekaa litteroinneista hämmennystä kertovia ilmauksia
- Kirjatkaa jokainen ongelma ja tehty korjaus
- Testatkaa korjatut tapaukset uudelleen ennen niiden sulkemista
Usein kysytyt kysymykset
Mikä on puheagentin yksittäin hyödyllisin mittari?
Yhtä ainoaa ei ole. Tehtävän suorittaminen kertoo, saivatko soittajat tarvitsemansa, mutta tarvitsette myös tarkkuuden, siirtojen laadun ja ajoituksen nähdäksenne miksi.
Kuinka monta puhelua pitäisi tarkistaa?
Kiinteä viikoittainen otos, jota jaksatte ylläpitää, on parempi kuin satunnainen suuri otos. Aloittakaa maltillisesta määrästä ja kasvattakaa sitä käyttöönoton muutosten jälkeen tai ongelmien ilmetessä.
Voinko luottaa pelkkään automaattiseen pisteytykseen?
Ei tarkkuuden tai turvallisuuden osalta. Käyttäkää sitä puheluiden järjestämiseen ja liputtamiseen ja antakaa ihmisten tarkistaa liputetut sekä satunnainen otos.
Miksi litteroinnit joskus poikkeavat tallenteesta?
Litteroinnin tuottaa puheentunnistus, ja siinä voi olla virheitä. Kuunnelkaa ääni ennen agentin arvioimista.
Mistä tiedän, paransiko muutos tilannetta?
Pitäkää kiinteä joukko testitapauksia ja säännöllinen tarkistusrutiini ja verratkaa tuloksia ennen ja jälkeen muutoksen samoilla kriteereillä.
Pitäisikö soittajille tehdä kysely?
Lyhyt kysymys puhelun jälkeen voi tuoda hyödyllistä tietoa, mutta pitäkää se lyhyenä ja kunnioittakaa yhteydenottoa koskevia sääntöjä. Yhdistäkää se omaan keskustelun tarkistukseenne.