Puhe-tekoälyn teknologia

Puheagentin keskustelujen arviointi: mittarit ja tarkistukset

Käytännön tapa arvioida puhelinagenttia: seuraamisen arvoiset mittarit, puheluiden otanta ja pisteytys sekä havaintojen muuttaminen korjauksiksi.

Call-toimitus · Julkaistu · Lukuaika 4 min

Kun puheagentti vastaa todellisiin puheluihin, kysymys muuttuu toimiiko se -kysymyksestä toimiiko se hyvin -kysymykseksi. Monet tiimit vastaavat epämääräisellä vaikutelmalla kourallisesta puheluita. Pieni rakenne antaa paljon parempaa tietoa ja kertoo, mitä korjata seuraavaksi.

Tiiminvetäjä käy läpi puheluiden laatumuistiinpanoja kollegan kanssa
Havainnekuva

Tämä opas tarjoaa yksinkertaisen arviointitavan puhelinagentille: mitä mittareita seurata, miten puheluita tarkistetaan käsin ja miten havainnot muutetaan parannuksiksi. Se pohjaa artikkeliin Puhetekoälyagentin testaaminen ja yleisiin mittareihin artikkelissa Asiakaspalvelukeskuksen KPI:t.

Aloittakaa siitä, mitä hyvä tarkoittaa teille

Hyvä puhelu ravintolalle ei ole sama kuin hyvä puhelu klinikalle. Ennen mittareiden valintaa kirjoittakaa lauseella tai kahdella, miltä onnistunut puhelu näyttää kunkin odottamanne puhelutyypin kohdalla: soittajan kysymykseen vastataan, viesti otetaan oikein tiedoin tai soittaja tavoittaa oikean henkilön. Kaikki muu seuraa näistä määritelmistä.

Viisi kysymystä, jotka jokainen arviointi esittää

  • Ymmärrettiinkö soittaja?Kuuliko agentti kysymyksen ja tiedot oikein?
  • Oliko vastaus oikein?Oliko se tarkka, hyväksyttyjen tietojen rajoissa ja vailla keksittyä?
  • Päättyikö puhelu hyödyllisesti?Tehtiinkö tehtävä, otettiinko viesti tai tehtiinkö siirto?
  • Oliko kokemus hyväksyttävä?Tempo, sävy, toistot ja soittajan vaiva.
  • Oliko se turvallinen?Kunnioittiko agentti rajojaan ja siirsikö se puhelun, kun piti?

Seuraamisen arvoiset mittarit

MittariMitä se kertooMiten sen saa
Tehtävän suorittaminenOsuus puheluista, joissa soittajan tavoite täyttyiIhmisen tekemä otoksen tarkistus sekä puheluiden lopputulokset
Vastausten tarkkuusVastasivatko väitteet hyväksyttyjä tietojaIhmisen tarkistus lähteitänne vasten
SiirtoasteKuinka usein soittajat pyytävät tai tarvitsevat ihmistäPuheluiden tulokset ja helpdeskin pyynnöt
ToistoasteKuinka usein agentti pyysi soittajaa sanomaan jotain uudelleenLitterointien tarkistus
VastausviiveAika soittajan vuoron päättymisestä agentin vastaukseenVuorokohtainen ajoitus puheluhistoriassa
KeskeytysasteSoittajat, jotka katkaisevat ennen lopputulostaPuheluloki
SoittajapalauteMiltä puhelu ihmisistä tuntuiLyhyet kyselyt tai jälkikommentit

Huomatkaa, että useimmat hyödylliset mittarit vaativat jonkin verran ihmisen harkintaa. Lokin laskennat kertovat kuinka monta, mutta vain keskustelun lukeva ihminen voi kertoa, menikö puhelu hyvin. Varautukaa yhdistelmään molempia. Kaikkiin puhelutyyppeihin soveltuvista mittareista kertovat Ensikontaktiratkaisu ja Vastausaste ja keskeytysaste.

Puheluiden tarkistaminen käsin

Pieni, säännöllinen otos voittaa satunnaisen suuren tarkistuksen. Valitkaa puheluita satunnaisesti sekä muutama poikkeavalta näyttävä, kuten hyvin lyhyet tai hyvin pitkät puhelut, siirtoon päättyneet puhelut ja puhelut, joissa soittaja katkaisi.

Puheluiden tarkistusrutiini

  1. OtantaValitkaa joka viikko kiinteä määrä puheluita, sekä satunnaisia että poikkeavia.
  2. Kuunnelkaa ja lukekaaToistakaa tallenne ja lukekaa litterointi rinnakkain.
  3. PisteyttäkääArvioikaa jokainen puhelu kriteereitänne vasten yksinkertaisella asteikolla.
  4. Kirjatkaa syytKirjoittakaa ylös, miksi jokin meni pieleen.
  5. Korjatkaa ja testatkaa uudelleenMuuttakaa lähdettä, kehotetta tai asetusta ja testatkaa sama tapaus uudelleen.

Pitäkää pisteytys yksinkertaisena

Kolme tasoa riittää: hyvä, hyväksyttävä ja huono, tai yksittäisille väitteille oikein, osittain ja väärin. Hienojakoiset asteikot synnyttävät väittelyjä tuomatta lisää ymmärrystä. Antakaa ajoittain kahden henkilön pisteyttää kourallinen samoja puheluita; jos he ovat usein eri mieltä, kriteerienne sanamuotoa on terävöitettävä.

Muistakaa, että litteroinnit voivat olla väärin

Litterointi on tunnistimen arvaus, ei totuus. Jos litterointi näyttää oudolta, kuunnelkaa ääni ennen kuin syytätte agenttia. Katsokaa Miksi puhelimen ääni on vaikea puheentunnistukselle.

Nopeuden ja rytmin mittaaminen

Soittajat huomaavat viiveen lähes kaikkia muita tekijöitä herkemmin. Seuratkaa jokaista vastausta edeltävää taukoa ja katsokaa pahimpia tapauksia, ei vain keskiarvoa, sillä muutama hyvin pitkä tauko pilaa vaikutelman. Jos tauot ovat pitkiä, eritelkää, mihin aika kuluu; Puhetekoälyn viive näyttää miten. Kiinnittäkää huomiota myös keskeytyksiin: kuinka usein agentti puhui soittajan päälle ja kuinka usein se jätti tämän odottamaan?

Manuaalinen tarkistus vai automaattinen pisteytys

Menetelmän valinta

Manuaalinen tarkistusAutomaattinen pisteytys
VahvuusYmmärtää vivahteet, sävyn ja asiayhteydenKattaa jokaisen puhelun nopeasti
HeikkousHidas; vain otosVoi ohittaa hienovaraiset ongelmat tai arvioida väärin
Sopii parhaitenTarkkuuteen, turvallisuuteen ja soittajakokemukseenIhmisen tarkistusta ansaitsevien puheluiden liputtamiseen

Automaattinen pisteytys, mukaan lukien mallit, jotka arvioivat toisia malleja, on hyödyllinen priorisoinnissa: se voi järjestää puhelut ongelmamerkkien mukaan, jotta ihmiset katsovat ensin oikeita. Sen ei pitäisi korvata ihmisen tekemää otantaa, erityisesti tarkkuuden ja turvallisuuden osalta. Käyttämästänne automaattisesta tarkistuksesta riippumatta testatkaa sitä vertaamalla sen arvioita omiinne joukolla jo tarkistamianne puheluita.

Lukujen järkevä tulkinta

Pienet otokset johtavat harhaan. Jos tarkistatte kymmenen puhelua ja kaksi meni huonosti, ette voi sanoa, että joka viides puhelu menee huonosti; voitte vain sanoa löytäneenne kaksi korjaamisen arvoista ongelmaa. Käyttäkää otoksia syiden löytämiseen, älkää osuuksien ilmoittamiseen, ellei otos ole riittävän suuri ja satunnainen sen tueksi.

Erottakaa agentti tilanteesta. Tehtävien suorittamisen lasku viikolla, jolloin palvelussa oli katko, ei ole tuomio kehotteesta. Kirjatkaa tapahtumat mittareiden rinnalle: uusi aukioloaika, kampanja, joka toi soittajia uuden kysymyksen kanssa, muutos lähteisiin. Yksinkertainen muutosloki tekee trendeistä selitettäviä.

Päättäkää lopuksi etukäteen, mitä teette kunkin tuloksen kanssa. Toistojen lisääntyminen voi johtaa hiljaisuusasetusten tarkasteluun; siirtojen lisääntyminen yhdessä aiheessa voi johtaa tarkan vastauksen lisäämiseen siihen. Mittari, johon ei liity toimenpidettä, on pelkkää koristetta.

Jakakaa tulokset puhelimiin vastaavien ihmisten kanssa esihenkilöiden lisäksi. Henkilöstö tietää usein, miksi kuvio on olemassa, ja juuri he ottavat vastaan puhelut, jotka agentti siirtää. Lyhyt kuukausikatsaus esimerkkeineen, mukaan lukien muutama hyvin mennyt puhelu, pitää työn kiinni todellisissa keskusteluissa.

Arviointi Callissa

Callissa tekoälyn puheluhistoria listaa ajanjakson puhelut tuloksineen ja, kun se tiedetään, tunnesävyineen ja avaa koko keskustelun vuoro vuorolta. Esihenkilöt voivat avata puhelun nähdäkseen, kuinka kauan kukin puhevuoro kesti. Automaattisen tarkistuksen osio ryhmittelee viimeaikaiset puhelut aiheittain, järjestää viimeaikaiset puhelut, joita ihminen ei ole tarkistanut, niissä näkyvien signaalien mukaan ja tarjoaa otoksen tekoälyn yhteenvedoista merkittäväksi oikeiksi, osittain oikeiksi tai vääriksi, mikä kerryttää jatkuvaa kuvaa yhteenvetojen tarkkuudesta. Keskustelutekoälyllä voi myös hakea kaikista tallennetuista litteroinneista ilmausta. Yhdessä nämä antavat tarvitsemanne laskennat ja otannan. Käyttäkää muokkaushistoriaa nähdäksenne agentin sanoihin tehdyt korjaukset.

Viikoittainen arviointilista

  • Lukekaa kiinteä otos puheluita, satunnaisia ja poikkeavia
  • Pisteyttäkää tehtävän suorittaminen ja tarkkuus
  • Laskekaa siirrot ja kirjatkaa niiden syyt
  • Tarkistakaa pisimmät vastausviiveet
  • Hakekaa litteroinneista hämmennystä kertovia ilmauksia
  • Kirjatkaa jokainen ongelma ja tehty korjaus
  • Testatkaa korjatut tapaukset uudelleen ennen niiden sulkemista

Usein kysytyt kysymykset

Mikä on puheagentin yksittäin hyödyllisin mittari?

Yhtä ainoaa ei ole. Tehtävän suorittaminen kertoo, saivatko soittajat tarvitsemansa, mutta tarvitsette myös tarkkuuden, siirtojen laadun ja ajoituksen nähdäksenne miksi.

Kuinka monta puhelua pitäisi tarkistaa?

Kiinteä viikoittainen otos, jota jaksatte ylläpitää, on parempi kuin satunnainen suuri otos. Aloittakaa maltillisesta määrästä ja kasvattakaa sitä käyttöönoton muutosten jälkeen tai ongelmien ilmetessä.

Voinko luottaa pelkkään automaattiseen pisteytykseen?

Ei tarkkuuden tai turvallisuuden osalta. Käyttäkää sitä puheluiden järjestämiseen ja liputtamiseen ja antakaa ihmisten tarkistaa liputetut sekä satunnainen otos.

Miksi litteroinnit joskus poikkeavat tallenteesta?

Litteroinnin tuottaa puheentunnistus, ja siinä voi olla virheitä. Kuunnelkaa ääni ennen agentin arvioimista.

Mistä tiedän, paransiko muutos tilannetta?

Pitäkää kiinteä joukko testitapauksia ja säännöllinen tarkistusrutiini ja verratkaa tuloksia ennen ja jälkeen muutoksen samoilla kriteereillä.

Pitäisikö soittajille tehdä kysely?

Lyhyt kysymys puhelun jälkeen voi tuoda hyödyllistä tietoa, mutta pitäkää se lyhyenä ja kunnioittakaa yhteydenottoa koskevia sääntöjä. Yhdistäkää se omaan keskustelun tarkistukseenne.

Käykää läpi tekoälykeskustelut Callin puheluhistoriassa

Demokonsolissa voit kokeilla saapuvia puheluita simulaatiossa.

Aiheeseen liittyvät oppaat