Puhe-AI-agentin testaus ennen käyttöönottoa: käytännön suunnitelma
Vaiheittainen suunnitelma puhelimen puhe-AI-agentin testaamiseen ennen käyttöönottoa: käsikirjoitukset, tarkkuus, kuulo, kulku, siirrot, kirjaukset ja selkeä päätös.
Puheagentti, joka vastaa hyvin hiljaisessa toimistossa sen rakentaneen ihmisen edessä, voi käyttäytyä aivan toisin kadunkulmassa mumisevan soittajan kanssa. Useimmat käyttöönoton ongelmat eivät ole mysteerejä: ne ovat asioita, joita kukaan ei kokeillut. Jäsennelty testisuunnitelma löytää ne, kun niiden korjaaminen on vielä edullista.

Tämä opas antaa käytännön suunnitelman: mitä valmistella, kuusi testattavaa osa-aluetta, miten tuloksia arvioidaan ja mitä tehdä käyttöönoton jälkeen. Lopuksi esitellään Callin työkalut. Arvioinnin taustalla olevista mittareista kerrotaan oppaassa Puhe-AI:n arviointimittarit.
Testin valmistelu
Aloita oikeiden puheluiden listasta. Kerää kysymykset, joita ihmiset todella kysyvät, sähköposteista, henkilöstön muistista ja puhelumuistiinpanoista. Lisää hankalat: vihainen soittaja, epämääräinen soittaja ja soittaja, joka pyytää jotain, mitä et tarjoa. Hyvä testijoukko sekoittaa yleisiä, harvinaisia ja vaikeita tapauksia.
Käsikirjoituksesta käyttöönottoon
- Kirjoita testikäsikirjoituksetOikeat kysymykset ja kuhunkin oikea vastaus.
- Testaa sisältöVastaako agentti oikein ja pysyykö se rajoissa.
- Testaa kuuloYmmärtääkö se nimet, numerot ja aksentit.
- Testaa kulkuEteneekö keskustelu luontevasti ja päättyykö se hyvin.
- Testaa siirto ihmiselleToimivatko pyynnöt saada ihminen linjalle ja kiireelliset tapaukset.
- Tarkista kirjauksetOvatko yhteenvedot, viestit ja lokit oikein.
- PäätäVertaa tuloksia hyväksymissääntöön ja tee valinta.
Päätä, kuka testaa. Ota mukaan ihmisiä, jotka eivät rakentaneet agenttia, koska he kysyvät odottamattomilla tavoilla. Jos soittajasi puhuvat murteella tai useilla kielillä, ota myös ne äänet mukaan.
Sisällön testaaminen
Ensimmäinen kysymys on, puhuuko agentti totta. Esitä jokainen listasi kysymys ja vertaa oikeaan vastaukseen. Merkitse jokainen vastaus oikeaksi, osittain oikeaksi, vääräksi tai keksityksi. Keksitty vastaus, jossa agentti esittää jotain, mitä sille ei koskaan annettu, on tärkein, koska soittajat uskovat sen.
- Kysy sama kysymys eri sanoin.
- Kysy asioita, joita tietopankissa ei ole, ja tarkista, että agentti myöntää, ettei tiedä.
- Pyydä jotain, mistä sen on kieltäydyttävä, kuten neuvontaa tai muiden asiakkaiden tietoja.
- Yritä johtaa se harhaan itsevarmalla väärällä väitteellä ja tarkista, ettei se vain myöntele.
Katso Puhe-AI:n hallusinaatiot, miksi keksittyjä vastauksia syntyy, ja Tiedonhaku puheagenteille, miten tietoa käytetään.
Sen testaaminen, mitä agentti kuulee
Puheagentit epäonnistuvat usein kuunteluvaiheessa. Nimet, postinumerot, puhelinnumerot ja päivämäärät ovat tavallisia ongelmakohtia. Testaa oikeilla puhelimilla, ei pelkällä tietokoneen mikrofonilla, ja ota mukaan taustamelu, kaiutinpuhelin ja heikko mobiiliyhteys.
| Tarkistus | Miten | Mitä etsiä |
|---|---|---|
| Nimet | Tavaa ja sano harvinaisia nimiä | Oikea kirjaus tai kohtelias pyyntö toistaa |
| Numerot | Lue ääneen puhelinnumero ja päivämäärä | Oikeat numerot ja toisto takaisin |
| Aksentit | Pyydä kollegoita, joilla on eri aksentit | Vähemmän väärinymmärryksiä ja sujuva palautuminen |
| Melu | Soita vilkkaasta paikasta | Ei vääriä laukaisuja ja selkeät toistopyynnöt |
Numerot ja nimet puhe-AI:ssa ja Puheentunnistus puhelinäänessä selittävät nämä ongelmat tarkemmin.
Keskustelun kulun testaaminen
Sisältö voi olla oikein ja keskustelu silti kömpelö. Kuuntele avausta, tahtia, puhuuko agentti soittajan päälle, miten se käsittelee hiljaisuutta ja miten se lopettaa. Keskeytä se, ole hiljaa, sano "haloo?" ja muuta mieltäsi kesken kaiken.
Kokeiltavat kulkuun liittyvät tilanteet
- KeskeyttäminenPuhu agentin päälle ja tarkista, että se pysähtyy ja kuuntelee.
- HiljaisuusÄlä sano mitään ja tarkista, että se kehottaa kohteliaasti ja lopettaa sitten järkevästi.
- Mielen muuttaminenVaihda aihetta kesken vastauksen ja tarkista, että se pysyy perässä.
- LopettaminenKiitä ja hyvästele ja tarkista, että puhelu päättyy siististi.
Nopeuskin kuuluu tähän. Kirjaa pitkät tauot ja niiden syyt. Puhe-AI:n viive selittää tavalliset syyt.
Siirron ja turvallisuuden testaaminen
Jokainen puheagentti tarvitsee reitin ihmiselle pyyntöihin, joita se ei voi tai sen ei pidä hoitaa. Testaa se kaikissa tilanteissa: aukioloaikana, aukioloajan ulkopuolella, kun kukaan ei vastaa ja kun soittaja on hädissään. Kokeile kiireellisiä ilmauksia. Tarkista, ettei agentti koskaan väitä olevansa ihminen eikä lupaa asioita, joita se ei voi toteuttaa, kuten vahvistettua varausta.
Siirron tarkistukset
- Ihmistä pyytävä tavoittaa aukioloaikana oikeat ihmiset
- Aukioloajan ulkopuolella pyytävä saa rehellisen viestin ja tavan jättää tietonsa
- Jos kukaan ei vastaa, soittaja voi jättää viestin
- Kiireelliset tai hädissään olevat soittajat ohjataan eteenpäin nopeasti
- Agentti kertoo kysyttäessä olevansa tekoäly
- Arkaluonteisia tietoja ei kerätä silloin, kun niitä ei pidä kerätä
Kirjausten ja lokien testaaminen
Puhelulla on kaksi lopputulosta: mitä soittaja koki ja mitä sinä kirjaat. Tarkista jokaisen testin jälkeen yhteenveto, litterointi, jätetty viesti ja mahdollinen jatkotehtävä. Ovatko nimet ja numerot oikein? Onko soiton syy kuvattu tarkasti? Keksiikö yhteenveto mitään? Täydellinen puhelu väärällä kirjauksella ohjaa tiimin silti väärään suuntaan. Katso Tekoälyn puheluyhteenvedot.
Hyväksytty vai hylätty
Kirjoita ennen aloittamista sääntö, joka ratkaisee, saako agentin ottaa käyttöön. Se voi olla yksinkertainen: testijoukossa ei keksittyjä vastauksia, jokainen siirtotapaus toimii ja määritelty osuus yleisistä kysymyksistä vastataan oikein. Kirjallinen sääntö estää aikataulupaineen sanelemat käyttöönotot.
Käyttöönottopäätökset
| Hyväksymissääntö kirjoitettu ensin | Arvioitu jälkikäteen | |
|---|---|---|
| Selkeys | Kaikki tietävät riman | Rima liikkuu tunnelman mukaan |
| Paine | On helppo sanoa ei vielä | Määräaikaa on vaikea vastustaa |
| Oppiminen | Epäonnistumiset osoittavat korjaukset | Epäonnistumisista tulee kiistoja |
| Kirjaus | Tuloksia voi verrata ajan mittaan | Ei mitään vertailtavaa |
Pidä lokia jokaisesta testistä: päivämäärä, agentin versio, soittaja, kysymys, tulos ja korjaus. Kun muutat kehotetta tai tietopankkia, toista aiemmat testit, sillä korjaukset rikkovat joskus muita asioita.
Kannattaa testata myös hiljaiset epäonnistumiset, joista yksikään soittaja ei valita mutta jotka maksavat ajan mittaan. Tarkista, että aikaisin päättyvästä puhelusta syntyy silti järkevä kirjaus, ettei kesken lauseen sulkeva soittaja jätä jälkeensä puolivalmista tehtävää ja että toistuvasti soittavia kohdellaan johdonmukaisesti. Näitä tapauksia esiintyy harvoin ensimmäisessä testisuunnitelmassa, mutta ne muodostavat yllättävän suuren osan todellisesta liikenteestä.
Käyttöönoton jälkeen
Testaus ei lopu, kun agentti otetaan käyttöön. Aloita rajatusti, esimerkiksi aukioloajan ulkopuolella tai ylivuodossa, kuuntele ensimmäisen viikon ajan joka päivä otos oikeista puheluista ja laajenna, kun olo on varma. Käy läpi kysymykset, joihin agentti ei osannut vastata, ja lisää puuttuva tieto. Pidä mahdollisuus palata edelliseen versioon, jos muutos huonontaa tilannetta. Tekoälyvastaanottajasi ensimmäinen viikko on hyvä jatkolukemisto.
Testaus Callissa
Call tarjoaa useita tapoja testata tekoälyagenttia ennen soittajia. Kohdan Tekoälyagentit Kokeilualue antaa sinun keskustella agentin kanssa, näyttää, kuinka moni tietopankin muistiinpano vastasi kutakin vastausta, ja listaa ne, ja voit arvioida vastauksen tai opettaa paremman. Agentin Testipuhelu soittaa omaan puhelimeesi sen linjan kautta, joten kuulet sen kuten soittaja; jokainen tällainen testi on oikea, laskutettava puhelu. Määritysvelho tarjoaa myös keskustelun näytöllä, puhelun puhelimeesi ja mahdollisuuden antaa agentin soittaa numeroon. Valmiustarkistus, joka ajetaan soittamatta kenellekään, kertoo, mitä linjan tekoälypuhelu vielä tarvitsee.
Harjoituspuhelut kohdassa Tekoälyagentit, Mitä se oppi, antavat tekoälysoittajien soittaa agenteillesi japaniksi ja englanniksi. Jokainen puhelu arvioidaan, ja opit odottavat tarkistustasi, joten mikään ei muutu ilman sinua. Ennen riskialtista muokkausta tallenna agentille palautuspiste, jotta voit palata siihen, ja käytä toimintoja Ota käyttöön ja Palauta luonnokseksi määrittääksesi, milloin agentti vastaa. Itse määrityksestä kerrotaan oppaassa Tekoälyagentin määritys Callissa.
Usein kysytyt kysymykset
Kuinka monta testipuhelua riittää?
Tarpeeksi kattamaan jokaisen yleisen kysymyksen, jokaisen siirtotapauksen ja otoksen hankalaa käyttäytymistä. Pienelle agentille se voi tarkoittaa kymmeniä puheluita; jatka, kunnes uudet testit eivät enää löydä uusia ongelmia.
Kenen pitäisi testata agenttia?
Ihmisten, jotka eivät rakentaneet sitä, mukaan lukien ne, joilla on eri aksentteja ja puhelintottumuksia. He kysyvät tavoilla, joita rakentaja ei koskaan tule ajatelleeksi.
Pitäisikö testata oikealla puhelimella?
Kyllä. Puhelinääni on kapeampaa ja kohinaisempaa kuin tietokoneen ääni, ja moni ongelma ilmenee vain oikealla linjalla.
Mikä lasketaan vakavaksi epäonnistumiseksi?
Itsevarmasti esitetty keksitty vastaus, epäonnistunut siirto tai kirjaus, joka ohjaa tiimin väärään suuntaan. Näiden pitäisi estää käyttöönotto.
Pitääkö pienten muutosten jälkeen testata uudelleen?
Kyllä, ainakin keskeiset testit. Pienet muutokset kehotteeseen tai tietopankkiin voivat muuttaa vastauksia muualla.
Mitä pitäisi seurata käyttöönoton jälkeen?
Kuuntele aluksi päivittäin otos puheluista, kirjaa kysymykset, joihin agentti ei osannut vastata, ja seuraa siirtoja ja valituksia. Paranna tietopankkia joka viikko.