Puhe-tekoälyn teknologia

Puhe-AI-agentin testaus ennen käyttöönottoa: käytännön suunnitelma

Vaiheittainen suunnitelma puhelimen puhe-AI-agentin testaamiseen ennen käyttöönottoa: käsikirjoitukset, tarkkuus, kuulo, kulku, siirrot, kirjaukset ja selkeä päätös.

Call-toimitus · Julkaistu · Lukuaika 4 min

Puheagentti, joka vastaa hyvin hiljaisessa toimistossa sen rakentaneen ihmisen edessä, voi käyttäytyä aivan toisin kadunkulmassa mumisevan soittajan kanssa. Useimmat käyttöönoton ongelmat eivät ole mysteerejä: ne ovat asioita, joita kukaan ei kokeillut. Jäsennelty testisuunnitelma löytää ne, kun niiden korjaaminen on vielä edullista.

Kuulokkeita käyttävä laatutestaaja tarkistaa puhelukäsikirjoitusta kannettavalla tietokoneella
Havainnekuva

Tämä opas antaa käytännön suunnitelman: mitä valmistella, kuusi testattavaa osa-aluetta, miten tuloksia arvioidaan ja mitä tehdä käyttöönoton jälkeen. Lopuksi esitellään Callin työkalut. Arvioinnin taustalla olevista mittareista kerrotaan oppaassa Puhe-AI:n arviointimittarit.

Testin valmistelu

Aloita oikeiden puheluiden listasta. Kerää kysymykset, joita ihmiset todella kysyvät, sähköposteista, henkilöstön muistista ja puhelumuistiinpanoista. Lisää hankalat: vihainen soittaja, epämääräinen soittaja ja soittaja, joka pyytää jotain, mitä et tarjoa. Hyvä testijoukko sekoittaa yleisiä, harvinaisia ja vaikeita tapauksia.

Käsikirjoituksesta käyttöönottoon

  1. Kirjoita testikäsikirjoituksetOikeat kysymykset ja kuhunkin oikea vastaus.
  2. Testaa sisältöVastaako agentti oikein ja pysyykö se rajoissa.
  3. Testaa kuuloYmmärtääkö se nimet, numerot ja aksentit.
  4. Testaa kulkuEteneekö keskustelu luontevasti ja päättyykö se hyvin.
  5. Testaa siirto ihmiselleToimivatko pyynnöt saada ihminen linjalle ja kiireelliset tapaukset.
  6. Tarkista kirjauksetOvatko yhteenvedot, viestit ja lokit oikein.
  7. PäätäVertaa tuloksia hyväksymissääntöön ja tee valinta.

Päätä, kuka testaa. Ota mukaan ihmisiä, jotka eivät rakentaneet agenttia, koska he kysyvät odottamattomilla tavoilla. Jos soittajasi puhuvat murteella tai useilla kielillä, ota myös ne äänet mukaan.

Sisällön testaaminen

Ensimmäinen kysymys on, puhuuko agentti totta. Esitä jokainen listasi kysymys ja vertaa oikeaan vastaukseen. Merkitse jokainen vastaus oikeaksi, osittain oikeaksi, vääräksi tai keksityksi. Keksitty vastaus, jossa agentti esittää jotain, mitä sille ei koskaan annettu, on tärkein, koska soittajat uskovat sen.

Katso Puhe-AI:n hallusinaatiot, miksi keksittyjä vastauksia syntyy, ja Tiedonhaku puheagenteille, miten tietoa käytetään.

Sen testaaminen, mitä agentti kuulee

Puheagentit epäonnistuvat usein kuunteluvaiheessa. Nimet, postinumerot, puhelinnumerot ja päivämäärät ovat tavallisia ongelmakohtia. Testaa oikeilla puhelimilla, ei pelkällä tietokoneen mikrofonilla, ja ota mukaan taustamelu, kaiutinpuhelin ja heikko mobiiliyhteys.

TarkistusMitenMitä etsiä
NimetTavaa ja sano harvinaisia nimiäOikea kirjaus tai kohtelias pyyntö toistaa
NumerotLue ääneen puhelinnumero ja päivämääräOikeat numerot ja toisto takaisin
AksentitPyydä kollegoita, joilla on eri aksentitVähemmän väärinymmärryksiä ja sujuva palautuminen
MeluSoita vilkkaasta paikastaEi vääriä laukaisuja ja selkeät toistopyynnöt

Numerot ja nimet puhe-AI:ssa ja Puheentunnistus puhelinäänessä selittävät nämä ongelmat tarkemmin.

Keskustelun kulun testaaminen

Sisältö voi olla oikein ja keskustelu silti kömpelö. Kuuntele avausta, tahtia, puhuuko agentti soittajan päälle, miten se käsittelee hiljaisuutta ja miten se lopettaa. Keskeytä se, ole hiljaa, sano "haloo?" ja muuta mieltäsi kesken kaiken.

Kokeiltavat kulkuun liittyvät tilanteet

  • KeskeyttäminenPuhu agentin päälle ja tarkista, että se pysähtyy ja kuuntelee.
  • HiljaisuusÄlä sano mitään ja tarkista, että se kehottaa kohteliaasti ja lopettaa sitten järkevästi.
  • Mielen muuttaminenVaihda aihetta kesken vastauksen ja tarkista, että se pysyy perässä.
  • LopettaminenKiitä ja hyvästele ja tarkista, että puhelu päättyy siististi.

Nopeuskin kuuluu tähän. Kirjaa pitkät tauot ja niiden syyt. Puhe-AI:n viive selittää tavalliset syyt.

Siirron ja turvallisuuden testaaminen

Jokainen puheagentti tarvitsee reitin ihmiselle pyyntöihin, joita se ei voi tai sen ei pidä hoitaa. Testaa se kaikissa tilanteissa: aukioloaikana, aukioloajan ulkopuolella, kun kukaan ei vastaa ja kun soittaja on hädissään. Kokeile kiireellisiä ilmauksia. Tarkista, ettei agentti koskaan väitä olevansa ihminen eikä lupaa asioita, joita se ei voi toteuttaa, kuten vahvistettua varausta.

Siirron tarkistukset

  • Ihmistä pyytävä tavoittaa aukioloaikana oikeat ihmiset
  • Aukioloajan ulkopuolella pyytävä saa rehellisen viestin ja tavan jättää tietonsa
  • Jos kukaan ei vastaa, soittaja voi jättää viestin
  • Kiireelliset tai hädissään olevat soittajat ohjataan eteenpäin nopeasti
  • Agentti kertoo kysyttäessä olevansa tekoäly
  • Arkaluonteisia tietoja ei kerätä silloin, kun niitä ei pidä kerätä

Kirjausten ja lokien testaaminen

Puhelulla on kaksi lopputulosta: mitä soittaja koki ja mitä sinä kirjaat. Tarkista jokaisen testin jälkeen yhteenveto, litterointi, jätetty viesti ja mahdollinen jatkotehtävä. Ovatko nimet ja numerot oikein? Onko soiton syy kuvattu tarkasti? Keksiikö yhteenveto mitään? Täydellinen puhelu väärällä kirjauksella ohjaa tiimin silti väärään suuntaan. Katso Tekoälyn puheluyhteenvedot.

Hyväksytty vai hylätty

Kirjoita ennen aloittamista sääntö, joka ratkaisee, saako agentin ottaa käyttöön. Se voi olla yksinkertainen: testijoukossa ei keksittyjä vastauksia, jokainen siirtotapaus toimii ja määritelty osuus yleisistä kysymyksistä vastataan oikein. Kirjallinen sääntö estää aikataulupaineen sanelemat käyttöönotot.

Käyttöönottopäätökset

Hyväksymissääntö kirjoitettu ensinArvioitu jälkikäteen
SelkeysKaikki tietävät rimanRima liikkuu tunnelman mukaan
PaineOn helppo sanoa ei vieläMääräaikaa on vaikea vastustaa
OppiminenEpäonnistumiset osoittavat korjauksetEpäonnistumisista tulee kiistoja
KirjausTuloksia voi verrata ajan mittaanEi mitään vertailtavaa

Pidä lokia jokaisesta testistä: päivämäärä, agentin versio, soittaja, kysymys, tulos ja korjaus. Kun muutat kehotetta tai tietopankkia, toista aiemmat testit, sillä korjaukset rikkovat joskus muita asioita.

Kannattaa testata myös hiljaiset epäonnistumiset, joista yksikään soittaja ei valita mutta jotka maksavat ajan mittaan. Tarkista, että aikaisin päättyvästä puhelusta syntyy silti järkevä kirjaus, ettei kesken lauseen sulkeva soittaja jätä jälkeensä puolivalmista tehtävää ja että toistuvasti soittavia kohdellaan johdonmukaisesti. Näitä tapauksia esiintyy harvoin ensimmäisessä testisuunnitelmassa, mutta ne muodostavat yllättävän suuren osan todellisesta liikenteestä.

Käyttöönoton jälkeen

Testaus ei lopu, kun agentti otetaan käyttöön. Aloita rajatusti, esimerkiksi aukioloajan ulkopuolella tai ylivuodossa, kuuntele ensimmäisen viikon ajan joka päivä otos oikeista puheluista ja laajenna, kun olo on varma. Käy läpi kysymykset, joihin agentti ei osannut vastata, ja lisää puuttuva tieto. Pidä mahdollisuus palata edelliseen versioon, jos muutos huonontaa tilannetta. Tekoälyvastaanottajasi ensimmäinen viikko on hyvä jatkolukemisto.

Testaus Callissa

Call tarjoaa useita tapoja testata tekoälyagenttia ennen soittajia. Kohdan Tekoälyagentit Kokeilualue antaa sinun keskustella agentin kanssa, näyttää, kuinka moni tietopankin muistiinpano vastasi kutakin vastausta, ja listaa ne, ja voit arvioida vastauksen tai opettaa paremman. Agentin Testipuhelu soittaa omaan puhelimeesi sen linjan kautta, joten kuulet sen kuten soittaja; jokainen tällainen testi on oikea, laskutettava puhelu. Määritysvelho tarjoaa myös keskustelun näytöllä, puhelun puhelimeesi ja mahdollisuuden antaa agentin soittaa numeroon. Valmiustarkistus, joka ajetaan soittamatta kenellekään, kertoo, mitä linjan tekoälypuhelu vielä tarvitsee.

Harjoituspuhelut kohdassa Tekoälyagentit, Mitä se oppi, antavat tekoälysoittajien soittaa agenteillesi japaniksi ja englanniksi. Jokainen puhelu arvioidaan, ja opit odottavat tarkistustasi, joten mikään ei muutu ilman sinua. Ennen riskialtista muokkausta tallenna agentille palautuspiste, jotta voit palata siihen, ja käytä toimintoja Ota käyttöön ja Palauta luonnokseksi määrittääksesi, milloin agentti vastaa. Itse määrityksestä kerrotaan oppaassa Tekoälyagentin määritys Callissa.

Usein kysytyt kysymykset

Kuinka monta testipuhelua riittää?

Tarpeeksi kattamaan jokaisen yleisen kysymyksen, jokaisen siirtotapauksen ja otoksen hankalaa käyttäytymistä. Pienelle agentille se voi tarkoittaa kymmeniä puheluita; jatka, kunnes uudet testit eivät enää löydä uusia ongelmia.

Kenen pitäisi testata agenttia?

Ihmisten, jotka eivät rakentaneet sitä, mukaan lukien ne, joilla on eri aksentteja ja puhelintottumuksia. He kysyvät tavoilla, joita rakentaja ei koskaan tule ajatelleeksi.

Pitäisikö testata oikealla puhelimella?

Kyllä. Puhelinääni on kapeampaa ja kohinaisempaa kuin tietokoneen ääni, ja moni ongelma ilmenee vain oikealla linjalla.

Mikä lasketaan vakavaksi epäonnistumiseksi?

Itsevarmasti esitetty keksitty vastaus, epäonnistunut siirto tai kirjaus, joka ohjaa tiimin väärään suuntaan. Näiden pitäisi estää käyttöönotto.

Pitääkö pienten muutosten jälkeen testata uudelleen?

Kyllä, ainakin keskeiset testit. Pienet muutokset kehotteeseen tai tietopankkiin voivat muuttaa vastauksia muualla.

Mitä pitäisi seurata käyttöönoton jälkeen?

Kuuntele aluksi päivittäin otos puheluista, kirjaa kysymykset, joihin agentti ei osannut vastata, ja seuraa siirtoja ja valituksia. Paranna tietopankkia joka viikko.

Tee testi- ja harjoituspuheluita tekoälyagentillesi Callissa

Demokonsolissa voit kokeilla saapuvia puheluita simulaatiossa.

Aiheeseen liittyvät oppaat