Tehnologija glasovne umjetne inteligencije

Kako testirati glasovnog AI agenta prije pokretanja: praktičan plan

Plan testiranja telefonskog glasovnog AI agenta korak po korak: skripte, točnost, slušanje, tijek, predaja, evidencija i jasna odluka o prolazu ili padu.

Urednički tim usluge Call · Objavljeno · Čitanje: 5 min

Glasovni agent koji dobro odgovara u tihom uredu, pred osobom koja ga je izradila, može se ponašati sasvim drukčije na uglu ulice s pozivateljem koji mrmlja. Većina problema pri pokretanju nije tajanstvena: to su stvari koje nitko nije isprobao. Strukturiran plan testiranja otkriva ih dok ih je još jeftino ispraviti.

Ispitivač kvalitete sa slušalicama provjerava skriptu poziva na prijenosnom računalu
Ilustrativna slika

Ovaj vam vodič daje praktičan plan: što pripremiti, šest područja testiranja, kako ocijeniti rezultate i što učiniti nakon pokretanja. Na kraju prikazujemo alate u Callu. Za metrike na kojima se temelji ocjenjivanje pogledajte članak Metrike za ocjenu glasovnog AI-ja.

Priprema testa

Počnite s popisom stvarnih poziva. Prikupite pitanja koja ljudi doista postavljaju, iz e-pošte, sjećanja zaposlenika i bilješki o pozivima. Dodajte nezgodna: ljutitog pozivatelja, nejasnog pozivatelja, pozivatelja koji traži nešto što ne nudite. Dobar skup testova miješa uobičajene, rijetke i teške slučajeve.

Od skripte do pokretanja

  1. Napišite testne skripteStvarna pitanja, s ispravnim odgovorom za svako.
  2. Testirajte sadržajOdgovara li agent ispravno i ostaje li unutar granica.
  3. Testirajte slušanjeRazumije li imena, brojeve i naglaske.
  4. Testirajte tijekTeče li razgovor prirodno i završava li dobro.
  5. Testirajte predajuFunkcioniraju li zahtjevi za razgovor s osobom i hitni slučajevi.
  6. Provjerite evidencijuJesu li sažeci, poruke i zapisi točni.
  7. OdlučiteUsporedite rezultate s pravilom prolaza i donesite odluku.

Odlučite tko testira. Uključite ljude koji nisu izradili agenta jer će pitati na neočekivane načine. Ako vaši pozivatelji govore regionalnim naglascima ili na više jezika, uključite i te glasove.

Testiranje sadržaja

Prvo je pitanje govori li agent istinu. Postavite svako pitanje s popisa i usporedite s ispravnim odgovorom. Svaki odgovor označite kao točan, djelomično točan, pogrešan ili izmišljen. Izmišljen odgovor, u kojem agent tvrdi nešto što mu nikad nije dano, najvažniji je jer mu pozivatelji vjeruju.

Pogledajte članak Halucinacije glasovnog AI-ja o tome zašto nastaju izmišljeni odgovori i članak Pretraživanje znanja za glasovne agente o tome kako se znanje koristi.

Testiranje onoga što čuje

Glasovni agenti često podbace u koraku slušanja. Imena, poštanski brojevi, telefonski brojevi i datumi uobičajeni su problemi. Testirajte stvarnim telefonima, a ne samo mikrofonom računala, i uključite pozadinsku buku, zvučnik i loš mobilni signal.

ProvjeraKakoNa što obratiti pozornost
ImenaSricanje i izgovaranje neobičnih imenaIspravno zabilježeno ili pristojna molba za ponavljanje
BrojeviIzgovaranje telefonskog broja i datumaIspravne znamenke i ponavljanje za potvrdu
NaglasciZamolite kolege s različitim naglascimaManje nesporazuma i elegantan oporavak
BukaPoziv s prometnog mjestaNema lažnih okidača i jasne molbe za ponavljanje

Brojevi i imena u glasovnom AI-ju i Prepoznavanje govora u telefonskom zvuku detaljnije objašnjavaju te probleme.

Testiranje tijeka razgovora

Sadržaj može biti točan, a razgovor ipak nespretan. Obratite pozornost na uvod, tempo, govori li agent preko pozivatelja, kako se nosi s tišinom i kako završava. Prekinite ga, šutite, recite „Halo?” i usred razgovora se predomislite.

Ponašanja u tijeku razgovora koja treba isprobati

  • PrekidanjeGovorite preko agenta i provjerite staje li i sluša.
  • TišinaNe recite ništa i provjerite potiče li vas pristojno, a zatim razumno završava.
  • PredomišljanjePromijenite temu usred odgovora i provjerite prati li vas.
  • ZavršetakZahvalite i pozdravite se te provjerite zatvara li se poziv uredno.

Ovamo pripada i brzina. Zabilježite duge stanke i što ih je uzrokovalo. Članak Latencija glasovnog AI-ja objašnjava uobičajene razloge.

Testiranje predaje i sigurnosti

Svaki glasovni agent treba put do osobe za zahtjeve koje ne može ili ne bi smio obraditi. Testirajte ga u svakoj situaciji: tijekom radnog vremena, izvan radnog vremena, kad se nitko ne javlja i kad je pozivatelj uznemiren. Isprobajte hitne fraze. Provjerite da agent nikad ne tvrdi da je čovjek i nikad ne obećava ono što ne može ispuniti, primjerice potvrđenu rezervaciju.

Provjere predaje

  • Zahtjev za razgovor s osobom tijekom radnog vremena stiže do pravih ljudi
  • Zahtjev izvan radnog vremena dobiva iskrenu poruku i mogućnost ostavljanja podataka
  • Ako se nitko ne javi, pozivatelj može ostaviti poruku
  • Hitni ili uznemireni pozivatelji brzo se prosljeđuju
  • Agent se na upit predstavlja kao AI
  • Osjetljivi podaci ne prikupljaju se kad se ne bi smjeli

Testiranje evidencije i zapisa

Poziv ima dva ishoda: ono što je pozivatelj doživio i ono što zabilježite. Nakon svakog testa provjerite sažetak, transkript, ostavljenu poruku i svaki daljnji zadatak. Jesu li imena i brojevi točni? Je li razlog poziva točno naveden? Izmišlja li sažetak nešto? Savršen poziv s pogrešnim zapisom i dalje šalje tim u krivom smjeru. Pogledajte članak AI sažeci poziva.

Odluka o prolazu ili padu

Prije nego što počnete, zapišite pravilo koje odlučuje smije li se agent pokrenuti. Može biti jednostavno: nema izmišljenih odgovora u skupu testova, svaki slučaj predaje funkcionira, a navedeni udio uobičajenih pitanja dobiva točan odgovor. Kad je zapisano, sprječava pokretanje pod pritiskom rokova.

Odluke o pokretanju

Pravilo prolaza zapisano unaprijedOcjena naknadno
JasnoćaSvi znaju kriterijKriterij se mijenja s raspoloženjem
PritisakLako je reći „još ne”Teško je odoljeti roku
UčenjeNeuspjesi upućuju na ispravkeNeuspjesi postaju predmet rasprave
EvidencijaRezultati se mogu uspoređivati kroz vrijemeNema se što usporediti

Vodite zapis o svakom testu: datum, verzija agenta, pozivatelj, pitanje, rezultat i ispravak. Kad promijenite upute ili znanje, ponovite ranije testove jer ispravci ponekad pokvare nešto drugo.

Isplati se testirati i tihe pogreške, na koje se nijedan pozivatelj neće požaliti, ali koje vas s vremenom koštaju. Provjerite stvara li poziv koji ranije završi i dalje smislen zapis, ostavlja li pozivatelj koji prekine usred rečenice napola dovršen zadatak i postupa li se s ponovljenim pozivateljima dosljedno. Takvi se slučajevi rijetko pojavljuju u prvom planu testiranja, a čine iznenađujuće velik udio stvarnog prometa.

Nakon pokretanja

Testiranje ne prestaje kad agent počne raditi. Počnite s ograničenim opsegom, primjerice izvan radnog vremena ili za preljev, prvi tjedan svakodnevno preslušajte uzorak stvarnih poziva i proširite opseg kad se osjećate sigurno. Pregledajte pitanja na koja nije znao odgovoriti, a zatim dodajte znanje koje nedostaje. Zadržite mogućnost povratka na prethodnu verziju ako neka promjena pogorša stanje. Članak Prvi tjedan vašeg AI recepcionera dobar je pratilac.

Testiranje u Callu

Call vam nudi nekoliko načina da AI agenta testirate prije pozivatelja. Zaslon Testno okruženje pod AI agentima omogućuje vam razgovor s agentom u chatu, pokazuje koliko se bilješki iz baze znanja podudaralo sa svakim odgovorom i navodi ih te vam omogućuje da ocijenite odgovor ili agenta naučite boljem. Agentov Probni poziv zvoni na vašem telefonu putem njegove linije, pa ga čujete kao pozivatelj; svaki takav test stvaran je poziv koji se naplaćuje. Čarobnjak za postavljanje nudi i razgovor na zaslonu, poziv na vaš telefon i mogućnost da agent nazove neki broj. Provjera spremnosti, koja se izvodi bez biranja ikoga, pokazuje što AI pozivu s linije još nedostaje.

Vježbovni pozivi, pod AI agenti, Što je naučio, omogućuju AI pozivateljima da zovu vaše agente na japanskom i engleskom. Svaki se poziv ocjenjuje, a pouke čekaju vaš pregled, pa se ništa ne mijenja bez vas. Prije rizične izmjene spremite točku vraćanja na agentu kako biste se mogli vratiti, a pomoću opcija Postavi kao aktivno i Postavi kao nacrt odredite kada se agent javlja. Samo postavljanje opisano je u članku Postavljanje AI agenta u Callu.

Često postavljana pitanja

Koliko je probnih poziva dovoljno?

Dovoljno da pokriju svako uobičajeno pitanje, svaki slučaj predaje i uzorak teškog ponašanja. Za malog agenta to može biti nekoliko desetaka poziva; nastavite dok novi testovi ne prestanu otkrivati nove probleme.

Tko bi trebao testirati agenta?

Ljudi koji ga nisu izradili, uključujući one s različitim naglascima i telefonskim navikama. Oni pitaju na načine na koje autor nikad ne pomisli.

Trebam li testirati na stvarnom telefonu?

Da. Telefonski zvuk je uži i bučniji od zvuka na računalu, a mnogi se problemi pojavljuju tek na stvarnoj liniji.

Što se smatra ozbiljnom pogreškom?

Izmišljen odgovor izrečen samouvjereno, predaja koja ne uspije ili zapis koji tim šalje u krivom smjeru. To bi trebalo blokirati pokretanje.

Trebam li ponovno testirati nakon malih promjena?

Da, barem osnovni skup. Male promjene uputa ili znanja mogu promijeniti odgovore na drugim mjestima.

Što trebam pratiti nakon pokretanja?

Na početku svakodnevno preslušajte uzorak poziva, bilježite pitanja na koja agent nije znao odgovoriti te pratite predaje i pritužbe. Svaki tjedan poboljšajte znanje.

Obavite probne i vježbovne pozive sa svojim AI agentom u Callu

U demo konzoli možete isprobati dolazne pozive u simulaciji.

Povezani vodiči