Kako testirati glasovnog AI agenta prije pokretanja: praktičan plan
Plan testiranja telefonskog glasovnog AI agenta korak po korak: skripte, točnost, slušanje, tijek, predaja, evidencija i jasna odluka o prolazu ili padu.
Glasovni agent koji dobro odgovara u tihom uredu, pred osobom koja ga je izradila, može se ponašati sasvim drukčije na uglu ulice s pozivateljem koji mrmlja. Većina problema pri pokretanju nije tajanstvena: to su stvari koje nitko nije isprobao. Strukturiran plan testiranja otkriva ih dok ih je još jeftino ispraviti.

Ovaj vam vodič daje praktičan plan: što pripremiti, šest područja testiranja, kako ocijeniti rezultate i što učiniti nakon pokretanja. Na kraju prikazujemo alate u Callu. Za metrike na kojima se temelji ocjenjivanje pogledajte članak Metrike za ocjenu glasovnog AI-ja.
Priprema testa
Počnite s popisom stvarnih poziva. Prikupite pitanja koja ljudi doista postavljaju, iz e-pošte, sjećanja zaposlenika i bilješki o pozivima. Dodajte nezgodna: ljutitog pozivatelja, nejasnog pozivatelja, pozivatelja koji traži nešto što ne nudite. Dobar skup testova miješa uobičajene, rijetke i teške slučajeve.
Od skripte do pokretanja
- Napišite testne skripteStvarna pitanja, s ispravnim odgovorom za svako.
- Testirajte sadržajOdgovara li agent ispravno i ostaje li unutar granica.
- Testirajte slušanjeRazumije li imena, brojeve i naglaske.
- Testirajte tijekTeče li razgovor prirodno i završava li dobro.
- Testirajte predajuFunkcioniraju li zahtjevi za razgovor s osobom i hitni slučajevi.
- Provjerite evidencijuJesu li sažeci, poruke i zapisi točni.
- OdlučiteUsporedite rezultate s pravilom prolaza i donesite odluku.
Odlučite tko testira. Uključite ljude koji nisu izradili agenta jer će pitati na neočekivane načine. Ako vaši pozivatelji govore regionalnim naglascima ili na više jezika, uključite i te glasove.
Testiranje sadržaja
Prvo je pitanje govori li agent istinu. Postavite svako pitanje s popisa i usporedite s ispravnim odgovorom. Svaki odgovor označite kao točan, djelomično točan, pogrešan ili izmišljen. Izmišljen odgovor, u kojem agent tvrdi nešto što mu nikad nije dano, najvažniji je jer mu pozivatelji vjeruju.
- Postavite isto pitanje drugim riječima.
- Pitajte stvari kojih nema u znanju i provjerite priznaje li agent da ne zna.
- Zatražite nešto što mora odbiti, primjerice savjet ili podatke o drugim korisnicima.
- Pokušajte ga zavesti samouvjerenom netočnom tvrdnjom i provjerite da se ne slaže samo tako.
Pogledajte članak Halucinacije glasovnog AI-ja o tome zašto nastaju izmišljeni odgovori i članak Pretraživanje znanja za glasovne agente o tome kako se znanje koristi.
Testiranje onoga što čuje
Glasovni agenti često podbace u koraku slušanja. Imena, poštanski brojevi, telefonski brojevi i datumi uobičajeni su problemi. Testirajte stvarnim telefonima, a ne samo mikrofonom računala, i uključite pozadinsku buku, zvučnik i loš mobilni signal.
| Provjera | Kako | Na što obratiti pozornost |
|---|---|---|
| Imena | Sricanje i izgovaranje neobičnih imena | Ispravno zabilježeno ili pristojna molba za ponavljanje |
| Brojevi | Izgovaranje telefonskog broja i datuma | Ispravne znamenke i ponavljanje za potvrdu |
| Naglasci | Zamolite kolege s različitim naglascima | Manje nesporazuma i elegantan oporavak |
| Buka | Poziv s prometnog mjesta | Nema lažnih okidača i jasne molbe za ponavljanje |
Brojevi i imena u glasovnom AI-ju i Prepoznavanje govora u telefonskom zvuku detaljnije objašnjavaju te probleme.
Testiranje tijeka razgovora
Sadržaj može biti točan, a razgovor ipak nespretan. Obratite pozornost na uvod, tempo, govori li agent preko pozivatelja, kako se nosi s tišinom i kako završava. Prekinite ga, šutite, recite „Halo?” i usred razgovora se predomislite.
Ponašanja u tijeku razgovora koja treba isprobati
- PrekidanjeGovorite preko agenta i provjerite staje li i sluša.
- TišinaNe recite ništa i provjerite potiče li vas pristojno, a zatim razumno završava.
- PredomišljanjePromijenite temu usred odgovora i provjerite prati li vas.
- ZavršetakZahvalite i pozdravite se te provjerite zatvara li se poziv uredno.
Ovamo pripada i brzina. Zabilježite duge stanke i što ih je uzrokovalo. Članak Latencija glasovnog AI-ja objašnjava uobičajene razloge.
Testiranje predaje i sigurnosti
Svaki glasovni agent treba put do osobe za zahtjeve koje ne može ili ne bi smio obraditi. Testirajte ga u svakoj situaciji: tijekom radnog vremena, izvan radnog vremena, kad se nitko ne javlja i kad je pozivatelj uznemiren. Isprobajte hitne fraze. Provjerite da agent nikad ne tvrdi da je čovjek i nikad ne obećava ono što ne može ispuniti, primjerice potvrđenu rezervaciju.
Provjere predaje
- Zahtjev za razgovor s osobom tijekom radnog vremena stiže do pravih ljudi
- Zahtjev izvan radnog vremena dobiva iskrenu poruku i mogućnost ostavljanja podataka
- Ako se nitko ne javi, pozivatelj može ostaviti poruku
- Hitni ili uznemireni pozivatelji brzo se prosljeđuju
- Agent se na upit predstavlja kao AI
- Osjetljivi podaci ne prikupljaju se kad se ne bi smjeli
Testiranje evidencije i zapisa
Poziv ima dva ishoda: ono što je pozivatelj doživio i ono što zabilježite. Nakon svakog testa provjerite sažetak, transkript, ostavljenu poruku i svaki daljnji zadatak. Jesu li imena i brojevi točni? Je li razlog poziva točno naveden? Izmišlja li sažetak nešto? Savršen poziv s pogrešnim zapisom i dalje šalje tim u krivom smjeru. Pogledajte članak AI sažeci poziva.
Odluka o prolazu ili padu
Prije nego što počnete, zapišite pravilo koje odlučuje smije li se agent pokrenuti. Može biti jednostavno: nema izmišljenih odgovora u skupu testova, svaki slučaj predaje funkcionira, a navedeni udio uobičajenih pitanja dobiva točan odgovor. Kad je zapisano, sprječava pokretanje pod pritiskom rokova.
Odluke o pokretanju
| Pravilo prolaza zapisano unaprijed | Ocjena naknadno | |
|---|---|---|
| Jasnoća | Svi znaju kriterij | Kriterij se mijenja s raspoloženjem |
| Pritisak | Lako je reći „još ne” | Teško je odoljeti roku |
| Učenje | Neuspjesi upućuju na ispravke | Neuspjesi postaju predmet rasprave |
| Evidencija | Rezultati se mogu uspoređivati kroz vrijeme | Nema se što usporediti |
Vodite zapis o svakom testu: datum, verzija agenta, pozivatelj, pitanje, rezultat i ispravak. Kad promijenite upute ili znanje, ponovite ranije testove jer ispravci ponekad pokvare nešto drugo.
Isplati se testirati i tihe pogreške, na koje se nijedan pozivatelj neće požaliti, ali koje vas s vremenom koštaju. Provjerite stvara li poziv koji ranije završi i dalje smislen zapis, ostavlja li pozivatelj koji prekine usred rečenice napola dovršen zadatak i postupa li se s ponovljenim pozivateljima dosljedno. Takvi se slučajevi rijetko pojavljuju u prvom planu testiranja, a čine iznenađujuće velik udio stvarnog prometa.
Nakon pokretanja
Testiranje ne prestaje kad agent počne raditi. Počnite s ograničenim opsegom, primjerice izvan radnog vremena ili za preljev, prvi tjedan svakodnevno preslušajte uzorak stvarnih poziva i proširite opseg kad se osjećate sigurno. Pregledajte pitanja na koja nije znao odgovoriti, a zatim dodajte znanje koje nedostaje. Zadržite mogućnost povratka na prethodnu verziju ako neka promjena pogorša stanje. Članak Prvi tjedan vašeg AI recepcionera dobar je pratilac.
Testiranje u Callu
Call vam nudi nekoliko načina da AI agenta testirate prije pozivatelja. Zaslon Testno okruženje pod AI agentima omogućuje vam razgovor s agentom u chatu, pokazuje koliko se bilješki iz baze znanja podudaralo sa svakim odgovorom i navodi ih te vam omogućuje da ocijenite odgovor ili agenta naučite boljem. Agentov Probni poziv zvoni na vašem telefonu putem njegove linije, pa ga čujete kao pozivatelj; svaki takav test stvaran je poziv koji se naplaćuje. Čarobnjak za postavljanje nudi i razgovor na zaslonu, poziv na vaš telefon i mogućnost da agent nazove neki broj. Provjera spremnosti, koja se izvodi bez biranja ikoga, pokazuje što AI pozivu s linije još nedostaje.
Vježbovni pozivi, pod AI agenti, Što je naučio, omogućuju AI pozivateljima da zovu vaše agente na japanskom i engleskom. Svaki se poziv ocjenjuje, a pouke čekaju vaš pregled, pa se ništa ne mijenja bez vas. Prije rizične izmjene spremite točku vraćanja na agentu kako biste se mogli vratiti, a pomoću opcija Postavi kao aktivno i Postavi kao nacrt odredite kada se agent javlja. Samo postavljanje opisano je u članku Postavljanje AI agenta u Callu.
Često postavljana pitanja
Koliko je probnih poziva dovoljno?
Dovoljno da pokriju svako uobičajeno pitanje, svaki slučaj predaje i uzorak teškog ponašanja. Za malog agenta to može biti nekoliko desetaka poziva; nastavite dok novi testovi ne prestanu otkrivati nove probleme.
Tko bi trebao testirati agenta?
Ljudi koji ga nisu izradili, uključujući one s različitim naglascima i telefonskim navikama. Oni pitaju na načine na koje autor nikad ne pomisli.
Trebam li testirati na stvarnom telefonu?
Da. Telefonski zvuk je uži i bučniji od zvuka na računalu, a mnogi se problemi pojavljuju tek na stvarnoj liniji.
Što se smatra ozbiljnom pogreškom?
Izmišljen odgovor izrečen samouvjereno, predaja koja ne uspije ili zapis koji tim šalje u krivom smjeru. To bi trebalo blokirati pokretanje.
Trebam li ponovno testirati nakon malih promjena?
Da, barem osnovni skup. Male promjene uputa ili znanja mogu promijeniti odgovore na drugim mjestima.
Što trebam pratiti nakon pokretanja?
Na početku svakodnevno preslušajte uzorak poziva, bilježite pitanja na koja agent nije znao odgovoriti te pratite predaje i pritužbe. Svaki tjedan poboljšajte znanje.