Probni pozivi: testirajte AI agenta prije puštanja u rad
Kako simuliranim pozivima najprije testirati AI telefonskog agenta na teškim slučajevima, kako čitati ocjene i lekcije te kako nalaze pretvoriti u popravke.
Svaki tim koji je obučavao novo osoblje zna da je prvi tjedan na telefonima najrizičniji. Nova osoba poznaje pravila, ali još nije upoznala pozivatelja koji je nadglasava, onoga koji mijenja temu usred rečenice ili onoga koji samo želi nekoga okriviti. Dobri timovi te trenutke uvježbavaju igranjem uloga prije stvarnih poziva.

AI telefonskom agentu treba ista proba, a može je imati mnogo više i mnogo brže. Ovaj vodič objašnjava kako osmisliti vježbu, kako čitati rezultate i kako vratiti lekcije u sustav. Nadovezuje se na postavljanje AI agenta i pisanje uputa koje funkcioniraju.
Zašto vježbati prije puštanja u rad
Prvi stvarni pozivi oblikuju mišljenje klijenata o cijeloj usluzi. Agent koji krivo čuje ime, nadglasava pozivatelja ili izmisli odgovor košta više od propuštenog poziva jer klijent sada ima priču za prepričavanje. Vježba pronalazi te probleme dok je jedina publika vaš vlastiti tim.
- Pokrivenost. U jednoj seriji možete testirati desetke poziva, uključujući neuobičajene koji se u prvim tjednima možda ne bi dogodili.
- Ponovljivost. Nakon što promijenite upute, pokrenite istu vrstu serije i usporedite.
- Sigurnost. Pogreške ne koštaju ništa kod stvarnih klijenata.
- Dokazi. Ocjene i oznake daju vam nešto o čemu razgovarati osim mišljenja.
Vježba nije dokaz. Dobra ocjena na simuliranim pozivateljima ne znači da će se stvarni pozivatelji ponašati jednako, a glasovno ponašanje uživo može se razlikovati od simulacije. Dobar rezultat shvatite kao dopuštenje da oprezno pokušate sa stvarnim pozivima, a ne kao certifikat.
Što testirati
Vrijednost serije ovisi o situacijama koje pokriva. Namjerno kombinirajte lake i teške slučajeve.
Scenariji koji otkrivaju slabosti
- Upadanje u riječPozivatelj koji govori preko agenta. Zastane li agent i sluša ili nastavlja dalje?
- Promjena jezikaPozivatelj koji počne na jednom jeziku i prijeđe na drugi. Prati li ga agent?
- Traženje osobePozivatelj kaže „Dajte mi nekoga”. Je li predaja jasna i brza?
- Pitanja o cijeniPozivatelj pita koliko nešto košta. Odgovara li agent samo ono što zna i izbjegava li nagađanje?
- PritužbeUzrujan pozivatelj. Ostaje li agent smiren i nudi li sljedeći korak?
- Svakodnevna pitanjaPitanja iz agentove vlastite baze znanja. Jesu li odgovori točni i kratki?
Ravnoteža je važna. Serija sa samo teškim slučajevima uvijek će izgledati loše i malo će reći o svakodnevnom radu; serija sa samo lakim pitanjima uljepšat će sliku agenta koji pod pritiskom zakaže. Kombinacija jednih i drugih obično je najinformativniji početak.
Pokretanje serije probnih poziva u Callu
U Callu se vježba nalazi pod AI agenti, u odjeljku Što je naučio, na kartici Probni pozivi. AI pozivatelji u simulaciji zovu vaše AI agente na japanskom i engleskom, a svaki poziv se ocjenjuje. Birate agente (do deset odjednom; agent koji još ne može odgovarati na pozive je zasivljen), koliko japanskih i engleskih poziva svaki treba dobiti (od nijednog do dvadeset pet od svake vrste) i kombinaciju scenarija.
| Kombinacija scenarija | Što pokriva | Kada je koristiti |
|---|---|---|
| Uravnoteženo | Svaki teški slučaj jednom, ostalo pitanja iz agentove baze znanja | Prvi put testirate novog agenta |
| Baza znanja | Samo pitanja iz onoga što agent zna | Promijenili ste njegovo znanje i želite provjeriti točnost |
| Rubni slučajevi | Samo teški slučajevi | Promijenili ste njegova pravila ponašanja ili upute |
Pokretanje serije
- Otvorite Probne poziveIdite na AI agenti, zatim Što je naučio, zatim Probni pozivi.
- Odaberite agente i broj pozivaOznačite agente i postavite broj poziva na svakom jeziku.
- Odaberite kombinacijuUravnoteženo, Baza znanja ili Rubni slučajevi.
- Pokrenite serijuBroj pokraj gumba je ukupan: broj agenata pomnožen s pozivima na oba jezika.
- Pratite napredakPopis se sam osvježava; otvorite seriju da vidite ocjene i rezultate poziva.
Gumb za pokretanje ostaje zasivljen pri nula poziva ili iznad ukupno tristo, pa se veliki testovi provode u dijelovima. Seriju koja čeka ili je u tijeku možete i otkazati; pozivi koji nisu započeli otkazuju se, a poziv koji je već u tijeku završava. Za seriju možete uključiti glas kako biste svakom izmjenjivanju dodali gumb za reprodukciju, a zvuk se generira tek kad ga pritisnete.
Čitanje rezultata
Otvorite završenu seriju i počnite sa sažetkom, a ne s pojedinačnim transkriptom. Zbrojevi pokazuju obavljene pozive, prosječnu ocjenu, ispravljene odgovore, pitanja koja trebaju odgovor i savjete o stilu. Ispod njih su ocjena po kriterijima, glavni problemi s prosjekom svakog agenta i tablica poziva sa scenarijem, jezikom, ocjenom i oznakama.
- Pogledajte ocjenu po kriterijima kako biste pronašli najslabije područje.
- Pročitajte glavne probleme; ako se jedan pojavljuje kod više agenata, vjerojatno je riječ o zajedničkoj uputi ili pravilu.
- Razvrstajte pozive po ocjeni i u cijelosti pročitajte tri najgora transkripta.
- Pročitajte bilješku ocjenjivača uz svaki odgovor, a ne samo konačnu ocjenu.
- Usporedite jezike; razlika može značiti da jedan jezik treba vlastite formulacije.
Primjena lekcija
Vježba stvara lekcije, a one čekaju vaš pregled umjesto da automatski mijenjaju agenta. Svaku možete primijeniti ili odbaciti. Ispravljeni odgovori i pitanja koja trebaju odgovor također čekaju u Prijedlozima. To je namjerno: čovjek odlučuje što agent treba naučiti.
Pregled lekcija
- Odgovara li lekcija vašim pravilima i tonu
- Je li ispravljeni odgovor doista točan, a ne samo uvjerljiv
- Vrijedi li za svakog pozivatelja ili samo za ovaj scenarij
- Proturječe li dvije lekcije jedna drugoj
- Treba li agentu novi unos znanja, a ne promjena uputa
Nakon primjene promjena ponovno pokrenite malu seriju i usporedite. Gdje možete, mijenjajte jednu po jednu stvar, inače nećete znati koja je promjena pomogla. Gdje pripadaju činjenični odgovori, pogledajte u članku izvori znanja.
Razuman ritam vježbanja
Vježba se najviše isplati kad je navika, a ne jednokratni događaj. Povežite serije s trenucima kada se nešto mijenja.
| Trenutak | Što pokrenuti | Na što obratiti pozornost |
|---|---|---|
| Novi agent, prije pokretanja | Uravnoteženu seriju na svakom jeziku koji koristite | Slabe kriterije, ponašanje pri predaji |
| Nakon promjene uputa ili pravila | Seriju rubnih slučajeva | Je li promjena riješila problem, a da nije pokvarila nešto drugo |
| Nakon dodavanja znanja | Seriju iz baze znanja | Točne, kratke odgovore bez izmišljenih činjenica |
| Prije zaposlenog razdoblja | Uravnoteženu seriju na linijama koje će biti najzaposlenije | Stabilnost pri uobičajenoj kombinaciji pitanja |
| Nakon problema u stvarnom pozivu | Seriju koja oponaša propust | Drži li popravak |
Vodite kratki dnevnik: datum, što ste promijenili, koju ste seriju pokrenuli i glavni rezultat. Nakon nekoliko mjeseci ta povijest pokazuje koje su promjene pomogle i štiti vas od ponavljanja eksperimenta koji je već propao.
Zamišljena klinika mogla bi pokrenuti uravnoteženu seriju za svojeg agenta na recepciji prije otvaranja nove linije, seriju rubnih slučajeva nakon dodavanja pravila o hitnim simptomima i seriju iz baze znanja kad god se promijene radno vrijeme ili usluge. Tri male serije, pokrenute u pravim trenucima, govore više od jednog golemog testa provedenog jednom.
Izvan simulacije
Simulacija je proba. Prije pokretanja nazovite i vlastiti telefon testnim pozivom i slušajte kao klijent. U rad krenite oprezno: počnite s linijom niskog rizika ili ograničenim radnim vremenom, zadržite jednostavan put do osobe (pogledajte predaja poziva osobi) i svakodnevno slušajte prve stvarne pozive. Ista ideja vrijedi za ljudske agente; za probe i povratne informacije s ljudima pogledajte okvir za coaching.
Često postavljana pitanja
Jesu li probni pozivi stvarni telefonski pozivi?
To su simulirani pozivi u kojima AI pozivatelji zovu vaše AI agente. Da biste agenta čuli na stvarnoj liniji, obavite zaseban testni poziv na vlastiti telefon.
Mogu li vježbati na više jezika?
Alat za vježbu provodi simulirane pozive na japanskom i engleskom. Postavite koliko poziva svake vrste želite po agentu.
Koliko poziva trebam pokrenuti?
Počnite s malo, s nekoliko poziva za svaki scenarij po agentu, i pažljivo pročitajte rezultate. Povećajte broj samo kad imate razlog, na primjer kad testirate promjenu na više jezika.
Mijenjaju li lekcije mojeg agenta automatski?
Ne. Lekcije čekaju vaš pregled. Primijenite one s kojima se slažete, a ostale odbacite.
Što mi govori ocjena?
Pokazuje kako je simulirani poziv prošao prema kriterijima, uz bilješke ocjenjivača za svaki odgovor. To je dokaz, a stvarni pozivatelji ipak se mogu ponašati drukčije.
Što ako je agent zasivljen?
Agent koji još ne može odgovarati na pozive označen je kao nedostupan za odgovaranje i ne može se odabrati. Najprije dovršite njegovo postavljanje.