Korištenje usluge Call

Probni pozivi: testirajte AI agenta prije puštanja u rad

Kako simuliranim pozivima najprije testirati AI telefonskog agenta na teškim slučajevima, kako čitati ocjene i lekcije te kako nalaze pretvoriti u popravke.

Urednički tim usluge Call · Objavljeno · Čitanje: 5 min

Svaki tim koji je obučavao novo osoblje zna da je prvi tjedan na telefonima najrizičniji. Nova osoba poznaje pravila, ali još nije upoznala pozivatelja koji je nadglasava, onoga koji mijenja temu usred rečenice ili onoga koji samo želi nekoga okriviti. Dobri timovi te trenutke uvježbavaju igranjem uloga prije stvarnih poziva.

Voditelj tima prije pokretanja na monitoru pregledava ocjene poziva i transkripte
Ilustrativna slika

AI telefonskom agentu treba ista proba, a može je imati mnogo više i mnogo brže. Ovaj vodič objašnjava kako osmisliti vježbu, kako čitati rezultate i kako vratiti lekcije u sustav. Nadovezuje se na postavljanje AI agenta i pisanje uputa koje funkcioniraju.

Zašto vježbati prije puštanja u rad

Prvi stvarni pozivi oblikuju mišljenje klijenata o cijeloj usluzi. Agent koji krivo čuje ime, nadglasava pozivatelja ili izmisli odgovor košta više od propuštenog poziva jer klijent sada ima priču za prepričavanje. Vježba pronalazi te probleme dok je jedina publika vaš vlastiti tim.

Vježba nije dokaz. Dobra ocjena na simuliranim pozivateljima ne znači da će se stvarni pozivatelji ponašati jednako, a glasovno ponašanje uživo može se razlikovati od simulacije. Dobar rezultat shvatite kao dopuštenje da oprezno pokušate sa stvarnim pozivima, a ne kao certifikat.

Što testirati

Vrijednost serije ovisi o situacijama koje pokriva. Namjerno kombinirajte lake i teške slučajeve.

Scenariji koji otkrivaju slabosti

  • Upadanje u riječPozivatelj koji govori preko agenta. Zastane li agent i sluša ili nastavlja dalje?
  • Promjena jezikaPozivatelj koji počne na jednom jeziku i prijeđe na drugi. Prati li ga agent?
  • Traženje osobePozivatelj kaže „Dajte mi nekoga”. Je li predaja jasna i brza?
  • Pitanja o cijeniPozivatelj pita koliko nešto košta. Odgovara li agent samo ono što zna i izbjegava li nagađanje?
  • PritužbeUzrujan pozivatelj. Ostaje li agent smiren i nudi li sljedeći korak?
  • Svakodnevna pitanjaPitanja iz agentove vlastite baze znanja. Jesu li odgovori točni i kratki?

Ravnoteža je važna. Serija sa samo teškim slučajevima uvijek će izgledati loše i malo će reći o svakodnevnom radu; serija sa samo lakim pitanjima uljepšat će sliku agenta koji pod pritiskom zakaže. Kombinacija jednih i drugih obično je najinformativniji početak.

Pokretanje serije probnih poziva u Callu

U Callu se vježba nalazi pod AI agenti, u odjeljku Što je naučio, na kartici Probni pozivi. AI pozivatelji u simulaciji zovu vaše AI agente na japanskom i engleskom, a svaki poziv se ocjenjuje. Birate agente (do deset odjednom; agent koji još ne može odgovarati na pozive je zasivljen), koliko japanskih i engleskih poziva svaki treba dobiti (od nijednog do dvadeset pet od svake vrste) i kombinaciju scenarija.

Kombinacija scenarijaŠto pokrivaKada je koristiti
UravnoteženoSvaki teški slučaj jednom, ostalo pitanja iz agentove baze znanjaPrvi put testirate novog agenta
Baza znanjaSamo pitanja iz onoga što agent znaPromijenili ste njegovo znanje i želite provjeriti točnost
Rubni slučajeviSamo teški slučajeviPromijenili ste njegova pravila ponašanja ili upute

Pokretanje serije

  1. Otvorite Probne poziveIdite na AI agenti, zatim Što je naučio, zatim Probni pozivi.
  2. Odaberite agente i broj pozivaOznačite agente i postavite broj poziva na svakom jeziku.
  3. Odaberite kombinacijuUravnoteženo, Baza znanja ili Rubni slučajevi.
  4. Pokrenite serijuBroj pokraj gumba je ukupan: broj agenata pomnožen s pozivima na oba jezika.
  5. Pratite napredakPopis se sam osvježava; otvorite seriju da vidite ocjene i rezultate poziva.

Gumb za pokretanje ostaje zasivljen pri nula poziva ili iznad ukupno tristo, pa se veliki testovi provode u dijelovima. Seriju koja čeka ili je u tijeku možete i otkazati; pozivi koji nisu započeli otkazuju se, a poziv koji je već u tijeku završava. Za seriju možete uključiti glas kako biste svakom izmjenjivanju dodali gumb za reprodukciju, a zvuk se generira tek kad ga pritisnete.

Čitanje rezultata

Otvorite završenu seriju i počnite sa sažetkom, a ne s pojedinačnim transkriptom. Zbrojevi pokazuju obavljene pozive, prosječnu ocjenu, ispravljene odgovore, pitanja koja trebaju odgovor i savjete o stilu. Ispod njih su ocjena po kriterijima, glavni problemi s prosjekom svakog agenta i tablica poziva sa scenarijem, jezikom, ocjenom i oznakama.

  1. Pogledajte ocjenu po kriterijima kako biste pronašli najslabije područje.
  2. Pročitajte glavne probleme; ako se jedan pojavljuje kod više agenata, vjerojatno je riječ o zajedničkoj uputi ili pravilu.
  3. Razvrstajte pozive po ocjeni i u cijelosti pročitajte tri najgora transkripta.
  4. Pročitajte bilješku ocjenjivača uz svaki odgovor, a ne samo konačnu ocjenu.
  5. Usporedite jezike; razlika može značiti da jedan jezik treba vlastite formulacije.

Primjena lekcija

Vježba stvara lekcije, a one čekaju vaš pregled umjesto da automatski mijenjaju agenta. Svaku možete primijeniti ili odbaciti. Ispravljeni odgovori i pitanja koja trebaju odgovor također čekaju u Prijedlozima. To je namjerno: čovjek odlučuje što agent treba naučiti.

Pregled lekcija

  • Odgovara li lekcija vašim pravilima i tonu
  • Je li ispravljeni odgovor doista točan, a ne samo uvjerljiv
  • Vrijedi li za svakog pozivatelja ili samo za ovaj scenarij
  • Proturječe li dvije lekcije jedna drugoj
  • Treba li agentu novi unos znanja, a ne promjena uputa

Nakon primjene promjena ponovno pokrenite malu seriju i usporedite. Gdje možete, mijenjajte jednu po jednu stvar, inače nećete znati koja je promjena pomogla. Gdje pripadaju činjenični odgovori, pogledajte u članku izvori znanja.

Razuman ritam vježbanja

Vježba se najviše isplati kad je navika, a ne jednokratni događaj. Povežite serije s trenucima kada se nešto mijenja.

TrenutakŠto pokrenutiNa što obratiti pozornost
Novi agent, prije pokretanjaUravnoteženu seriju na svakom jeziku koji koristiteSlabe kriterije, ponašanje pri predaji
Nakon promjene uputa ili pravilaSeriju rubnih slučajevaJe li promjena riješila problem, a da nije pokvarila nešto drugo
Nakon dodavanja znanjaSeriju iz baze znanjaTočne, kratke odgovore bez izmišljenih činjenica
Prije zaposlenog razdobljaUravnoteženu seriju na linijama koje će biti najzaposlenijeStabilnost pri uobičajenoj kombinaciji pitanja
Nakon problema u stvarnom pozivuSeriju koja oponaša propustDrži li popravak

Vodite kratki dnevnik: datum, što ste promijenili, koju ste seriju pokrenuli i glavni rezultat. Nakon nekoliko mjeseci ta povijest pokazuje koje su promjene pomogle i štiti vas od ponavljanja eksperimenta koji je već propao.

Zamišljena klinika mogla bi pokrenuti uravnoteženu seriju za svojeg agenta na recepciji prije otvaranja nove linije, seriju rubnih slučajeva nakon dodavanja pravila o hitnim simptomima i seriju iz baze znanja kad god se promijene radno vrijeme ili usluge. Tri male serije, pokrenute u pravim trenucima, govore više od jednog golemog testa provedenog jednom.

Izvan simulacije

Simulacija je proba. Prije pokretanja nazovite i vlastiti telefon testnim pozivom i slušajte kao klijent. U rad krenite oprezno: počnite s linijom niskog rizika ili ograničenim radnim vremenom, zadržite jednostavan put do osobe (pogledajte predaja poziva osobi) i svakodnevno slušajte prve stvarne pozive. Ista ideja vrijedi za ljudske agente; za probe i povratne informacije s ljudima pogledajte okvir za coaching.

Često postavljana pitanja

Jesu li probni pozivi stvarni telefonski pozivi?

To su simulirani pozivi u kojima AI pozivatelji zovu vaše AI agente. Da biste agenta čuli na stvarnoj liniji, obavite zaseban testni poziv na vlastiti telefon.

Mogu li vježbati na više jezika?

Alat za vježbu provodi simulirane pozive na japanskom i engleskom. Postavite koliko poziva svake vrste želite po agentu.

Koliko poziva trebam pokrenuti?

Počnite s malo, s nekoliko poziva za svaki scenarij po agentu, i pažljivo pročitajte rezultate. Povećajte broj samo kad imate razlog, na primjer kad testirate promjenu na više jezika.

Mijenjaju li lekcije mojeg agenta automatski?

Ne. Lekcije čekaju vaš pregled. Primijenite one s kojima se slažete, a ostale odbacite.

Što mi govori ocjena?

Pokazuje kako je simulirani poziv prošao prema kriterijima, uz bilješke ocjenjivača za svaki odgovor. To je dokaz, a stvarni pozivatelji ipak se mogu ponašati drukčije.

Što ako je agent zasivljen?

Agent koji još ne može odgovarati na pozive označen je kao nedostupan za odgovaranje i ne može se odabrati. Najprije dovršite njegovo postavljanje.

Pokrenite seriju probnih poziva za svojeg AI agenta u Callu

U demo konzoli možete isprobati dolazne pozive u simulaciji.

Povezani vodiči