Cvičné hovory: otestujte AI agenta pred ostrým nasadením
Ako vám simulované cvičné hovory pomôžu otestovať AI telefonického agenta najprv na ťažkých prípadoch, ako čítať hodnotenia a poučenia a ako ich premeniť na opravy.
Každý tím, ktorý zaúčal nových zamestnancov, vie, že prvý týždeň na telefóne je najrizikovejší. Nový človek pozná pravidlá, no ešte nestretol volajúceho, ktorý mu skáče do reči, toho, kto uprostred vety zmení tému, ani toho, kto len hľadá niekoho, na koho by zvalil vinu. Dobré tímy tieto chvíle pred ostrou prevádzkou nacvičujú cez hranie rolí.

AI telefonický agent potrebuje rovnaký nácvik a môže ho mať oveľa viac a oveľa rýchlejšie. Tento sprievodca vysvetľuje, ako navrhnúť cvičenie, ako čítať výsledky a ako poučenia vrátiť späť. Nadväzuje na články Nastavenie AI agenta a Písanie promptov, ktoré fungujú.
Prečo cvičiť pred ostrým spustením
Prvé skutočné hovory formujú názor zákazníkov na celú službu. Agent, ktorý zle počuje meno, hovorí cez volajúceho alebo si vymyslí odpoveď, stojí viac než zmeškaný hovor, pretože zákazník má teraz príbeh, ktorý bude rozprávať. Cvičenie tieto problémy odhalí, kým je jediným publikom váš vlastný tím.
- Pokrytie. V jednej sérii môžete otestovať desiatky hovorov vrátane neobvyklých, ktoré by sa v prvých týždňoch nemuseli vyskytnúť.
- Opakovateľnosť. Po zmene promptu spustite rovnaký typ série a porovnajte.
- Bezpečnosť. Chyby nestoja nič u skutočných zákazníkov.
- Dôkazy. Skóre a príznaky vám dajú o čom diskutovať aj mimo názorov.
Cvičenie nie je dôkaz. Dobré skóre so simulovanými volajúcimi neznamená, že skutoční volajúci sa budú správať rovnako, a správanie živého hlasu sa môže od simulácie líšiť. Dobrý výsledok berte ako povolenie opatrne to skúsiť so skutočnými hovormi, nie ako certifikát.
Čo testovať
Hodnota série závisí od situácií, ktoré pokrýva. Ľahké a ťažké prípady zámerne kombinujte.
Scenáre, ktoré odhalia slabiny
- Skákanie do rečiVolajúci hovorí cez agenta. Zastaví sa a počúva, alebo pokračuje ďalej?
- Zmena jazykaVolajúci začne v jednom jazyku a prejde do iného. Nasleduje ho agent?
- Žiadosť o človekaVolajúci povie „dajte mi niekoho“. Je odovzdanie jasné a rýchle?
- Otázky na cenuVolajúci sa pýta, koľko to stojí. Odpovedá agent len to, čo vie, a nehádže odhady?
- SťažnostiRozrušený volajúci. Zostane agent pokojný a ponúkne ďalší krok?
- Bežné otázkyOtázky prevzaté z agentovej vlastnej znalostnej bázy. Sú odpovede správne a krátke?
Na vyváženosti záleží. Séria len z ťažkých prípadov bude vždy vyzerať zle a o každodennom výkone toho veľa nepovie; séria len z ľahkých otázok zase prikrášli agenta, ktorý pod tlakom zlyháva. Kombinácia oboch je zvyčajne najinformatívnejší začiatok.
Spustenie série cvičných hovorov v Call
V Call sa cvičenie nachádza v časti AI agenti, v sekcii Čo sa naučil, na karte Cvičné hovory. AI volajúci v simulácii volajú vašim AI agentom po japonsky a po anglicky a každý hovor sa hodnotí. Vyberiete agentov (naraz najviac desať; agent, ktorý ešte nemôže prijímať hovory, je zošednutý), koľko japonských a anglických hovorov má každý dostať (od žiadneho po dvadsaťpäť z každého) a mix scenárov.
| Mix scenárov | Čo pokrýva | Kedy ho použiť |
|---|---|---|
| Vyvážená | Každý ťažký prípad raz, zvyšok otázky zo znalostnej bázy agenta | Testujete nového agenta prvýkrát |
| Znalostná báza | Len otázky z toho, čo agent vie | Zmenili ste jeho znalosti a chcete overiť presnosť |
| Hraničné prípady | Len ťažké prípady | Zmenili ste jeho pravidlá správania alebo prompt |
Spustenie série
- Otvorte Cvičné hovoryPrejdite do AI agenti, potom Čo sa naučil, potom Cvičné hovory.
- Vyberte agentov a počtyZaškrtnite agentov a nastavte počet hovorov v každom jazyku.
- Zvoľte mixVyvážená, Znalostná báza alebo Hraničné prípady.
- Spustite sériuČíslo vedľa tlačidla je celkový počet: agenti vynásobení hovormi v oboch jazykoch.
- Sledujte priebehZoznam sa obnovuje sám; otvorením série uvidíte skóre a výsledky hovorov.
Tlačidlo spustenia zostáva zošednuté pri nule hovorov alebo pri celkovom počte nad tristo, takže veľké testy sa spúšťajú po častiach. Sériu, ktorá čaká alebo beží, môžete aj zrušiť; nezačaté hovory sa zrušia a už prebiehajúci hovor sa dokončí. Pre sériu môžete zapnúť hlas, čím sa ku každej replike pridá tlačidlo prehrávania; zvuk sa vytvorí, až keď ho stlačíte.
Čítanie výsledkov
Otvorte dokončenú sériu a začnite súhrnom, nie jedným prepisom. Súčty ukazujú dokončené hovory, priemerné skóre, opravené odpovede, otázky, ktoré potrebujú odpoveď, a tipy k štýlu. Pod nimi je skóre podľa kritérií, hlavné problémy s priemerom každého agenta a tabuľka hovorov so scenárom, jazykom, skóre a príznakmi.
- Podľa skóre podľa kritérií nájdite najslabšiu oblasť.
- Prečítajte si hlavné problémy; ak sa jeden objavuje u viacerých agentov, ide pravdepodobne o spoločný prompt alebo pravidlo.
- Zoraďte hovory podľa skóre a celé si prečítajte tri najhoršie prepisy.
- Pri každej odpovedi si prečítajte poznámku hodnotiteľa, nielen výsledné hodnotenie.
- Porovnajte jazyky; rozdiel môže znamenať, že jeden jazyk potrebuje vlastné formulácie.
Uplatnenie poučení
Z cvičenia vznikajú poučenia, ktoré čakajú na vašu kontrolu a agenta nemenia automaticky. Každé môžete použiť alebo zamietnuť. Opravené odpovede a otázky, ktoré potrebujú odpoveď, tiež čakajú v časti Návrhy. Je to zámer: o tom, čo sa má agent naučiť, rozhoduje človek.
Kontrola poučení
- Zodpovedá poučenie vašim pravidlám a tónu
- Je opravená odpoveď naozaj správna, nielen vierohodná
- Platí pre každého volajúceho, alebo len pre tento scenár
- Neprotirečia si dve poučenia
- Nepotrebuje agent skôr nový záznam znalostí než zmenu promptu
Po uplatnení zmien spustite znova malú sériu a porovnajte. Ak sa dá, meňte naraz len jednu vec, inak nebudete vedieť, ktorá zmena pomohla. Kam patria faktické odpovede, vysvetľuje článok Zdroje znalostí.
Rozumný rytmus cvičenia
Cvičenie sa najviac vypláca, keď je návykom, nie jednorazovou udalosťou. Série viažte na chvíle, keď sa niečo mení.
| Chvíľa | Čo spustiť | Na čo sa zamerať |
|---|---|---|
| Nový agent pred spustením | Vyváženú sériu v každom jazyku, ktorý obsluhujete | Slabé kritériá, správanie pri odovzdaní |
| Po zmene promptu alebo pravidla | Sériu hraničných prípadov | Či zmena problém vyriešila bez toho, aby pokazila niečo iné |
| Po pridaní znalostí | Sériu zo znalostnej bázy | Správne, krátke odpovede a žiadne vymyslené fakty |
| Pred rušným obdobím | Vyváženú sériu na linkách, ktoré budú najvyťaženejšie | Stabilita pri bežnom mixe otázok |
| Po probléme v skutočnom hovore | Sériu, ktorá napodobňuje zlyhanie | Či oprava drží |
Veďte si krátky záznam: dátum, čo ste zmenili, akú sériu ste spustili a hlavný výsledok. Po niekoľkých mesiacoch táto história ukáže, ktoré zmeny pomohli, a ochráni vás pred opakovaním experimentu, ktorý už raz zlyhal.
Modelová klinika by mohla spustiť vyváženú sériu pre agenta recepcie pred otvorením novej linky, sériu hraničných prípadov po pridaní pravidla o naliehavých príznakoch a sériu zo znalostnej bázy pri každej zmene otváracích hodín alebo služieb. Tri malé série spustené v správnych chvíľach povedia viac než jeden obrovský test raz.
Za hranicami simulácie
Simulácia je skúška. Pred spustením si aj skutočne zavolajte na vlastný telefón a počúvajte ako zákazník. Do ostrej prevádzky choďte opatrne: začnite linkou s nízkym rizikom alebo obmedzenými hodinami, ponechajte ľahkú cestu k človeku (pozrite si článok Odovzdanie hovoru človeku) a prvé skutočné hovory počúvajte denne. Pre ľudských operátorov platí rovnaká myšlienka; o nácviku a spätnej väzbe s ľuďmi hovorí článok Rámec koučingu.
Často kladené otázky
Sú cvičné hovory skutočné telefonáty?
Sú to simulované hovory, v ktorých AI volajúci volajú vašim AI agentom. Ak chcete agenta počuť na skutočnej linke, zavolajte si samostatne testovací hovor na vlastný telefón.
Môžem cvičiť vo viacerých jazykoch?
Nástroj na cvičenie spúšťa simulované hovory po japonsky a po anglicky. Nastavte, koľko z každého chcete na jedného agenta.
Koľko hovorov by som mal spustiť?
Začnite v malom, s niekoľkými hovormi z každého scenára na agenta, a výsledky si pozorne prečítajte. Počet zvyšujte, len keď máte dôvod, napríklad pri testovaní zmeny vo viacerých jazykoch.
Menia poučenia môjho agenta automaticky?
Nie. Poučenia čakajú na vašu kontrolu. Tie, s ktorými súhlasíte, použijete a ostatné zamietnete.
Čo mi hovorí hodnotenie?
Ukazuje, ako simulovaný hovor dopadol podľa kritérií, s poznámkami hodnotiteľa ku každej odpovedi. Je to dôkaz, no skutoční volajúci sa môžu správať inak.
Čo ak je agent zošednutý?
Agent, ktorý ešte nemôže prijímať hovory, je označený ako nedostupný a nedá sa vybrať. Najprv dokončite jeho nastavenie.