Používanie Call

Cvičné hovory: otestujte AI agenta pred ostrým nasadením

Ako vám simulované cvičné hovory pomôžu otestovať AI telefonického agenta najprv na ťažkých prípadoch, ako čítať hodnotenia a poučenia a ako ich premeniť na opravy.

Redakcia Call · Zverejnené · Čítanie na 5 min

Každý tím, ktorý zaúčal nových zamestnancov, vie, že prvý týždeň na telefóne je najrizikovejší. Nový človek pozná pravidlá, no ešte nestretol volajúceho, ktorý mu skáče do reči, toho, kto uprostred vety zmení tému, ani toho, kto len hľadá niekoho, na koho by zvalil vinu. Dobré tímy tieto chvíle pred ostrou prevádzkou nacvičujú cez hranie rolí.

Vedúci tímu pred spustením kontroluje na monitore skóre hovorov a prepisy
Ilustračný obrázok

AI telefonický agent potrebuje rovnaký nácvik a môže ho mať oveľa viac a oveľa rýchlejšie. Tento sprievodca vysvetľuje, ako navrhnúť cvičenie, ako čítať výsledky a ako poučenia vrátiť späť. Nadväzuje na články Nastavenie AI agenta a Písanie promptov, ktoré fungujú.

Prečo cvičiť pred ostrým spustením

Prvé skutočné hovory formujú názor zákazníkov na celú službu. Agent, ktorý zle počuje meno, hovorí cez volajúceho alebo si vymyslí odpoveď, stojí viac než zmeškaný hovor, pretože zákazník má teraz príbeh, ktorý bude rozprávať. Cvičenie tieto problémy odhalí, kým je jediným publikom váš vlastný tím.

Cvičenie nie je dôkaz. Dobré skóre so simulovanými volajúcimi neznamená, že skutoční volajúci sa budú správať rovnako, a správanie živého hlasu sa môže od simulácie líšiť. Dobrý výsledok berte ako povolenie opatrne to skúsiť so skutočnými hovormi, nie ako certifikát.

Čo testovať

Hodnota série závisí od situácií, ktoré pokrýva. Ľahké a ťažké prípady zámerne kombinujte.

Scenáre, ktoré odhalia slabiny

  • Skákanie do rečiVolajúci hovorí cez agenta. Zastaví sa a počúva, alebo pokračuje ďalej?
  • Zmena jazykaVolajúci začne v jednom jazyku a prejde do iného. Nasleduje ho agent?
  • Žiadosť o človekaVolajúci povie „dajte mi niekoho“. Je odovzdanie jasné a rýchle?
  • Otázky na cenuVolajúci sa pýta, koľko to stojí. Odpovedá agent len to, čo vie, a nehádže odhady?
  • SťažnostiRozrušený volajúci. Zostane agent pokojný a ponúkne ďalší krok?
  • Bežné otázkyOtázky prevzaté z agentovej vlastnej znalostnej bázy. Sú odpovede správne a krátke?

Na vyváženosti záleží. Séria len z ťažkých prípadov bude vždy vyzerať zle a o každodennom výkone toho veľa nepovie; séria len z ľahkých otázok zase prikrášli agenta, ktorý pod tlakom zlyháva. Kombinácia oboch je zvyčajne najinformatívnejší začiatok.

Spustenie série cvičných hovorov v Call

V Call sa cvičenie nachádza v časti AI agenti, v sekcii Čo sa naučil, na karte Cvičné hovory. AI volajúci v simulácii volajú vašim AI agentom po japonsky a po anglicky a každý hovor sa hodnotí. Vyberiete agentov (naraz najviac desať; agent, ktorý ešte nemôže prijímať hovory, je zošednutý), koľko japonských a anglických hovorov má každý dostať (od žiadneho po dvadsaťpäť z každého) a mix scenárov.

Mix scenárovČo pokrývaKedy ho použiť
VyváženáKaždý ťažký prípad raz, zvyšok otázky zo znalostnej bázy agentaTestujete nového agenta prvýkrát
Znalostná bázaLen otázky z toho, čo agent vieZmenili ste jeho znalosti a chcete overiť presnosť
Hraničné prípadyLen ťažké prípadyZmenili ste jeho pravidlá správania alebo prompt

Spustenie série

  1. Otvorte Cvičné hovoryPrejdite do AI agenti, potom Čo sa naučil, potom Cvičné hovory.
  2. Vyberte agentov a počtyZaškrtnite agentov a nastavte počet hovorov v každom jazyku.
  3. Zvoľte mixVyvážená, Znalostná báza alebo Hraničné prípady.
  4. Spustite sériuČíslo vedľa tlačidla je celkový počet: agenti vynásobení hovormi v oboch jazykoch.
  5. Sledujte priebehZoznam sa obnovuje sám; otvorením série uvidíte skóre a výsledky hovorov.

Tlačidlo spustenia zostáva zošednuté pri nule hovorov alebo pri celkovom počte nad tristo, takže veľké testy sa spúšťajú po častiach. Sériu, ktorá čaká alebo beží, môžete aj zrušiť; nezačaté hovory sa zrušia a už prebiehajúci hovor sa dokončí. Pre sériu môžete zapnúť hlas, čím sa ku každej replike pridá tlačidlo prehrávania; zvuk sa vytvorí, až keď ho stlačíte.

Čítanie výsledkov

Otvorte dokončenú sériu a začnite súhrnom, nie jedným prepisom. Súčty ukazujú dokončené hovory, priemerné skóre, opravené odpovede, otázky, ktoré potrebujú odpoveď, a tipy k štýlu. Pod nimi je skóre podľa kritérií, hlavné problémy s priemerom každého agenta a tabuľka hovorov so scenárom, jazykom, skóre a príznakmi.

  1. Podľa skóre podľa kritérií nájdite najslabšiu oblasť.
  2. Prečítajte si hlavné problémy; ak sa jeden objavuje u viacerých agentov, ide pravdepodobne o spoločný prompt alebo pravidlo.
  3. Zoraďte hovory podľa skóre a celé si prečítajte tri najhoršie prepisy.
  4. Pri každej odpovedi si prečítajte poznámku hodnotiteľa, nielen výsledné hodnotenie.
  5. Porovnajte jazyky; rozdiel môže znamenať, že jeden jazyk potrebuje vlastné formulácie.

Uplatnenie poučení

Z cvičenia vznikajú poučenia, ktoré čakajú na vašu kontrolu a agenta nemenia automaticky. Každé môžete použiť alebo zamietnuť. Opravené odpovede a otázky, ktoré potrebujú odpoveď, tiež čakajú v časti Návrhy. Je to zámer: o tom, čo sa má agent naučiť, rozhoduje človek.

Kontrola poučení

  • Zodpovedá poučenie vašim pravidlám a tónu
  • Je opravená odpoveď naozaj správna, nielen vierohodná
  • Platí pre každého volajúceho, alebo len pre tento scenár
  • Neprotirečia si dve poučenia
  • Nepotrebuje agent skôr nový záznam znalostí než zmenu promptu

Po uplatnení zmien spustite znova malú sériu a porovnajte. Ak sa dá, meňte naraz len jednu vec, inak nebudete vedieť, ktorá zmena pomohla. Kam patria faktické odpovede, vysvetľuje článok Zdroje znalostí.

Rozumný rytmus cvičenia

Cvičenie sa najviac vypláca, keď je návykom, nie jednorazovou udalosťou. Série viažte na chvíle, keď sa niečo mení.

ChvíľaČo spustiťNa čo sa zamerať
Nový agent pred spustenímVyváženú sériu v každom jazyku, ktorý obsluhujeteSlabé kritériá, správanie pri odovzdaní
Po zmene promptu alebo pravidlaSériu hraničných prípadovČi zmena problém vyriešila bez toho, aby pokazila niečo iné
Po pridaní znalostíSériu zo znalostnej bázySprávne, krátke odpovede a žiadne vymyslené fakty
Pred rušným obdobímVyváženú sériu na linkách, ktoré budú najvyťaženejšieStabilita pri bežnom mixe otázok
Po probléme v skutočnom hovoreSériu, ktorá napodobňuje zlyhanieČi oprava drží

Veďte si krátky záznam: dátum, čo ste zmenili, akú sériu ste spustili a hlavný výsledok. Po niekoľkých mesiacoch táto história ukáže, ktoré zmeny pomohli, a ochráni vás pred opakovaním experimentu, ktorý už raz zlyhal.

Modelová klinika by mohla spustiť vyváženú sériu pre agenta recepcie pred otvorením novej linky, sériu hraničných prípadov po pridaní pravidla o naliehavých príznakoch a sériu zo znalostnej bázy pri každej zmene otváracích hodín alebo služieb. Tri malé série spustené v správnych chvíľach povedia viac než jeden obrovský test raz.

Za hranicami simulácie

Simulácia je skúška. Pred spustením si aj skutočne zavolajte na vlastný telefón a počúvajte ako zákazník. Do ostrej prevádzky choďte opatrne: začnite linkou s nízkym rizikom alebo obmedzenými hodinami, ponechajte ľahkú cestu k človeku (pozrite si článok Odovzdanie hovoru človeku) a prvé skutočné hovory počúvajte denne. Pre ľudských operátorov platí rovnaká myšlienka; o nácviku a spätnej väzbe s ľuďmi hovorí článok Rámec koučingu.

Často kladené otázky

Sú cvičné hovory skutočné telefonáty?

Sú to simulované hovory, v ktorých AI volajúci volajú vašim AI agentom. Ak chcete agenta počuť na skutočnej linke, zavolajte si samostatne testovací hovor na vlastný telefón.

Môžem cvičiť vo viacerých jazykoch?

Nástroj na cvičenie spúšťa simulované hovory po japonsky a po anglicky. Nastavte, koľko z každého chcete na jedného agenta.

Koľko hovorov by som mal spustiť?

Začnite v malom, s niekoľkými hovormi z každého scenára na agenta, a výsledky si pozorne prečítajte. Počet zvyšujte, len keď máte dôvod, napríklad pri testovaní zmeny vo viacerých jazykoch.

Menia poučenia môjho agenta automaticky?

Nie. Poučenia čakajú na vašu kontrolu. Tie, s ktorými súhlasíte, použijete a ostatné zamietnete.

Čo mi hovorí hodnotenie?

Ukazuje, ako simulovaný hovor dopadol podľa kritérií, s poznámkami hodnotiteľa ku každej odpovedi. Je to dôkaz, no skutoční volajúci sa môžu správať inak.

Čo ak je agent zošednutý?

Agent, ktorý ešte nemôže prijímať hovory, je označený ako nedostupný a nedá sa vybrať. Najprv dokončite jeho nastavenie.

Spustite v Call sériu cvičných hovorov pre svojho AI agenta

V demo konzole si môžete vyskúšať prichádzajúce hovory v simulácii.

Súvisiace príručky