Cvičné hovory: otestujte AI agenta před ostrým provozem
Jak simulované cvičné hovory umožní otestovat AI telefonního agenta nejprve na obtížných případech, jak číst hodnocení a ponaučení a jak z nich udělat opravy.
Každý tým, který zaškoloval nové lidi, ví, že první týden na telefonu je nejrizikovější. Nový člověk zná pravidla, ale ještě nepotkal volajícího, který mu skáče do řeči, toho, kdo uprostřed věty změní téma, ani toho, kdo prostě chce někoho obvinit. Dobré týmy si tyto chvíle předem nacvičí formou hraní rolí.

AI telefonní agent potřebuje stejný nácvik a může ho mít mnohem víc a mnohem rychleji. Tento průvodce vysvětluje, jak cvičení navrhnout, jak číst výsledky a jak ponaučení vracet zpět. Navazuje na články nastavení AI agenta a jak psát prompty, které fungují.
Proč cvičit před ostrým provozem
První skutečné hovory formují to, co si zákazníci myslí o celé službě. Agent, který špatně uslyší jméno, mluví přes volajícího nebo si vymyslí odpověď, stojí víc než zmeškaný hovor, protože zákazník teď má co vyprávět. Cvičení tyto problémy najde, dokud je jediným publikem váš vlastní tým.
- Pokrytí. V jedné dávce můžete otestovat desítky hovorů, včetně neobvyklých, které by se v prvních týdnech nemusely vyskytnout.
- Opakovatelnost. Po změně promptu spusťte stejný druh dávky a porovnejte výsledky.
- Bezpečnost. Chyby nic nestojí u skutečných zákazníků.
- Důkazy. Skóre a příznaky vám dají o čem diskutovat i jinak než podle názorů.
Cvičení není důkaz. Dobré skóre u simulovaných volajících neznamená, že se skuteční volající budou chovat stejně, a skutečné hlasové chování se od simulace může lišit. Berte dobrý výsledek jako svolení opatrně to zkusit se skutečnými hovory, ne jako certifikát.
Co testovat
Hodnota dávky závisí na situacích, které pokrývá. Snadné a obtížné případy míchejte záměrně.
Scénáře, které odhalí slabiny
- Skákání do řečiVolající mluví přes agenta. Zastaví se a poslouchá, nebo jede dál?
- Změna jazykaVolající začne v jednom jazyce a přejde do jiného. Agent ho následuje?
- Žádost o člověkaVolající řekne: „Dejte mi někoho.“ Je předání jasné a rychlé?
- Dotazy na cenuVolající se ptá, kolik to stojí. Odpovídá agent jen to, co ví, a nehádá?
- StížnostiRozrušený volající. Zůstane agent klidný a nabídne další krok?
- Běžné dotazyOtázky převzaté z vlastní znalostní báze agenta. Jsou odpovědi správné a stručné?
Na poměru záleží. Dávka složená jen z obtížných případů bude vždy vypadat špatně a o běžném výkonu toho moc neřekne; dávka jen se snadnými otázkami zase polichotí agentovi, který pod tlakem selhává. Kombinace obojího je obvykle nejinformativnějším začátkem.
Spuštění cvičné dávky v Call
V Call najdete cvičení v sekci AI agenti, v části Co se naučil, na kartě Cvičné hovory. AI volající v simulaci volají vašim AI agentům japonsky a anglicky a každý hovor je ohodnocen. Zvolíte agenty (až deset najednou; agent, který zatím neumí přijímat hovory, je zašedlý), kolik japonských a anglických hovorů má každý dostat (od žádného po dvacet pět od každého) a mix scénářů.
| Mix scénářů | Co pokrývá | Kdy ho použít |
|---|---|---|
| Vyvážená | Každý obtížný případ jednou, zbytek otázky ze znalostní báze agenta | Testujete nového agenta poprvé |
| Znalostní báze | Jen otázky odvozené z toho, co agent ví | Změnili jste jeho znalosti a chcete ověřit přesnost |
| Hraniční případy | Jen obtížné případy | Změnili jste jeho pravidla chování nebo prompt |
Spuštění dávky
- Otevřete Cvičné hovoryPřejděte do AI agenti, poté Co se naučil a Cvičné hovory.
- Zvolte agenty a počtyZaškrtněte agenty a nastavte počet hovorů v každém jazyce.
- Vyberte mixVyvážená, Znalostní báze nebo Hraniční případy.
- Spusťte dávkuČíslo vedle tlačítka je celkový počet: agenti vynásobení hovory v obou jazycích.
- Sledujte průběhSeznam se obnovuje sám; otevřením dávky uvidíte skóre a výsledky hovorů.
Tlačítko pro spuštění zůstává zašedlé při nule hovorů nebo při celkovém počtu nad tři sta, takže velké testy se spouštějí po částech. Dávku, která čeká nebo běží, můžete také zrušit; nezahájené hovory se zruší a probíhající hovor se dokončí. Pro dávku můžete zapnout hlas, který ke každé replice přidá tlačítko přehrávání; zvuk se vytvoří, až když ho stisknete.
Jak číst výsledky
Otevřete dokončenou dávku a začněte souhrnem, ne jednotlivým přepisem. Souhrnné údaje ukazují dokončené hovory, průměrné skóre, opravené odpovědi, otázky, které potřebují odpověď, a stylové tipy. Pod nimi je skóre podle kritérií, hlavní problémy s průměrem každého agenta a tabulka hovorů se scénářem, jazykem, skóre a příznaky.
- Podívejte se na skóre podle kritérií a najděte nejslabší oblast.
- Přečtěte si hlavní problémy; pokud se jeden objevuje u více agentů, jde pravděpodobně o společný prompt nebo pravidlo.
- Seřaďte hovory podle skóre a přečtěte si celé tři nejhorší přepisy.
- U každé odpovědi čtěte poznámku hodnotitele, ne jen výslednou známku.
- Porovnejte jazyky; rozdíl může znamenat, že jeden jazyk potřebuje vlastní formulace.
Jak uplatnit ponaučení
Cvičení přináší ponaučení, která místo automatické změny agenta čekají na vaši kontrolu. Každé můžete použít nebo zamítnout. Opravené odpovědi a otázky, které potřebují odpověď, čekají také v Návrzích. Je to záměr: o tom, co se má agent naučit, rozhoduje člověk.
Kontrola ponaučení
- Odpovídá ponaučení vašim pravidlům a tónu
- Je opravená odpověď skutečně správná, ne jen věrohodná
- Platí pro každého volajícího, nebo jen pro tento scénář
- Neprotiřečí si dvě ponaučení
- Nepotřebuje agent spíš nový záznam ve znalostech než změnu promptu
Po provedení změn spusťte znovu malou dávku a porovnejte výsledky. Pokud to jde, měňte vždy jen jednu věc, jinak nepoznáte, která změna pomohla. Kam patří faktické odpovědi, popisuje článek zdroje znalostí.
Rozumný rytmus cvičení
Cvičení se nejvíc vyplácí jako zvyk, ne jako jednorázová akce. Spojte dávky s okamžiky, kdy se něco mění.
| Okamžik | Co spustit | Na co se zaměřit |
|---|---|---|
| Nový agent před spuštěním | Vyváženou dávku v každém jazyce, který obsluhujete | Slabá kritéria, chování při předání |
| Po změně promptu nebo pravidla | Dávku hraničních případů | Zda změna problém vyřešila, aniž by rozbila něco jiného |
| Po přidání znalostí | Dávku ze znalostní báze | Správné, stručné odpovědi bez vymyšlených faktů |
| Před rušným obdobím | Vyváženou dávku na linkách, které budou nejvytíženější | Stabilitu při typickém mixu dotazů |
| Po problému ve skutečném hovoru | Dávku, která selhání napodobí | Zda oprava drží |
Veďte si krátký záznam: datum, co jste změnili, jakou dávku jste spustili a hlavní výsledek. Po několika měsících tato historie ukáže, které změny pomohly, a ochrání vás před opakováním pokusu, který už jednou selhal.
Modelová klinika by mohla spustit vyváženou dávku pro svého recepčního agenta před otevřením nové linky, dávku hraničních případů po přidání pravidla o naléhavých příznacích a dávku ze znalostní báze pokaždé, když se změní otevírací doba nebo služby. Tři malé dávky spuštěné ve správnou chvíli řeknou víc než jeden obrovský test spuštěný jednou.
Za hranicí simulace
Simulace je zkouška. Před spuštěním také uskutečněte skutečný testovací hovor na vlastní telefon a poslouchejte jako zákazník. Do ostrého provozu přecházejte opatrně: začněte linkou s nízkým rizikem nebo omezenou dobou, zachovejte snadnou cestu k člověku (viz předání hovoru člověku) a první skutečné hovory denně poslouchejte. Pro lidské operátory platí stejná myšlenka; nácvik a zpětnou vazbu s lidmi popisuje článek rámec pro koučink.
Často kladené otázky
Jsou cvičné hovory skutečné telefonní hovory?
Jsou to simulované hovory, v nichž AI volající volají vašim AI agentům. Chcete-li agenta slyšet na skutečné lince, uskutečněte samostatný testovací hovor na vlastní telefon.
Mohu cvičit ve více jazycích?
Nástroj pro cvičení spouští simulované hovory v japonštině a angličtině. Nastavte, kolik hovorů v každém jazyce chcete na agenta.
Kolik hovorů bych měl spustit?
Začněte v malém, s několika hovory každého scénáře na agenta, a výsledky si pečlivě přečtěte. Zvyšujte počet, jen když máte důvod, například když testujete změnu napříč jazyky.
Mění ponaučení mého agenta automaticky?
Ne. Ponaučení čekají na vaši kontrolu. Použijete ta, se kterými souhlasíte, a ostatní zamítnete.
Co mi říká hodnocení?
Ukazuje, jak simulovaný hovor dopadl podle kritérií, s poznámkami hodnotitele ke každé odpovědi. Je to důkaz, ale skuteční volající se mohou chovat jinak.
Co když je agent zašedlý?
Agent, který zatím neumí přijímat hovory, je označen jako nedostupný a nelze ho vybrat. Nejprve dokončete jeho nastavení.