Jak otestovat hlasového AI agenta před spuštěním: praktický plán
Plán testování hlasového AI agenta pro telefon před spuštěním krok za krokem: skripty, přesnost, porozumění, průběh, předání, záznamy a jasné rozhodnutí.
Hlasový agent, který v tiché kanceláři před svým tvůrcem odpovídá dobře, se může chovat úplně jinak na rušném rohu ulice s volajícím, který mumlá. Většina problémů při spuštění není nijak záhadná: jde o věci, které nikdo nevyzkoušel. Strukturovaný plán testů je najde, dokud je jejich oprava levná.

Tento průvodce vám dává praktický plán: co připravit, šest oblastí k testování, jak výsledky posoudit a co dělat po spuštění. Na závěr ukazuje nástroje v Call. Metriky, podle kterých se hodnotí, popisuje článek Metriky pro hodnocení hlasové AI.
Příprava testu
Začněte seznamem skutečných hovorů. Shromážděte otázky, které lidé opravdu kladou, z e-mailů, z paměti zaměstnanců a z poznámek k hovorům. Přidejte i ty nepříjemné: rozzlobeného volajícího, nejasného volajícího, volajícího, který chce něco, co nenabízíte. Dobrá testovací sada kombinuje běžné, vzácné a obtížné případy.
Od skriptu ke spuštění
- Napište testovací skriptySkutečné otázky, ke každé správná odpověď.
- Otestujte obsahOdpovídá agent správně a drží se v mezích?
- Otestujte porozuměníRozumí jménům, číslům a přízvukům?
- Otestujte průběhPlyne rozhovor přirozeně a končí dobře?
- Otestujte předáníFungují žádosti o člověka a naléhavé případy?
- Zkontrolujte záznamyJsou shrnutí, vzkazy a logy správné?
- RozhodnětePorovnejte výsledky s pravidlem pro úspěch a zvolte.
Rozhodněte, kdo bude testovat. Zapojte lidi, kteří agenta nestavěli, protože se budou ptát nečekaně. Pokud vaši volající mluví s regionálním přízvukem nebo více jazyky, zahrňte i takové hlasy.
Testování obsahu
První otázkou je, zda agent říká pravdu. Položte každou otázku ze seznamu a porovnejte odpověď se správnou. Označte každou odpověď jako správnou, částečně správnou, chybnou nebo smyšlenou. Nejvíc záleží na smyšlené odpovědi, kdy agent tvrdí něco, co nikdy nedostal, protože jí volající uvěří.
- Položte stejnou otázku jinými slovy.
- Ptejte se na věci, které ve znalostech nejsou, a ověřte, že agent přizná, že je neví.
- Požádejte o něco, co musí odmítnout, například o radu nebo údaje jiných zákazníků.
- Zkuste ho svést sebejistým nepravdivým tvrzením a ověřte, že s ním jen tak nesouhlasí.
Proč smyšlené odpovědi vznikají, vysvětluje článek Halucinace hlasové AI a jak se pracuje se znalostmi, článek Vyhledávání znalostí pro hlasové agenty.
Testování toho, co agent slyší
Hlasoví agenti často selhávají už při poslechu. Obvyklými potížemi jsou jména, PSČ, telefonní čísla a data. Testujte se skutečnými telefony, ne jen s mikrofonem počítače, a zahrňte hluk v pozadí, hlasitý odposlech a slabý mobilní signál.
| Kontrola | Jak | Na co se zaměřit |
|---|---|---|
| Jména | Hláskujte a vyslovte neobvyklá jména | Správný záznam nebo zdvořilá prosba o zopakování |
| Čísla | Nadiktujte telefonní číslo a datum | Správné číslice a jejich zopakování |
| Přízvuky | Požádejte kolegy s různými přízvuky | Méně nedorozumění a elegantní náprava |
| Hluk | Zavolejte z rušného místa | Žádné falešné reakce a jasné prosby o zopakování |
Čísla a jména v hlasové AI a Rozpoznávání řeči v telefonním zvuku vysvětlují tyto problémy podrobněji.
Testování průběhu rozhovoru
Obsah může být správný, a rozhovor přesto neohrabaný. Poslouchejte úvod, tempo, zda agent mluví přes volajícího, jak zvládá ticho a jak končí. Přerušte ho, mlčte, řekněte „haló?“ a v půlce si to rozmyslete.
Chování, která vyzkoušet
- PřerušeníMluvte do řeči agenta a ověřte, že se zastaví a poslouchá.
- TichoNic neříkejte a ověřte, že se zdvořile ozve a pak rozumně hovor ukončí.
- Změna názoruUprostřed odpovědi změňte téma a ověřte, že agent pokračuje s vámi.
- UkončeníPoděkujte a rozlučte se a ověřte, že se hovor čistě ukončí.
Patří sem i rychlost. Zapište si dlouhé pauzy a jejich příčinu. Obvyklé důvody vysvětluje článek Latence hlasové AI.
Testování předání a bezpečnosti
Každý hlasový agent potřebuje cestu k člověku pro požadavky, které nemůže nebo nemá vyřizovat. Otestujte ji za každé situace: v pracovní době, mimo ni, když nikdo nezvedá telefon a když je volající rozrušený. Zkuste naléhavé fráze. Ověřte, že agent nikdy netvrdí, že je člověk, a nikdy neslibuje, co nemůže splnit, například potvrzenou rezervaci.
Kontrola předání
- Žádost o člověka v pracovní době se dostane ke správným lidem
- Žádost mimo pracovní dobu dostane upřímné hlášení a možnost zanechat údaje
- Když nikdo nezvedá telefon, volající může zanechat vzkaz
- Naléhaví nebo rozrušení volající jsou rychle předáni
- Agent se na požádání představí jako AI
- Citlivé údaje se nesbírají tam, kde by se sbírat neměly
Testování záznamů a logů
Hovor má dva výsledky: co zažil volající a co zaznamenáte vy. Po každém testu zkontrolujte shrnutí, přepis, zanechaný vzkaz a případný navazující úkol. Jsou jména a čísla správně? Je důvod hovoru uveden přesně? Nevymýšlí si shrnutí něco? Dokonalý hovor se špatným záznamem pořád pošle tým špatným směrem. Viz AI shrnutí hovorů.
Rozhodnutí: projde, nebo neprojde
Než začnete, sepište pravidlo, které rozhodne, zda se agent smí spustit. Může být jednoduché: žádné smyšlené odpovědi v testovací sadě, všechny případy předání fungují a stanovený podíl běžných otázek je zodpovězen správně. Písemná podoba zabrání spuštění pod tlakem termínu.
Rozhodování o spuštění
| Pravidlo sepsané předem | Posuzováno až potom | |
|---|---|---|
| Jasnost | Všichni znají laťku | Laťka se mění podle nálady |
| Tlak | Snadno se řekne zatím ne | Termínu se těžko odolává |
| Učení | Selhání ukazují na opravy | Ze selhání se stávají spory |
| Záznam | Výsledky lze porovnávat v čase | Není s čím porovnávat |
Veďte si záznam o každém testu: datum, verze agenta, volající, otázka, výsledek a oprava. Když změníte prompt nebo znalosti, zopakujte dřívější testy, protože opravy někdy rozbijí něco jiného.
Vyplatí se testovat i tichá selhání, na která si žádný volající nestěžuje, ale která vás časem stojí peníze. Ověřte, že hovor, který skončí předčasně, přesto vytvoří smysluplný záznam, že volající, který zavěsí uprostřed věty, nezanechá napůl hotový úkol, a že se s opakovaně volajícími zachází konzistentně. Tyto případy se v prvním plánu testů objevují jen zřídka, přesto tvoří překvapivě velkou část skutečného provozu.
Po spuštění
Testování nekončí, když agent začne fungovat naostro. Začněte v omezeném rozsahu, například mimo pracovní dobu nebo při přetečení, první týden každý den poslouchejte vzorek skutečných hovorů a rozšiřujte, až budete mít jistotu. Projděte otázky, na které agent neuměl odpovědět, a doplňte chybějící znalosti. Mějte možnost vrátit se k předchozí verzi, pokud změna věci zhorší. Dobrým doplňkem je článek První týden vaší AI recepce.
Testování v Call
Call nabízí několik způsobů, jak AI agenta otestovat dřív, než to udělají volající. Zkušební prostor v sekci AI agenti vám umožní s agentem chatovat, ukáže, kolik znalostních poznámek ke každé odpovědi odpovídalo, a vypíše je, a umožní vám odpověď ohodnotit nebo agenta naučit lepší. Zkušební hovor agenta prozvoní přes jeho linku váš vlastní telefon, takže ho uslyšíte jako volající; každý takový test je skutečný, zpoplatněný hovor. Průvodce nastavením nabízí také rozhovor na obrazovce, hovor na váš telefon a možnost nechat agenta zavolat na zadané číslo. Kontrola připravenosti, která proběhne bez vytáčení, ukáže, co AI hovoru z dané linky ještě chybí.
Cvičné hovory v sekci AI agenti, Co se naučil, nechají AI volající telefonovat vašim agentům japonsky a anglicky. Každý hovor se ohodnotí a poučení čekají na vaši kontrolu, takže se bez vás nic nezmění. Před riskantní úpravou uložte u agenta bod obnovení, abyste se mohli vrátit, a pomocí tlačítek Spustit naostro a Přepnout do konceptu určujte, kdy agent odpovídá. Samotné nastavení popisuje článek Nastavení AI agenta v Call.
Často kladené otázky
Kolik zkušebních hovorů stačí?
Tolik, aby pokryly každou běžnou otázku, každý případ předání a vzorek obtížného chování. U malého agenta to mohou být desítky hovorů; pokračujte, dokud nové testy nepřestanou odhalovat nové problémy.
Kdo by měl agenta testovat?
Lidé, kteří ho nestavěli, včetně těch s různými přízvuky a telefonními zvyklostmi. Ptají se způsoby, které tvůrce nikdy nenapadnou.
Mám testovat na skutečném telefonu?
Ano. Telefonní zvuk je užší a hlučnější než zvuk v počítači a mnoho problémů se projeví až na skutečné lince.
Co se považuje za závažné selhání?
Smyšlená odpověď pronesená sebejistě, nefunkční předání nebo záznam, který pošle tým špatným směrem. Takové chyby by měly spuštění zablokovat.
Musím testovat znovu i po malých změnách?
Ano, alespoň základní sadu. Malé změny promptu nebo znalostí mohou změnit odpovědi jinde.
Co sledovat po spuštění naostro?
Zpočátku denně poslouchejte vzorek hovorů, zapisujte si otázky, na které agent neuměl odpovědět, a sledujte předání a stížnosti. Každý týden zlepšujte znalosti.