Ako otestovať hlasového AI agenta pred spustením
Praktický plán testovania telefonického hlasového AI agenta pred spustením: scenáre, presnosť, porozumenie, priebeh, odovzdanie, záznamy a jasné rozhodnutie.
Hlasový agent, ktorý v tichej kancelárii pred svojím tvorcom odpovedá výborne, sa môže na rohu ulice s volajúcim, ktorý mrmle, správať úplne inak. Väčšina problémov pri spustení nie je záhadná: ide o veci, ktoré nikto nevyskúšal. Štruktúrovaný plán testovania ich odhalí, kým je ich oprava lacná.

Tento sprievodca vám dáva praktický plán: čo pripraviť, šesť oblastí na testovanie, ako hodnotiť výsledky a čo robiť po spustení. Na záver ukazuje nástroje v Call. Metriky, na ktorých hodnotenie stojí, opisuje článok Metriky hodnotenia hlasovej AI.
Príprava testu
Začnite zoznamom skutočných hovorov. Zozbierajte otázky, ktoré ľudia naozaj kladú, z e-mailov, pamäti zamestnancov a poznámok k hovorom. Pridajte aj tie nepríjemné: nahnevaného volajúceho, nejasného volajúceho, volajúceho, ktorý žiada niečo, čo neponúkate. Dobrá testovacia sada kombinuje bežné, zriedkavé a náročné prípady.
Od scenára po spustenie
- Napíšte testovacie scenáreSkutočné otázky, ku každej správna odpoveď.
- Otestujte obsahOdpovedá agent správne a drží sa v hraniciach?
- Otestujte porozumenieRozumie menám, číslam a prízvukom?
- Otestujte priebehPlynie rozhovor prirodzene a dobre sa končí?
- Otestujte odovzdanieFungujú žiadosti o človeka a naliehavé prípady?
- Skontrolujte záznamySú zhrnutia, odkazy a záznamy správne?
- RozhodnitePorovnajte výsledky s kritériom úspechu a rozhodnite sa.
Rozhodnite, kto bude testovať. Zapojte ľudí, ktorí agenta nevytvárali, pretože sa budú pýtať nečakaným spôsobom. Ak vaši volajúci hovoria s regionálnym prízvukom alebo viacerými jazykmi, zapojte aj tieto hlasy.
Testovanie obsahu
Prvou otázkou je, či agent hovorí pravdu. Položte každú otázku zo zoznamu a porovnajte odpoveď so správnou. Každú odpoveď označte ako správnu, čiastočne správnu, nesprávnu alebo vymyslenú. Najdôležitejšia je vymyslená odpoveď, pri ktorej agent tvrdí niečo, čo nikdy nedostal, pretože volajúci jej uveria.
- Položte tú istú otázku inými slovami.
- Pýtajte sa na veci, ktoré v znalostiach nie sú, a overte, že agent prizná, že to nevie.
- Žiadajte niečo, čo musí odmietnuť, napríklad poradenstvo alebo údaje iných zákazníkov.
- Skúste ho zviesť sebavedomým nesprávnym tvrdením a overte, že s ním jednoducho nesúhlasí.
Prečo vznikajú vymyslené odpovede, vysvetľuje článok Halucinácie hlasovej AI, a ako sa používajú znalosti, článok RAG pre hlasových agentov: odpovede z vášho vlastného obsahu.
Testovanie porozumenia
Hlasoví agenti často zlyhávajú pri počúvaní. Typickými problémami sú mená, PSČ, telefónne čísla a dátumy. Testujte so skutočnými telefónmi, nielen s mikrofónom počítača, a zahrňte hluk v pozadí, hlasitý odposluch a slabý mobilný signál.
| Kontrola | Ako | Na čo sa zamerať |
|---|---|---|
| Mená | Vyhláskujte a vyslovte neobvyklé mená | Správne zachytenie alebo zdvorilá prosba o zopakovanie |
| Čísla | Nadiktujte telefónne číslo a dátum | Správne číslice a ich zopakovanie |
| Prízvuky | Požiadajte kolegov s rôznymi prízvukmi | Menej nedorozumení a elegantné zotavenie |
| Hluk | Zavolajte z rušného miesta | Žiadne falošné spustenia a jasné prosby o zopakovanie |
Čísla a mená v hlasovej AI a Zlepšenie rozpoznávania reči pri telefonátoch: praktické opravy tieto problémy vysvetľujú podrobnejšie.
Testovanie priebehu rozhovoru
Obsah môže byť správny, a rozhovor aj tak nemotorný. Sledujte úvod, tempo, či agent neskáče volajúcemu do reči, ako zvláda ticho a ako končí. Prerušte ho, mlčte, povedzte „haló?“ a v polovici si to rozmyslite.
Správanie, ktoré treba vyskúšať
- PrerušenieHovorte cez agenta a overte, že stíchne a počúva.
- TichoNič nehovorte a overte, že zdvorilo vyzve a potom rozumne ukončí hovor.
- Zmena názoruZmeňte tému uprostred odpovede a overte, že vás nasleduje.
- UkončeniePoďakujte a rozlúčte sa a overte, že sa hovor čisto ukončí.
Patrí sem aj rýchlosť. Zapíšte si dlhé pauzy a čo ich spôsobilo. Latencia hlasovej AI: čo robí rozhovor prirodzeným vysvetľuje bežné príčiny.
Testovanie odovzdania a bezpečnosti
Každý hlasový agent potrebuje cestu k človeku pre požiadavky, ktoré nedokáže alebo by nemal vybaviť. Otestujte ju za každých podmienok: v pracovnom čase, mimo neho, keď nikto nedvíha a keď je volajúci v tiesni. Vyskúšajte naliehavé frázy. Overte, že agent nikdy netvrdí, že je človek, a nikdy nesľubuje veci, ktoré nedokáže splniť, napríklad potvrdenú rezerváciu.
Kontroly odovzdania
- Žiadosť o človeka v pracovnom čase sa dostane k správnym ľuďom
- Žiadosť mimo pracovného času dostane úprimné hlásenie a možnosť zanechať údaje
- Ak nikto nedvíha, volajúci môže zanechať odkaz
- Naliehaví volajúci alebo volajúci v tiesni sú rýchlo odovzdaní ďalej
- Agent sa na požiadanie predstaví ako AI
- Citlivé údaje sa nezbierajú tam, kde by sa zbierať nemali
Testovanie záznamov a logov
Hovor má dva výsledky: čo zažil volajúci a čo zaznamenáte vy. Po každom teste skontrolujte zhrnutie, prepis, zanechaný odkaz a prípadnú následnú úlohu. Sú mená a čísla správne? Je dôvod hovoru uvedený presne? Nevymýšľa si zhrnutie niečo? Dokonalý hovor s chybným záznamom aj tak pošle tím nesprávnym smerom. Pozrite si článok Zhrnutia hovorov pomocou AI: ako bezpečne skrátia prácu po hovore.
Rozhodnutie o úspechu
Ešte pred začatím spíšte pravidlo, ktoré rozhodne, či agent smie ísť do prevádzky. Môže byť jednoduché: žiadne vymyslené odpovede v testovacej sade, všetky prípady odovzdania fungujú a stanovený podiel bežných otázok je zodpovedaný správne. Písomná podoba zabráni spusteniu pod tlakom termínu.
Rozhodnutia o spustení
| Kritérium spísané vopred | Hodnotenie dodatočne | |
|---|---|---|
| Jasnosť | Všetci poznajú latku | Latka sa hýbe podľa nálady |
| Tlak | Ľahko sa povie „ešte nie“ | Termínu sa ťažko odoláva |
| Učenie | Zlyhania ukazujú na opravy | Zlyhania sa menia na spory |
| Záznam | Výsledky sa dajú porovnávať v čase | Nie je s čím porovnávať |
Veďte si záznam o každom teste: dátum, verzia agenta, volajúci, otázka, výsledok a oprava. Keď zmeníte prompt alebo znalosti, zopakujte predchádzajúce testy, pretože opravy niekedy pokazia niečo iné.
Oplatí sa testovať aj tiché zlyhania, na ktoré sa žiadny volajúci nesťažuje, no časom vás stoja peniaze. Overte, že hovor, ktorý sa skončí predčasne, aj tak vytvorí zmysluplný záznam, že volajúci, ktorý zavesí uprostred vety, po sebe nenechá rozpracovanú úlohu, a že s opakovane volajúcimi sa zaobchádza jednotne. Tieto prípady sa v prvom pláne testovania objavujú zriedka, a predsa tvoria prekvapivo veľkú časť skutočnej prevádzky.
Po spustení
Testovanie sa nekončí, keď agent ide do prevádzky. Začnite v obmedzenom rozsahu, napríklad mimo pracovného času alebo pri pretečení, prvý týždeň si každý deň vypočujte vzorku skutočných hovorov a rozsah rozšírte, keď budete mať istotu. Prejdite otázky, na ktoré agent nevedel odpovedať, a doplňte chýbajúce znalosti. Majte možnosť vrátiť sa k predchádzajúcej verzii, ak zmena veci zhorší. Prvý týždeň vašej AI recepčnej je dobrým doplnkom.
Testovanie v Call
Call vám dáva viacero spôsobov, ako otestovať AI agenta skôr, než to urobia volajúci. Testovací priestor v časti AI agenti vám umožní chatovať s agentom, ukáže, koľko znalostných poznámok zodpovedalo každej odpovedi, a vypíše ich, a umožní vám odpoveď ohodnotiť alebo agenta naučiť lepšiu. Testovací hovor agenta zazvoní cez jeho linku na vašom vlastnom telefóne, takže ho počujete tak ako volajúci; každý takýto test je skutočný, spoplatnený hovor. Sprievodca nastavením ponúka aj rozhovor na obrazovke, hovor na váš telefón a možnosť nechať agenta zavolať na zvolené číslo. Kontrola pripravenosti, ktorá prebehne bez vytočenia čísla, ukáže, čo ešte AI hovor z danej linky potrebuje.
Cvičné hovoryv časti AI agenti, Čo sa naučil, nechajú AI volajúcich telefonovať vašim agentom v japončine a angličtine. Každý hovor je ohodnotený a ponaučenia čakajú na vaše posúdenie, takže sa nič nezmení bez vás. Pred riskantnou úpravou uložte pre agenta bod obnovy, aby ste sa mohli vrátiť späť, a pomocou Nastaviť ako živé alebo Nastaviť ako koncept riaďte, kedy agent odpovedá. Samotné nastavenie opisuje článok Vytvorenie AI agenta v Call: znalosti, hlas a testovanie .
Často kladené otázky
Koľko testovacích hovorov stačí?
Toľko, aby ste pokryli každú bežnú otázku, každý prípad odovzdania a vzorku náročného správania. Pri malom agentovi to môžu byť desiatky hovorov; pokračujte, kým nové testy prestanú odhaľovať nové problémy.
Kto by mal agenta testovať?
Ľudia, ktorí ho nevytvárali, vrátane tých s rôznymi prízvukmi a telefonickými zvykmi. Pýtajú sa spôsobmi, na ktoré tvorca nikdy nepomyslí.
Mám testovať na skutočnom telefóne?
Áno. Telefónny zvuk je užší a zašumenejší než zvuk z počítača a mnohé problémy sa ukážu len na skutočnej linke.
Čo sa považuje za závažné zlyhanie?
Sebavedomo vyslovená vymyslená odpoveď, zlyhané odovzdanie alebo záznam, ktorý pošle tím nesprávnym smerom. Tieto chyby by mali spustenie zablokovať.
Musím po malých zmenách testovať znova?
Áno, aspoň základnú sadu. Malé zmeny promptu alebo znalostí môžu zmeniť odpovede inde.
Čo sledovať po spustení?
Spočiatku si denne vypočujte vzorku hovorov, zapisujte otázky, na ktoré agent nevedel odpovedať, a sledujte odovzdania a sťažnosti. Každý týždeň zlepšujte znalosti.