Cum testați un agent AI vocal înainte de lansare
Un plan pas cu pas pentru testarea unui agent AI vocal înainte de lansare: scripturi, acuratețe, auz, flux, predare, înregistrări și o decizie clară.
Un agent vocal care răspunde bine într-un birou liniștit, în fața persoanei care l-a construit, se poate comporta foarte diferit la un colț de stradă, cu un apelant care vorbește neclar. Majoritatea problemelor de la lansare nu sunt misterioase: sunt lucruri pe care nu le-a încercat nimeni. Un plan de testare structurat le găsește cât timp sunt ieftin de reparat.

Acest ghid vă oferă un plan practic: ce pregătiți, cele șase domenii de testat, cum judecați rezultatele și ce faceți după lansare. La final prezintă instrumentele din Call. Pentru indicatorii pe care se bazează evaluarea, consultați Indicatori de evaluare pentru AI-ul vocal.
Pregătirea testului
Începeți cu lista apelurilor reale. Strângeți întrebările pe care oamenii le pun de fapt, din e-mailuri, din memoria personalului și din notele de apel. Adăugați-le pe cele dificile: apelantul furios, apelantul vag, apelantul care cere ceva ce nu oferiți. Un set de test bun combină cazuri frecvente, rare și dificile.
De la script la lansare
- Scrieți scripturile de testÎntrebări reale, fiecare cu răspunsul corect.
- Testați conținutulRăspunde agentul corect și rămâne în limitele stabilite?
- Testați auzulÎnțelege nume, numere și accente?
- Testați fluxulDecurge conversația natural și se încheie bine?
- Testați predareaFuncționează cererile de a vorbi cu o persoană și cazurile urgente?
- Verificați înregistrărileSunt corecte rezumatele, mesajele și jurnalele?
- DecidețiComparați rezultatele cu regula de trecere și alegeți.
Stabiliți cine testează. Includeți persoane care nu au construit agentul, pentru că vor întreba în moduri neașteptate. Dacă apelanții dumneavoastră vorbesc cu accente regionale sau în mai multe limbi, includeți și aceste voci.
Testarea conținutului
Prima întrebare este dacă agentul spune lucruri adevărate. Puneți fiecare întrebare de pe listă și comparați cu răspunsul corect. Marcați fiecare răspuns drept corect, parțial corect, greșit sau inventat. Un răspuns inventat, în care agentul afirmă ceva ce nu i s-a dat niciodată, contează cel mai mult, pentru că apelanții îl cred.
- Puneți aceeași întrebare în cuvinte diferite.
- Întrebați lucruri care nu se află în cunoștințe și verificați dacă agentul recunoaște că nu știe.
- Cereți ceva ce trebuie să refuze, de exemplu sfaturi sau detalii despre alți clienți.
- Încercați să îl induceți în eroare cu o afirmație greșită, spusă cu încredere, și verificați că nu este pur și simplu de acord.
Consultați Halucinațiile AI-ului vocal pentru motivele apariției răspunsurilor inventate și Regăsirea informațiilor pentru agenții vocali pentru modul în care sunt folosite cunoștințele.
Testarea a ceea ce aude
Agenții vocali eșuează des la etapa de ascultare. Numele, codurile poștale, numerele de telefon și datele sunt problemele obișnuite. Testați cu telefoane reale, nu doar cu microfonul unui computer, și includeți zgomot de fond, difuzor și semnal mobil slab.
| Verificare | Cum | Ce urmăriți |
|---|---|---|
| Nume | Spuneți și literați nume neobișnuite | Preluare corectă sau o rugăminte politicoasă de a repeta |
| Numere | Citiți un număr de telefon și o dată | Cifre corecte și o repetare pentru confirmare |
| Accente | Rugați colegi cu accente diferite | Mai puține neînțelegeri și o revenire elegantă |
| Zgomot | Sunați dintr-un loc aglomerat | Fără declanșări false și cereri clare de repetare |
Numerele și numele în AI-ul vocal și Recunoașterea vorbirii în sunetul telefonic explică mai detaliat aceste probleme.
Testarea fluxului conversației
Conținutul poate fi corect, iar conversația totuși stângace. Ascultați deschiderea, ritmul, dacă agentul vorbește peste apelant, cum gestionează tăcerea și cum încheie. Întrerupeți-l, tăceți, spuneți „alo?” și răzgândiți-vă la jumătatea drumului.
Comportamente de flux de încercat
- ÎntrerupereaVorbiți peste agent și verificați că se oprește și ascultă.
- TăcereaNu spuneți nimic și verificați că vă invită politicos să vorbiți, apoi încheie apelul în mod rezonabil.
- RăzgândireaSchimbați subiectul în mijlocul răspunsului și verificați că vă urmează.
- ÎncheiereaMulțumiți și spuneți la revedere și verificați că apelul se închide curat.
Tot aici intră și viteza. Notați pauzele lungi și ce le-a cauzat. Latența AI-ului vocal explică motivele obișnuite.
Testarea predării și a siguranței
Fiecare agent vocal are nevoie de o cale către o persoană pentru cererile pe care nu le poate sau nu ar trebui să le gestioneze. Testați-o în fiecare situație: în program, în afara programului, când nu răspunde nimeni și când apelantul este tulburat. Încercați expresii urgente. Verificați că agentul nu pretinde niciodată că este om și nu promite niciodată lucruri pe care nu le poate oferi, de exemplu o rezervare confirmată.
Verificări pentru predare
- Cererea de a vorbi cu o persoană în program ajunge la oamenii potriviți
- Cererea în afara programului primește un mesaj onest și o modalitate de a lăsa detalii
- Dacă nu răspunde nimeni, apelantul poate lăsa un mesaj
- Apelanții cu urgențe sau tulburați sunt transferați rapid
- Agentul se identifică drept AI când este întrebat
- Detaliile sensibile nu sunt colectate atunci când nu ar trebui
Testarea înregistrărilor și a jurnalelor
Un apel are două rezultate: ce a trăit apelantul și ce înregistrați dumneavoastră. După fiecare test, verificați rezumatul, transcrierea, mesajul lăsat și orice sarcină de urmărire. Sunt corecte numele și numerele? Este motivul apelului redat exact? Inventează rezumatul ceva? Un apel perfect cu o înregistrare greșită trimite totuși echipa în direcția greșită. Consultați Rezumate de apel cu AI.
Decizia: trece sau nu trece
Înainte de a începe, scrieți regula care decide dacă agentul poate fi lansat. Poate fi simplă: niciun răspuns inventat în setul de test, toate cazurile de predare funcționează și o proporție stabilită din întrebările frecvente primește răspuns corect. Faptul că este scrisă împiedică o lansare dictată de presiunea termenelor.
Decizii de lansare
| Regula de trecere scrisă dinainte | Judecată ulterior | |
|---|---|---|
| Claritate | Toată lumea cunoaște ștacheta | Ștacheta se mută după stare de spirit |
| Presiune | E ușor să spuneți „încă nu” | E greu să rezistați unui termen-limită |
| Învățare | Eșecurile indică remedieri | Eșecurile devin dispute |
| Evidență | Rezultatele pot fi comparate în timp | Nimic de comparat |
Țineți un jurnal al fiecărui test: data, versiunea agentului, apelantul, întrebarea, rezultatul și remedierea. Când modificați promptul sau cunoștințele, repetați testele anterioare, deoarece remedierile strică uneori alte lucruri.
Merită testate și eșecurile tăcute, de care niciun apelant nu se va plânge, dar care vă costă în timp. Verificați că un apel încheiat devreme produce totuși o înregistrare coerentă, că un apelant care închide în mijlocul unei propoziții nu lasă în urmă o sarcină pe jumătate și că apelanții care revin sunt tratați consecvent. Aceste cazuri apar rar într-un prim plan de testare, însă reprezintă o parte surprinzător de mare din traficul real.
După lansare
Testarea nu se oprește când agentul intră în funcțiune. Începeți cu un domeniu limitat, de exemplu în afara programului sau pentru preaplin, ascultați zilnic un eșantion de apeluri reale în prima săptămână și extindeți când vă simțiți confortabil. Analizați întrebările la care nu a putut răspunde, apoi adăugați cunoștințele lipsă. Păstrați o modalitate de revenire la o versiune anterioară dacă o modificare înrăutățește lucrurile. Prima săptămână a recepționerei AI este un bun însoțitor.
Testarea în Call
Call vă oferă mai multe moduri de a testa un agent AI înaintea apelanților. Playground-ul din Agenți AI vă permite să conversați cu un agent, arată câte note de cunoștințe s-au potrivit cu fiecare răspuns și le listează și vă permite să evaluați un răspuns sau să îl învățați unul mai bun. Apelul de test al agentului vă sună propriul telefon prin linia acestuia, ca să îl auziți așa cum îl aude un apelant; fiecare astfel de test este un apel real, facturat. Asistentul de configurare oferă și conversația pe ecran, un apel pe telefonul dumneavoastră și posibilitatea ca agentul să sune un număr. O verificare de pregătire, făcută fără a suna pe nimeni, arată ce îi mai trebuie unui apel AI de pe linia respectivă.
Apelurile de exercițiu, din Agenți AI, Ce a învățat, permit unor apelanți AI să le telefoneze agenților dumneavoastră în japoneză și engleză. Fiecare apel este notat, iar lecțiile așteaptă aprobarea dumneavoastră, așa că nimic nu se schimbă fără dumneavoastră. Înaintea unei modificări riscante, salvați un punct de restaurare pe agent ca să puteți reveni și folosiți Activează sau Trece în ciornă pentru a controla când răspunde agentul. Consultați Crearea unui agent AI în Call pentru configurarea propriu-zisă.
Întrebări frecvente
Câte apeluri de test sunt suficiente?
Destule pentru a acoperi fiecare întrebare frecventă, fiecare caz de predare și un eșantion de comportamente dificile. Pentru un agent mic pot fi zeci de apeluri; continuați până când testele noi nu mai găsesc probleme noi.
Cine ar trebui să testeze agentul?
Persoane care nu l-au construit, inclusiv cele cu accente și obiceiuri telefonice diferite. Ele întreabă în moduri la care cel care l-a construit nu se gândește niciodată.
Ar trebui să testez pe un telefon real?
Da. Sunetul telefonic este mai îngust și mai zgomotos decât cel al computerului, iar multe probleme apar doar pe o linie reală.
Ce înseamnă un eșec grav?
Un răspuns inventat afirmat cu încredere, o predare care nu funcționează sau o înregistrare care trimite echipa pe un drum greșit. Acestea ar trebui să blocheze lansarea.
Trebuie să retestez după modificări mici?
Da, cel puțin un set de bază. Modificările mici ale promptului sau ale cunoștințelor pot schimba răspunsurile în alte părți.
Ce ar trebui să urmăresc după lansare?
La început, ascultați zilnic un eșantion de apeluri, notați întrebările la care nu a putut răspunde și urmăriți predările și reclamațiile. Îmbunătățiți cunoștințele în fiecare săptămână.