Använda Call

Övningssamtal: testa din AI-agent innan den går live

Så låter simulerade övningssamtal dig testa en AI-telefonagent på svåra fall först, hur du läser betyg och lärdomar och hur du gör fynden till åtgärder.

Redaktionen för Call · Publicerad · 5 min läsning

Alla team som har lärt upp ny personal vet att den första veckan i telefonen är den mest riskfyllda. Den nya personen kan rutinerna men har ännu inte mött uppringaren som pratar i mun på en, den som byter ämne mitt i en mening eller den som bara vill ha någon att skylla på. Bra team övar på de här situationerna med rollspel innan det blir på riktigt.

En teamledare granskar samtalspoäng och transkriptioner på en skärm inför en lansering
Illustrationsbild

En AI-telefonagent behöver samma repetition, och den kan få mycket mer av den, mycket snabbare. Den här guiden förklarar hur du utformar övningen, hur du läser resultaten och hur du för tillbaka lärdomarna. Den bygger på att konfigurera en AI-agent och att skriva promptar som fungerar.

Varför öva innan du går live

De första riktiga samtalen formar vad kunderna tycker om hela tjänsten. En agent som hör fel på ett namn, pratar i mun på uppringaren eller hittar på ett svar kostar mer än ett missat samtal, eftersom kunden nu har en historia att berätta. Övning hittar de problemen medan den enda publiken är ditt eget team.

Övning är inget bevis. En bra poäng med simulerade uppringare betyder inte att riktiga uppringare beter sig likadant, och röstbeteendet i verkliga samtal kan skilja sig från en simulering. Se ett bra resultat som ett klartecken att försiktigt prova med riktiga samtal, inte som ett certifikat.

Vad du ska testa

Värdet av en omgång beror på vilka situationer den täcker. Blanda medvetet enkla och svåra fall.

Scenarier som avslöjar svagheter

  • AvbrottEn uppringare som pratar i mun på agenten. Stannar den och lyssnar, eller kör den på?
  • SpråkbyteEn uppringare som börjar på ett språk och går över till ett annat. Hänger agenten med?
  • Be att få prata med en personUppringaren säger ”jag vill prata med någon”. Är överlämningen tydlig och snabb?
  • PrisfrågorEn uppringare frågar vad det kostar. Svarar agenten bara på det den vet och undviker att gissa?
  • KlagomålEn upprörd uppringare. Förblir agenten lugn och erbjuder ett nästa steg?
  • VardagsfrågorFrågor hämtade ur agentens egen kunskapsbas. Är svaren korrekta och korta?

Balansen spelar roll. En omgång med bara svåra fall ser alltid dålig ut och lär dig lite om vardagsprestandan; en omgång med bara enkla frågor smickrar en agent som fallerar under press. En blandning av båda är oftast den mest informativa starten.

Köra en övningsomgång i Call

I Call finns övningen under AI-agenter, i Vad den har lärt sig, på fliken Övningssamtal. AI-uppringare ringer era AI-agenter i en simulering, på japanska och engelska, och varje samtal betygsätts. Du väljer agenterna (upp till tio åt gången; en agent som ännu inte kan ta emot samtal är gråmarkerad), hur många japanska och engelska samtal var och en ska få (från inga till tjugofem av varje) och scenarioblandningen.

ScenarioblandningVad den täckerAnvänd den när
BalanseradVarje svårt fall en gång, resten frågor ur agentens kunskapsbasDu testar en ny agent för första gången
KunskapsbasBara frågor hämtade ur det agenten vetDu har ändrat dess kunskap och vill kontrollera att den stämmer
SpecialfallBara de svåra fallenDu har ändrat dess beteenderegler eller prompt

Köra en omgång

  1. Öppna ÖvningssamtalGå till AI-agenter, sedan Vad den har lärt sig och sedan Övningssamtal.
  2. Välj agenter och antalKryssa i agenterna och ange antalet samtal på varje språk.
  3. Välj en blandningBalanserad, Kunskapsbas eller Specialfall.
  4. Starta omgångenSiffran bredvid knappen är totalen: antal agenter gånger samtal på båda språken.
  5. Följ förloppetListan uppdateras av sig själv; öppna en omgång för att se poäng och samtalsresultat.

Startknappen förblir gråmarkerad vid noll samtal eller över totalt trehundra, så stora tester körs i omgångar. Du kan också avbryta en omgång som väntar eller pågår; samtal som inte har startat avbryts och ett samtal som redan pågår slutförs. Du kan slå på röst för en omgång för att få en uppspelningsknapp för varje replik, och ljudet skapas först när du trycker på den.

Läsa resultaten

Öppna en färdig omgång och börja med sammanfattningen, inte en enskild transkription. Totalerna visar genomförda samtal, genomsnittspoäng, korrigerade svar, frågor som behöver ett svar och stiltips. Under dem kommer poäng per kriterium, de vanligaste problemen med varje agents genomsnitt och en tabell över samtalen med scenario, språk, poäng och flaggor.

  1. Titta på poängen per kriterium för att hitta det svagaste området.
  2. Läs de vanligaste problemen; om ett återkommer hos flera agenter beror det troligen på en gemensam prompt eller regel.
  3. Sortera samtalen efter poäng och läs de tre sämsta transkriptionerna i sin helhet.
  4. Läs bedömarens kommentar till varje svar, inte bara slutbetyget.
  5. Jämför språken; en skillnad kan betyda att ett språk behöver egna formuleringar.

Tillämpa lärdomarna

Övningen ger lärdomar, och de väntar på din granskning i stället för att ändra agenten automatiskt. Du kan tillämpa eller avfärda var och en. Korrigerade svar och frågor som behöver ett svar väntar också under Förslag. Det är avsiktligt: en person avgör vad agenten ska lära sig.

Granska lärdomar

  • Stämmer lärdomen med er policy och ton
  • Är det korrigerade svaret faktiskt korrekt, inte bara rimligt
  • Gäller det alla uppringare, eller bara det här scenariot
  • Motsäger två lärdomar varandra
  • Behöver agenten en ny kunskapspost snarare än en ändrad prompt

När du har tillämpat ändringar, kör en liten omgång igen och jämför. Ändra en sak i taget där det går, annars vet du inte vilken ändring som hjälpte. Se kunskapskällor för var faktasvar hör hemma.

En rimlig övningsrytm

Övning lönar sig mest när den är en vana, inte en engångshändelse. Koppla omgångarna till tillfällen när något ändras.

TillfälleVad du körVad du letar efter
Ny agent, före lanseringEn balanserad omgång på varje språk ni betjänarSvaga kriterier, beteende vid överlämning
Efter en ändrad prompt eller regelEn omgång med specialfallOm ändringen löste problemet utan att förstöra något annat
Efter att ha lagt till kunskapEn omgång med kunskapsbasKorrekta, korta svar och inga påhittade fakta
Före en hektisk periodEn balanserad omgång på de linjer som kommer att ha mest att göraStabilitet vid en typisk blandning av frågor
Efter ett problem i ett riktigt samtalEn omgång som efterliknar feletOm åtgärden håller

För en kort logg: datum, vad du ändrade, vilken omgång du körde och huvudresultatet. Efter några månader visar historiken vilka ändringar som hjälpte, och den skyddar dig från att upprepa ett experiment som redan har misslyckats.

En tänkt mottagning kan köra en balanserad omgång för sin receptionsagent innan den nya linjen öppnar, en omgång med specialfall efter att ha lagt till en regel om akuta symtom och en omgång med kunskapsbas när öppettider eller tjänster ändras. Tre små omgångar vid rätt tillfällen säger mer än ett enormt test som körs en gång.

Bortom simuleringen

En simulering är en repetition. Gör också ett riktigt testsamtal till din egen telefon före lanseringen och lyssna som en kund skulle göra. Gå live försiktigt: börja med en linje med låg risk eller begränsade tider, behåll en enkel väg till en person (se lämna över ett samtal till en person) och lyssna på de första riktiga samtalen varje dag. För mänskliga handläggare gäller samma idé; se ett coachningsramverk för repetition och återkoppling med människor.

Vanliga frågor

Är övningssamtal riktiga telefonsamtal?

Det är simulerade samtal där AI-uppringare ringer era AI-agenter. Gör ett separat testsamtal till din egen telefon för att höra agenten på en riktig linje.

Kan jag öva på mer än ett språk?

Övningsverktyget kör simulerade samtal på japanska och engelska. Ange hur många av varje du vill ha per agent.

Hur många samtal bör jag köra?

Börja i liten skala, med några av varje scenario per agent, och läs resultaten noga. Öka bara när du har ett skäl, till exempel för att testa en ändring på flera språk.

Ändrar lärdomarna min agent automatiskt?

Nej. Lärdomarna väntar på din granskning. Du tillämpar dem du håller med om och avfärdar de andra.

Vad säger betyget mig?

Det visar hur det simulerade samtalet gick mot kriterierna, med bedömarens kommentarer till varje svar. Det är ett underlag, och riktiga uppringare kan fortfarande bete sig annorlunda.

Vad betyder det att en agent är gråmarkerad?

En agent som ännu inte kan ta emot samtal markeras som oförmögen att svara och kan inte väljas. Slutför konfigurationen först.

Starta en övningsomgång för din AI-agent i Call

I demokonsolen kan du prova inkommande samtal i en simulering.

Relaterade guider