Oefengesprekken: uw AI-agent testen voordat die live gaat
Hoe gesimuleerde oefengesprekken een AI-telefoonagent eerst op lastige gevallen testen, hoe u scores en lessen leest en hoe u bevindingen omzet in verbeteringen.
Elk team dat nieuwe medewerkers heeft ingewerkt, weet dat de eerste week aan de telefoon het riskantst is. De nieuwe persoon kent het beleid, maar heeft nog niet de beller ontmoet die erdoorheen praat, de beller die halverwege een zin van onderwerp wisselt of de beller die vooral iemand de schuld wil geven. Goede teams oefenen die momenten met rollenspellen voordat het echt wordt.

Een AI-telefoonagent heeft dezelfde repetitie nodig, en kan er veel meer van krijgen, veel sneller. Deze gids legt uit hoe u oefening opzet, hoe u de resultaten leest en hoe u lessen terugkoppelt. De gids bouwt voort op een AI-agent instellen en prompts schrijven die werken.
Waarom oefenen vóór de livegang
De eerste echte gesprekken bepalen wat klanten van de hele dienst vinden. Een agent die een naam verkeerd verstaat, door de beller heen praat of een antwoord verzint, kost meer dan een gemist gesprek, omdat de klant nu een verhaal te vertellen heeft. Oefenen spoort die problemen op terwijl uw eigen team het enige publiek is.
- Dekking. U kunt tientallen gesprekken in één reeks testen, inclusief ongebruikelijke gevallen die in de eerste weken misschien niet voorkomen.
- Herhaalbaarheid. Draai na het wijzigen van een prompt hetzelfde soort reeks en vergelijk.
- Veiligheid. Fouten kosten niets bij echte klanten.
- Bewijs. Scores en markeringen geven u iets om over te praten anders dan meningen.
Oefenen is geen bewijs. Een goede score bij gesimuleerde bellers betekent niet dat echte bellers zich net zo gedragen, en gedrag in live spraak kan afwijken van een simulatie. Zie een goed resultaat als toestemming om voorzichtig met echte gesprekken te beginnen, niet als certificaat.
Wat u test
De waarde van een reeks hangt af van de situaties die erin zitten. Combineer bewust makkelijke en moeilijke gevallen.
Scenario's die zwaktes blootleggen
- OnderbrekingenEen beller die door de agent heen praat. Stopt de agent en luistert die, of dendert die door?
- Van taal wisselenEen beller die in de ene taal begint en overstapt op een andere. Volgt de agent?
- Om een mens vragenDe beller zegt "laat me iemand spreken". Is de overdracht duidelijk en snel?
- PrijsvragenEen beller vraagt wat het kost. Beantwoordt de agent alleen wat die weet, zonder te gissen?
- KlachtenEen boze beller. Blijft de agent kalm en biedt die een volgende stap?
- Alledaagse vragenVragen uit de eigen kennisbank van de agent. Zijn de antwoorden juist en kort?
De balans telt. Een reeks met alleen moeilijke gevallen ziet er altijd slecht uit en zegt weinig over de dagelijkse prestaties; een reeks met alleen makkelijke vragen vleit een agent die onder druk faalt. Een mix van beide is meestal de leerzaamste start.
Een oefenreeks draaien in Call
In Call vindt u oefenen onder AI-agents, bij Wat het leerde, op het tabblad Oefengesprekken. AI-bellers bellen uw AI-agents in een simulatie, in het Japans en Engels, en elk gesprek krijgt een score. U kiest de agents (maximaal tien tegelijk; een agent die nog geen gesprekken kan aannemen, is grijs weergegeven), hoeveel Japanse en Engelse gesprekken elk krijgt (van nul tot vijfentwintig per taal) en de scenariomix.
| Scenariomix | Wat het omvat | Gebruik het wanneer |
|---|---|---|
| Gebalanceerd | Elk moeilijk geval één keer, de rest vragen uit de kennisbank van de agent | U een nieuwe agent voor het eerst test |
| Kennisbank | Alleen vragen uit wat de agent weet | U de kennis hebt gewijzigd en de juistheid wilt controleren |
| Randgevallen | Alleen de moeilijke gevallen | U de gedragsregels of prompt hebt gewijzigd |
Een reeks draaien
- Open OefengesprekkenGa naar AI-agents, dan Wat het leerde, dan Oefengesprekken.
- Kies agents en aantallenVink de agents aan en stel het aantal gesprekken per taal in.
- Kies een mixGebalanceerd, Kennisbank of Randgevallen.
- Start de reeksHet getal naast de knop is het totaal: agents maal gesprekken in beide talen.
- Volg de voortgangDe lijst ververst zichzelf; open een reeks om scores en gespreksresultaten te zien.
De startknop blijft grijs bij nul gesprekken of boven een totaal van driehonderd, dus grote tests draait u in delen. U kunt ook een reeks annuleren die wacht of loopt; gesprekken die nog niet gestart zijn worden geannuleerd en een gesprek dat al loopt wordt afgemaakt. U kunt spraak inschakelen voor een reeks om een afspeelknop aan elke beurt toe te voegen; de audio wordt pas gemaakt wanneer u erop klikt.
De resultaten lezen
Open een afgeronde reeks en begin met de samenvatting, niet met één transcript. Totalen tonen het aantal afgeronde gesprekken, de gemiddelde score, gecorrigeerde antwoorden, vragen die een antwoord nodig hebben en stijltips. Daaronder volgen de score per criterium, de belangrijkste knelpunten met het gemiddelde van elke agent, en een tabel met gesprekken met hun scenario, taal, score en markeringen.
- Bekijk de score per criterium om het zwakste gebied te vinden.
- Lees de belangrijkste knelpunten; komt er een bij meerdere agents voor, dan gaat het waarschijnlijk om een gedeelde prompt of regel.
- Sorteer de gesprekken op score en lees de drie slechtste transcripten volledig.
- Lees de toelichting van de beoordelaar bij elk antwoord, niet alleen de eindscore.
- Vergelijk talen; een verschil kan betekenen dat één taal een eigen formulering nodig heeft.
De lessen toepassen
Oefenen levert lessen op, en die wachten op uw beoordeling in plaats van de agent automatisch te veranderen. U kunt elke les toepassen of afwijzen. Gecorrigeerde antwoorden en vragen die een antwoord nodig hebben, wachten ook in Suggesties. Dat is bewust zo: een mens beslist wat de agent moet leren.
Lessen beoordelen
- Past de les bij uw beleid en toon
- Is het gecorrigeerde antwoord echt juist, niet alleen aannemelijk
- Geldt het voor elke beller, of alleen voor dit scenario
- Spreken twee lessen elkaar tegen
- Heeft de agent een nieuw kennisitem nodig in plaats van een promptwijziging
Draai na het toepassen van wijzigingen opnieuw een kleine reeks en vergelijk. Wijzig waar mogelijk één ding tegelijk, anders weet u niet welke wijziging hielp. Zie kennisbronnen voor waar feitelijke antwoorden thuishoren.
Een verstandig oefenritme
Oefenen loont het meest als het een gewoonte is, geen eenmalige gebeurtenis. Koppel reeksen aan momenten waarop er iets verandert.
| Moment | Wat u draait | Waar u op let |
|---|---|---|
| Nieuwe agent, vóór de lancering | Een gebalanceerde reeks in elke taal die u bedient | Zwakke criteria, gedrag bij overdracht |
| Na een wijziging van prompt of regel | Een reeks randgevallen | Of de wijziging het probleem oploste zonder iets anders te breken |
| Na het toevoegen van kennis | Een kennisbankreeks | Juiste, korte antwoorden en geen verzonnen feiten |
| Vóór een drukke periode | Een gebalanceerde reeks op de lijnen die het drukst worden | Stabiliteit bij een gebruikelijke mix van vragen |
| Na een probleem in een echt gesprek | Een reeks die de fout nabootst | Of de oplossing standhoudt |
Houd een kort logboek bij: de datum, wat u wijzigde, welke reeks u draaide en het belangrijkste resultaat. Na een paar maanden laat die geschiedenis zien welke wijzigingen hielpen, en voorkomt ze dat u een experiment herhaalt dat al eerder mislukte.
Een denkbeeldige kliniek zou een gebalanceerde reeks kunnen draaien voor de receptieagent voordat de nieuwe lijn opengaat, een reeks randgevallen na het toevoegen van een regel over urgente klachten, en een kennisbankreeks telkens wanneer de openingstijden of diensten veranderen. Drie kleine reeksen op de juiste momenten zeggen meer dan één enorme test die één keer wordt gedraaid.
Verder dan simulatie
Een simulatie is een repetitie. Bel vóór de lancering ook zelf een echt testgesprek naar uw eigen telefoon en luister zoals een klant dat zou doen. Ga voorzichtig live: begin met een lijn met weinig risico of beperkte uren, houd een makkelijke route naar een mens open (zie een gesprek overdragen aan een mens) en beluister de eerste echte gesprekken dagelijks. Voor menselijke medewerkers geldt hetzelfde idee; zie een coachingskader voor oefening en feedback met mensen.
Veelgestelde vragen
Zijn oefengesprekken echte telefoongesprekken?
Het zijn gesimuleerde gesprekken waarin AI-bellers uw AI-agents bellen. Bel apart een testgesprek naar uw eigen telefoon om de agent op een echte lijn te horen.
Kan ik in meer dan één taal oefenen?
De oefentool draait gesimuleerde gesprekken in het Japans en Engels. Stel per agent in hoeveel u van elk wilt.
Hoeveel gesprekken moet ik draaien?
Begin klein, met een paar van elk scenario per agent, en lees de resultaten nauwkeurig. Verhoog alleen als u daar een reden voor hebt, zoals een wijziging in meerdere talen testen.
Veranderen lessen mijn agent automatisch?
Nee. Lessen wachten op uw beoordeling. U past de lessen toe waarmee u het eens bent en wijst de andere af.
Wat vertelt de score mij?
Die laat zien hoe het gesimuleerde gesprek verliep volgens de criteria, met de toelichting van de beoordelaar bij elk antwoord. Het is bewijs, en echte bellers kunnen zich nog steeds anders gedragen.
Wat als een agent grijs is weergegeven?
Een agent die nog geen gesprekken kan aannemen, wordt gemarkeerd als niet beschikbaar en kan niet worden geselecteerd. Rond eerst de inrichting ervan af.