Δοκιμή φωνητικού πράκτορα AI πριν από την κυκλοφορία: πρακτικό σχέδιο
Σχέδιο βήμα προς βήμα για τη δοκιμή ενός τηλεφωνικού πράκτορα AI πριν από την κυκλοφορία: σενάρια, ακρίβεια, ακοή, ροή, παράδοση, αρχεία και σαφής απόφαση.
Ένας φωνητικός πράκτορας που απαντά σωστά σε ένα ήσυχο γραφείο, μπροστά σε αυτόν που τον έφτιαξε, μπορεί να συμπεριφερθεί πολύ διαφορετικά σε μια γωνιά του δρόμου με έναν καλούντα που μουρμουρίζει. Τα περισσότερα προβλήματα κατά την κυκλοφορία δεν είναι μυστήρια: είναι πράγματα που δεν δοκίμασε κανείς. Ένα δομημένο σχέδιο δοκιμών τα εντοπίζει όσο η διόρθωσή τους είναι ακόμη φθηνή.

Ο οδηγός αυτός σας δίνει ένα πρακτικό σχέδιο: τι να προετοιμάσετε, τους έξι τομείς που πρέπει να δοκιμάσετε, πώς να κρίνετε τα αποτελέσματα και τι να κάνετε μετά την κυκλοφορία. Στο τέλος παρουσιάζει τα εργαλεία του Call. Για τους δείκτες πίσω από την αξιολόγηση, δείτε το άρθρο Δείκτες αξιολόγησης φωνητικής AI.
Προετοιμασία της δοκιμής
Ξεκινήστε από τη λίστα των πραγματικών κλήσεων. Συγκεντρώστε τις ερωτήσεις που κάνουν πραγματικά οι άνθρωποι, από email, από τη μνήμη του προσωπικού και από σημειώσεις κλήσεων. Προσθέστε και τις δύσκολες: τον θυμωμένο καλούντα, τον ασαφή καλούντα, τον καλούντα που ζητά κάτι που δεν προσφέρετε. Ένα καλό σύνολο δοκιμών συνδυάζει συνηθισμένες, σπάνιες και δύσκολες περιπτώσεις.
Από το σενάριο στην κυκλοφορία
- Γράψτε σενάρια δοκιμώνΠραγματικές ερωτήσεις, με τη σωστή απάντηση για καθεμία.
- Δοκιμάστε το περιεχόμενοΑπαντά σωστά ο πράκτορας και μένει εντός ορίων;
- Δοκιμάστε την ακοήΚαταλαβαίνει ονόματα, αριθμούς και προφορές;
- Δοκιμάστε τη ροήΕξελίσσεται η συζήτηση φυσικά και τελειώνει σωστά;
- Δοκιμάστε την παράδοσηΛειτουργούν τα αιτήματα για άνθρωπο και οι επείγουσες περιπτώσεις;
- Ελέγξτε τα αρχείαΕίναι σωστές οι περιλήψεις, τα μηνύματα και τα αρχεία καταγραφής;
- ΑποφασίστεΣυγκρίνετε τα αποτελέσματα με τον κανόνα επιτυχίας και επιλέξτε.
Αποφασίστε ποιος θα κάνει τις δοκιμές. Συμπεριλάβετε άτομα που δεν έφτιαξαν τον πράκτορα, γιατί θα ρωτήσουν με απρόσμενους τρόπους. Αν οι καλούντες σας μιλούν με τοπικές προφορές ή σε πολλές γλώσσες, συμπεριλάβετε και αυτές τις φωνές.
Δοκιμή του περιεχομένου
Το πρώτο ερώτημα είναι αν ο πράκτορας λέει αληθινά πράγματα. Κάντε κάθε ερώτηση της λίστας σας και συγκρίνετε με τη σωστή απάντηση. Χαρακτηρίστε κάθε απάντηση ως σωστή, εν μέρει σωστή, λανθασμένη ή επινοημένη. Μια επινοημένη απάντηση, όπου ο πράκτορας δηλώνει κάτι που δεν του δόθηκε ποτέ, μετρά περισσότερο απ' όλα, γιατί οι καλούντες την πιστεύουν.
- Κάντε την ίδια ερώτηση με διαφορετικά λόγια.
- Ρωτήστε πράγματα που δεν υπάρχουν στη γνώση του και ελέγξτε ότι παραδέχεται ότι δεν ξέρει.
- Ζητήστε κάτι που πρέπει να αρνηθεί, όπως συμβουλές ή στοιχεία άλλων πελατών.
- Προσπαθήστε να τον παραπλανήσετε με μια σίγουρη αλλά λανθασμένη δήλωση και ελέγξτε ότι δεν συμφωνεί απλώς.
Δείτε το άρθρο Ψευδαισθήσεις στη φωνητική AI για το γιατί προκύπτουν επινοημένες απαντήσεις και το Ανάκτηση πληροφοριών για φωνητικούς πράκτορες για το πώς χρησιμοποιείται η γνώση.
Δοκιμή του τι ακούει
Οι φωνητικοί πράκτορες αποτυγχάνουν συχνά στο βήμα της ακρόασης. Τα ονόματα, οι ταχυδρομικοί κώδικες, οι αριθμοί τηλεφώνου και οι ημερομηνίες είναι τα συνηθισμένα προβλήματα. Δοκιμάστε με πραγματικά τηλέφωνα, όχι μόνο με μικρόφωνο υπολογιστή, και συμπεριλάβετε θόρυβο περιβάλλοντος, ανοιχτή ακρόαση και κακό σήμα κινητού.
| Έλεγχος | Πώς | Τι να προσέξετε |
|---|---|---|
| Ονόματα | Συλλαβίστε και πείτε ασυνήθιστα ονόματα | Σωστή καταγραφή ή ευγενικό αίτημα επανάληψης |
| Αριθμοί | Διαβάστε έναν αριθμό τηλεφώνου και μια ημερομηνία | Σωστά ψηφία και επανάληψη για επιβεβαίωση |
| Προφορές | Ζητήστε από συναδέλφους με διαφορετικές προφορές | Λιγότερες παρανοήσεις και ομαλή ανάκαμψη |
| Θόρυβος | Καλέστε από πολυσύχναστο σημείο | Καμία ψευδής ενεργοποίηση και σαφή αιτήματα επανάληψης |
Αριθμοί και ονόματα στη φωνητική AI και Αναγνώριση ομιλίας σε τηλεφωνικό ήχο εξηγούν αυτά τα προβλήματα πιο αναλυτικά.
Δοκιμή της ροής της συζήτησης
Το περιεχόμενο μπορεί να είναι σωστό και η συζήτηση να είναι παρ' όλα αυτά αμήχανη. Προσέξτε την εισαγωγή, τον ρυθμό, αν ο πράκτορας μιλά πάνω από τον καλούντα, πώς χειρίζεται τη σιωπή και πώς τελειώνει. Διακόψτε τον, μείνετε σιωπηλοί, πείτε «ναι;» και αλλάξτε γνώμη στη μέση.
Συμπεριφορές ροής που αξίζει να δοκιμάσετε
- ΔιακοπήΜιλήστε πάνω από τον πράκτορα και ελέγξτε ότι σταματά και ακούει.
- ΣιωπήΜην πείτε τίποτα και ελέγξτε ότι σας προτρέπει ευγενικά και μετά τερματίζει με λογικό τρόπο.
- Αλλαγή γνώμηςΑλλάξτε θέμα στη μέση της απάντησης και ελέγξτε ότι σας ακολουθεί.
- ΤερματισμόςΠείτε ευχαριστώ και αντίο και ελέγξτε ότι η κλήση κλείνει σωστά.
Εδώ ανήκει και η ταχύτητα. Σημειώστε τις μεγάλες παύσεις και τι τις προκάλεσε. Το άρθρο Καθυστέρηση στη φωνητική AI εξηγεί τους συνήθεις λόγους.
Δοκιμή της παράδοσης και της ασφάλειας
Κάθε φωνητικός πράκτορας χρειάζεται μια διαδρομή προς άνθρωπο για αιτήματα που δεν μπορεί ή δεν πρέπει να χειριστεί. Δοκιμάστε την σε κάθε συνθήκη: εντός ωραρίου, εκτός ωραρίου, όταν δεν απαντά κανείς και όταν ο καλών είναι αναστατωμένος. Δοκιμάστε επείγουσες φράσεις. Ελέγξτε ότι ο πράκτορας δεν ισχυρίζεται ποτέ ότι είναι άνθρωπος και δεν υπόσχεται ποτέ πράγματα που δεν μπορεί να προσφέρει, όπως μια επιβεβαιωμένη κράτηση.
Έλεγχοι παράδοσης
- Το αίτημα για άνθρωπο εντός ωραρίου φτάνει στα σωστά άτομα
- Το αίτημα εκτός ωραρίου λαμβάνει ένα ειλικρινές μήνυμα και τρόπο να αφήσει κανείς τα στοιχεία του
- Αν δεν απαντά κανείς, ο καλών μπορεί να αφήσει μήνυμα
- Οι επείγουσες περιπτώσεις ή οι αναστατωμένοι καλούντες προωθούνται γρήγορα
- Ο πράκτορας δηλώνει ότι είναι AI όταν ερωτηθεί
- Δεν συλλέγονται ευαίσθητα στοιχεία όταν δεν πρέπει
Δοκιμή των αρχείων και των καταγραφών
Μια κλήση έχει δύο αποτελέσματα: αυτό που βίωσε ο καλών και αυτό που καταγράφετε. Μετά από κάθε δοκιμή, ελέγξτε την περίληψη, την απομαγνητοφώνηση, το μήνυμα που αφέθηκε και κάθε εργασία συνέχειας. Είναι σωστά τα ονόματα και οι αριθμοί; Αναφέρεται με ακρίβεια ο λόγος της κλήσης; Επινοεί κάτι η περίληψη; Μια τέλεια κλήση με λανθασμένο αρχείο εξακολουθεί να στέλνει την ομάδα σε λάθος κατεύθυνση. Δείτε το άρθρο Περιλήψεις κλήσεων με AI.
Απόφαση επιτυχίας ή αποτυχίας
Πριν ξεκινήσετε, γράψτε τον κανόνα που αποφασίζει αν ο πράκτορας μπορεί να κυκλοφορήσει. Μπορεί να είναι απλός: καμία επινοημένη απάντηση στο σύνολο δοκιμών, κάθε περίπτωση παράδοσης λειτουργεί και ένα συγκεκριμένο ποσοστό των συνηθισμένων ερωτήσεων απαντάται σωστά. Όταν είναι γραμμένος, αποτρέπει μια κυκλοφορία υπό την πίεση της προθεσμίας.
Αποφάσεις κυκλοφορίας
| Κανόνας γραμμένος εκ των προτέρων | Κρίση εκ των υστέρων | |
|---|---|---|
| Σαφήνεια | Όλοι γνωρίζουν τον πήχη | Ο πήχης μετακινείται ανάλογα με τη διάθεση |
| Πίεση | Είναι εύκολο να πείτε «όχι ακόμη» | Είναι δύσκολο να αντισταθείτε σε μια προθεσμία |
| Μάθηση | Οι αποτυχίες δείχνουν τις διορθώσεις | Οι αποτυχίες γίνονται αντικείμενο διαφωνίας |
| Αρχείο | Τα αποτελέσματα συγκρίνονται με την πάροδο του χρόνου | Δεν υπάρχει τίποτα για σύγκριση |
Κρατήστε αρχείο κάθε δοκιμής: ημερομηνία, έκδοση του πράκτορα, καλών, ερώτηση, αποτέλεσμα και διόρθωση. Όταν αλλάζετε τις οδηγίες ή τη γνώση, επαναλάβετε τις προηγούμενες δοκιμές, αφού οι διορθώσεις μερικές φορές χαλούν άλλα πράγματα.
Αξίζει επίσης να δοκιμάσετε τις σιωπηλές αποτυχίες, για τις οποίες κανένας καλών δεν θα παραπονεθεί αλλά που σας κοστίζουν με τον καιρό. Ελέγξτε ότι μια κλήση που τελειώνει νωρίς παράγει και πάλι ένα λογικό αρχείο, ότι ένας καλών που κλείνει στη μέση της πρότασης δεν αφήνει πίσω μια μισοτελειωμένη εργασία και ότι οι επαναλαμβανόμενοι καλούντες αντιμετωπίζονται με συνέπεια. Αυτές οι περιπτώσεις σπάνια εμφανίζονται σε ένα πρώτο σχέδιο δοκιμών, ωστόσο αποτελούν εκπληκτικά μεγάλο μέρος της πραγματικής κίνησης.
Μετά την κυκλοφορία
Οι δοκιμές δεν σταματούν όταν ο πράκτορας τεθεί σε λειτουργία. Ξεκινήστε με περιορισμένο εύρος, όπως εκτός ωραρίου ή για την υπερχείλιση, ακούστε ένα δείγμα πραγματικών κλήσεων κάθε μέρα την πρώτη εβδομάδα και επεκταθείτε όταν νιώσετε άνετα. Εξετάστε τις ερωτήσεις που δεν μπόρεσε να απαντήσει και προσθέστε τη γνώση που λείπει. Κρατήστε έναν τρόπο επιστροφής σε προηγούμενη έκδοση, αν μια αλλαγή χειροτερέψει τα πράγματα. Το άρθρο Η πρώτη εβδομάδα του AI ρεσεψιονίστ σας είναι ένας καλός σύντροφος.
Δοκιμές στο Call
Το Call σάς δίνει διάφορους τρόπους να δοκιμάσετε έναν πράκτορα AI πριν το κάνουν οι καλούντες. Το Playground στους Πράκτορες AI σάς επιτρέπει να συνομιλήσετε με έναν πράκτορα, δείχνει πόσες σημειώσεις γνώσης ταίριαξαν σε κάθε απάντηση και τις παραθέτει, και σας επιτρέπει να βαθμολογήσετε μια απάντηση ή να διδάξετε μια καλύτερη. Η Δοκιμαστική κλήση του πράκτορα καλεί το δικό σας τηλέφωνο μέσω της γραμμής του, ώστε να τον ακούσετε όπως ένας καλών· κάθε τέτοια δοκιμή είναι πραγματική κλήση που χρεώνεται. Ο οδηγός ρύθμισης προσφέρει επίσης συνομιλία στην οθόνη, κλήση στο τηλέφωνό σας και κλήση από τον πράκτορα σε έναν αριθμό. Ένας έλεγχος ετοιμότητας, που εκτελείται χωρίς να καλέσει κανέναν, αναφέρει τι χρειάζεται ακόμη μια κλήση AI από τη γραμμή.
Οι κλήσεις εξάσκησης, στους Πράκτορες AI, Τι έμαθε, επιτρέπουν σε καλούντες AI να τηλεφωνούν στους πράκτορές σας στα ιαπωνικά και στα αγγλικά. Κάθε κλήση βαθμολογείται και τα διδάγματα περιμένουν τον δικό σας έλεγχο, ώστε να μην αλλάζει τίποτα χωρίς εσάς. Πριν από μια ριψοκίνδυνη αλλαγή, αποθηκεύστε ένα σημείο επαναφοράς στον πράκτορα, ώστε να μπορείτε να επιστρέψετε, και χρησιμοποιήστε τις επιλογές Σε λειτουργία ή Σε πρόχειρο για να ελέγχετε πότε απαντά ο πράκτορας. Δείτε το άρθρο Ρύθμιση πράκτορα AI στο Call για την ίδια τη ρύθμιση.
Συχνές ερωτήσεις
Πόσες δοκιμαστικές κλήσεις αρκούν;
Όσες χρειάζονται για να καλύψουν κάθε συνηθισμένη ερώτηση, κάθε περίπτωση παράδοσης και ένα δείγμα δύσκολων συμπεριφορών. Για έναν μικρό πράκτορα αυτό μπορεί να σημαίνει δεκάδες κλήσεις· συνεχίστε μέχρι οι νέες δοκιμές να μη βρίσκουν πια νέα προβλήματα.
Ποιος πρέπει να δοκιμάζει τον πράκτορα;
Άτομα που δεν τον έφτιαξαν, μεταξύ αυτών και άτομα με διαφορετικές προφορές και τηλεφωνικές συνήθειες. Ρωτούν με τρόπους που αυτός που τον έφτιαξε δεν σκέφτεται ποτέ.
Πρέπει να δοκιμάζω σε πραγματικό τηλέφωνο;
Ναι. Ο τηλεφωνικός ήχος είναι πιο στενός και πιο θορυβώδης από τον ήχο του υπολογιστή, και πολλά προβλήματα εμφανίζονται μόνο σε πραγματική γραμμή.
Τι θεωρείται σοβαρή αποτυχία;
Μια επινοημένη απάντηση που δηλώνεται με σιγουριά, μια παράδοση που αποτυγχάνει ή ένα αρχείο που στέλνει την ομάδα σε λάθος κατεύθυνση. Αυτά πρέπει να εμποδίζουν την κυκλοφορία.
Χρειάζεται να ξαναδοκιμάζω μετά από μικρές αλλαγές;
Ναι, τουλάχιστον ένα βασικό σύνολο. Μικρές αλλαγές στις οδηγίες ή στη γνώση μπορούν να αλλάξουν απαντήσεις αλλού.
Τι πρέπει να παρακολουθώ μετά την έναρξη λειτουργίας;
Ακούτε στην αρχή ένα δείγμα κλήσεων καθημερινά, σημειώνετε τις ερωτήσεις που δεν μπόρεσε να απαντήσει και παρακολουθείτε τις παραδόσεις και τα παράπονα. Βελτιώνετε τη γνώση κάθε εβδομάδα.