Τεχνολογία φωνητικής AI

Πώς λειτουργεί η φωνητική AI: αναγνώριση ομιλίας, LLM, text-to-speech

Απλή περιήγηση στη διαδικασία των φωνητικών πρακτόρων AI: speech-to-text, γλωσσικό μοντέλο, text-to-speech, εναλλαγή ομιλίας, καθυστέρηση και ασφαλείς μεταβιβάσεις.

Συντακτική ομάδα του Call · Δημοσιεύτηκε · Ανάγνωση 6 λεπτών

Μια τηλεφωνική κλήση με έναν πράκτορα AI μπορεί να μοιάζει με μαγεία ή με γρίφο, ανάλογα με το αν λειτουργεί. Πίσω της βρίσκεται μια αρκετά απλή ιδέα: μετατρέψτε τη φωνή του καλούντος σε κείμενο, αφήστε ένα γλωσσικό μοντέλο να αποφασίσει τι θα πει και μετατρέψτε την απάντηση ξανά σε ομιλία, όλα αρκετά γρήγορα ώστε να φαίνεται συνομιλία. Ο οδηγός αυτός εξηγεί κάθε στάδιο, πού πάνε στραβά τα πράγματα και τι σημαίνει αυτό για τον τρόπο που ρυθμίζετε έναν πράκτορα. Για τη γενικότερη εικόνα, ξεκινήστε με το άρθρο Τι είναι η τηλεφωνική υποδοχή με AI;.

Ένα τηλέφωνο δίπλα σε διάγραμμα ηχητικών κυμάτων που μετατρέπονται σε κείμενο και πάλι σε ομιλία
Ενδεικτική εικόνα

Ο βασικός βρόχος μιας κλήσης φωνητικής AI

  1. ΑκρόασηΟ ήχος του καλούντος καταγράφεται και καθαρίζεται.
  2. ΑπομαγνητοφώνησηΤο speech-to-text μετατρέπει τον ήχο σε λέξεις.
  3. ΑπόφασηΈνα γλωσσικό μοντέλο επιλέγει τι θα πει ή θα κάνει στη συνέχεια.
  4. ΟμιλίαΤο text-to-speech μετατρέπει την απάντηση σε ήχο.
  5. ΕπανάληψηΟ βρόχος τρέχει για κάθε σειρά μέχρι να τελειώσει η κλήση ή να μεταβιβαστεί.

Πρώτο στάδιο: speech-to-text

Η αναγνώριση ομιλίας μετατρέπει τον ήχο σε λέξεις. Σε μια τηλεφωνική γραμμή ο ήχος είναι στενής ζώνης και συμπιεσμένος, κάτι που τον κάνει δυσκολότερο από μια ηχογράφηση στούντιο. Οι προφορές, ο θόρυβος υποβάθρου, η ταυτόχρονη ομιλία και τα ασυνήθιστα ονόματα επηρεάζουν όλα την ακρίβεια. Τα σύγχρονα συστήματα τα πάνε καλά με την καθημερινή ομιλία, αλλά οι αριθμοί, οι ορθογραφίες, τα ονόματα και οι λέξεις ειδικού τομέα, όπως φάρμακα ή ονόματα οδών, είναι συνηθισμένα αδύναμα σημεία.

Περισσότερες λεπτομέρειες υπάρχουν στα άρθρα αναγνώριση ομιλίας για τηλεφωνικές κλήσεις, χειρισμός αριθμών και ονομάτων και προφορές και διάλεκτοι.

Δεύτερο στάδιο: το γλωσσικό μοντέλο

Ένα μεγάλο γλωσσικό μοντέλο διαβάζει την απομαγνητοφώνηση μέχρι εκείνη τη στιγμή, μαζί με τις οδηγίες που γράψατε και τις πληροφορίες που δώσατε, και μετά παράγει την επόμενη απάντηση. Δεν αναζητά πράγματα από μόνο του· βασίζεται σε όσα του δόθηκαν. Γι' αυτό η προτροπή και η βάση γνώσεων μετράνε τόσο. Το μοντέλο μπορεί να ακούγεται ευφραδές ενώ κάνει λάθος, γι' αυτό τα προστατευτικά όρια και οι δοκιμές είναι απαραίτητα.

Τι διαμορφώνει την απάντηση του μοντέλου

  • ΟδηγίεςΟ ρόλος, ο τόνος, οι κανόνες και τα όρια που του δίνετε.
  • ΓνώσηΈγγραφα, ερωτήσεις-απαντήσεις και στοιχεία που μπορεί να αξιοποιήσει.
  • Η συζήτηση μέχρι τώραΤι ειπώθηκε σε αυτή την κλήση.
  • ΕργαλείαΕνέργειες που μπορεί να κάνει, όπως αναζήτηση μιας παραγγελίας ή σημείωση ενός μηνύματος.

Οδηγοί όπως σχεδιασμός προτροπών για τηλεφωνικό πράκτορα, RAG για φωνητικούς πράκτορες, παραισθήσεις και προστατευτικά όρια εμβαθύνουν. Μια προτροπή που λέει τι να κάνει όταν δεν είναι σίγουρο, για παράδειγμα να προσφέρει άνθρωπο ή να παίρνει μήνυμα, αποτρέπει πολλά προβλήματα.

Τρίτο στάδιο: text-to-speech

Το text-to-speech μετατρέπει την απάντηση σε ήχο. Οι φωνές διαφέρουν σε καθαρότητα, ζεστασιά και στον τρόπο που χειρίζονται τις παύσεις, τους αριθμούς και τα ονόματα στη γλώσσα σας. Ορισμένες μπορούν να ρυθμιστούν ή να προσαρμοστούν με λεξικό προφοράς. Διαλέξτε μια φωνή για την καθαρότητά της σε τηλεφωνική γραμμή και όχι για την καινοτομία, και δοκιμάστε την με τις πραγματικές φράσεις που θα λέει. Δείτε το άρθρο text-to-speech στα ιαπωνικά για ένα παράδειγμα ζητημάτων που αφορούν συγκεκριμένη γλώσσα, και το άρθρο κλωνοποίηση φωνής για τη συναίνεση και τον κίνδυνο όταν χρησιμοποιείτε προσαρμοσμένη φωνή.

Γιατί ο χρονισμός καθορίζει την εμπειρία

Η ανθρώπινη συζήτηση έχει γρήγορες σειρές. Ένα κενό πάνω από ένα δευτερόλεπτο περίπου φαίνεται παράξενο. Σε μια διαδικασία τριών σταδίων κάθε βήμα προσθέτει καθυστέρηση, και το μοντέλο μπορεί να χρειαστεί χρόνο να σκεφτεί. Οι σχεδιαστές μειώνουν την καθυστέρηση με συνεχή ροή: αρχίζουν να μιλούν προτού ετοιμαστεί ολόκληρη η απάντηση και αρχίζουν να απομαγνητοφωνούν προτού σταματήσει ο καλών. Ρυθμίζουν επίσης πότε θα αποφασίζεται ότι ο καλών έχει τελειώσει.

Διαδικασία τριών σταδίων έναντι μοντέλου speech-to-speech

Διαδικασία τριών σταδίωνΜοντέλο speech-to-speech
Πώς λειτουργείΞεχωριστή αναγνώριση, μοντέλο και φωνήΈνα μοντέλο χειρίζεται τον ήχο εισόδου και εξόδου
ΈλεγχοςΚάθε στάδιο μπορεί να ρυθμιστεί ή να αντικατασταθείΛιγότερο ορατό, πιο ενοποιημένο
ΚαθυστέρησηΑθροίζεται από στάδιο σε στάδιοΜπορεί να είναι χαμηλότερη
ΑπομαγνητοφώνησηΚείμενο διαθέσιμο σε κάθε βήμαΜπορεί να χρειάζεται επιπλέον εργασία για να παραχθεί κείμενο
ΩριμότηταΕυρέως χρησιμοποιείταιΝεότερο, αλλάζει γρήγορα

Μοντέλα speech-to-speech είναι μια νεότερη προσέγγιση. Με όποιον τρόπο, η καθυστέρηση, οι διακοπές και η εναλλαγή ομιλίας καθορίζουν αν ο πράκτορας φαίνεται φυσικός.

Διακοπές

Οι άνθρωποι διακόπτουν. Ένας καλός πράκτορας σταματά να μιλά όταν αρχίζει ο καλών και δεν εκλαμβάνει έναν βήχα ή μια φωνή υποβάθρου ως διακοπή. Αυτό εξαρτάται από τον εντοπισμό της ομιλίας, που καλύπτεται στο άρθρο ανίχνευση φωνητικής δραστηριότητας. Τα κακά ρυθμισμένα συστήματα είτε μιλούν πάνω από τους καλούντες είτε περιμένουν πολύ.

Εργαλεία, γνώση και ενέργειες

Ένας φωνητικός πράκτορας γίνεται χρήσιμος όταν μπορεί να κάνει περισσότερα από το να συζητά. Με συνδεδεμένα εργαλεία μπορεί να αναζητά πληροφορίες, να καταγράφει ένα μήνυμα, να σημειώνει ένα αίτημα επανάκλησης ή να περνά την κλήση σε άνθρωπο. Κάθε εργαλείο πρέπει να έχει στενό σκοπό και σαφείς κανόνες. Ένας πράκτορας μπορεί να δεχθεί ένα αίτημα για ραντεβού· η επιβεβαίωσή του είναι άλλο θέμα, και πολλές επιχειρήσεις προτιμούν να την κάνει άνθρωπος. Η κλήση συναρτήσεων εξηγεί πώς περιγράφονται τα εργαλεία στο μοντέλο.

Τι συμβαίνει με τον ήχο και το κείμενο

Κάθε στάδιο χειρίζεται προσωπικά δεδομένα. Ο ήχος περιέχει μια φωνή· η απομαγνητοφώνηση περιέχει όσα ειπώθηκαν, συχνά με ονόματα, διευθύνσεις και λόγους κλήσης. Προτού τον αναπτύξετε, μάθετε πού τρέχει κάθε στάδιο, τι αποθηκεύεται, για πόσο και ποιος μπορεί να το διαβάσει. Αποφασίστε αν ευαίσθητα στοιχεία, όπως πληροφορίες πληρωμής ή υγείας, πρέπει να συλλέγονται καθόλου από τον πράκτορα ή να περνούν σε άνθρωπο. Σχεδιασμός φωνητικής AI με γνώμονα το απόρρητο το καλύπτει σε μεγαλύτερο βάθος.

Κρατήστε στενή τη δουλειά του πράκτορα. Ένας πράκτορας που απαντά σε συνηθισμένες ερωτήσεις, παίρνει μήνυμα και μεταβιβάζει είναι ευκολότερος στη δοκιμή, ευκολότερος στην εξήγηση στους καλούντες και ευκολότερος στο να μένει εντός των υποσχέσεων απορρήτου σας από έναν που προσπαθεί να τα κάνει όλα.

Τι να περιμένετε στην πράξη

Περιμένετε καλό αποτέλεσμα σε απλές, προβλέψιμες κλήσεις: ωράριο, οδηγίες, βασικές ερωτήσεις, λήψη μηνύματος. Περιμένετε μεγαλύτερη δυσκολία σε μακριές, συναισθηματικές ή ασαφείς κλήσεις, έντονες προφορές, κακές γραμμές και αιτήματα που χρειάζονται κρίση. Μια λογική εφαρμογή ξεκινά με ένα μικρό σύνολο ειδών κλήσεων, ακούει κάθε κλήση στην αρχή και μετά διευρύνεται καθώς μεγαλώνει η εμπιστοσύνη. Η φράση που αξίζει να θυμάστε είναι ότι ο πράκτορας έχει σχεδιαστεί να βοηθά σε καθορισμένες εργασίες, όχι να αντικαθιστά την κρίση.

Πού πάει στραβά

Σχεδιάστε για αυτά. Κάντε εύκολη τη διαδρομή προς άνθρωπο, κρατήστε σύντομες τις απαντήσεις, επιβεβαιώστε σημαντικά στοιχεία όπως αριθμούς και ημερομηνίες και εξετάζετε τακτικά πραγματικές κλήσεις. Δοκιμή φωνητικού πράκτορα και μετρήσεις αξιολόγησης εξηγούν πώς.

Πώς γίνεται στο Call

Στο Call, ένας πράκτορας AI χτίζεται από μια περσόνα και μια προτροπή, μια φωνή, μια γλώσσα και πηγές γνώσης, και μετά δοκιμάζεται στην οθόνη και μέσω τηλεφώνου προτού ενεργοποιηθεί για μια γραμμή. Το Call σάς επιτρέπει να επιλέγετε ανάμεσα σε φωνές, να ρυθμίζετε την προφορά με λεξικό, να προσαρμόζετε πώς αναγνωρίζεται η ομιλία και να κρατάτε ενημερωμένες τις πηγές. Ο πράκτορας έχει σχεδιαστεί να συνδέει τους καλούντες με άνθρωπο όταν του το ζητούν, και μπορεί να παίρνει μήνυμα. Μέχρι να ενεργοποιήσετε έναν πράκτορα για μια γραμμή, οι κλήσεις χτυπούν στην ομάδα σας. Δοκιμάζετε πάντα πρώτα με τις δικές σας κλήσεις. Ρύθμιση πράκτορα AI στο Call περιγράφει τα βήματα.

Συχνές ερωτήσεις

Ποια είναι τα τρία μέρη ενός φωνητικού πράκτορα AI;

Το speech-to-text για να ακούει τον καλούντα, ένα γλωσσικό μοντέλο για να αποφασίζει τι θα πει και το text-to-speech για να εκφωνεί την απάντηση. Ορισμένα νεότερα συστήματα τα συνδυάζουν.

Γιατί το AI κάνει μερικές φορές παύση προτού απαντήσει;

Κάθε στάδιο παίρνει χρόνο και το σύστημα πρέπει να αποφασίσει ότι ο καλών τελείωσε να μιλά. Η συνεχής ροή και η ρύθμιση μπορούν να μικρύνουν το κενό αλλά όχι να το εξαλείψουν.

Μπορεί το AI να επινοεί πράγματα;

Ναι. Ένα γλωσσικό μοντέλο μπορεί να παράγει εύλογες αλλά λανθασμένες απαντήσεις. Δώστε του καλή γνώση, σαφή όρια και οδηγία να προσφέρει άνθρωπο όταν δεν είναι σίγουρο.

Μπορεί ένας φωνητικός πράκτορας να κλείνει ραντεβού;

Μπορεί να δεχθεί ένα αίτημα και να το προωθήσει. Πολλές επιχειρήσεις προτιμούν να το επιβεβαιώνει άνθρωπος, γι' αυτό αποφασίστε τι επιτρέπεται να υπόσχεται ο πράκτορας.

Πρέπει να λέμε στους καλούντες ότι είναι AI;

Σε πολλά μέρη οι άνθρωποι το περιμένουν ή δικαιούνται να το γνωρίζουν. Πείτε το καθαρά στην αρχή της κλήσης και ελέγξτε τους κανόνες που ισχύουν για εσάς.

Πώς ελέγχω ότι λειτουργεί;

Δοκιμάστε με πραγματικές κλήσεις με διαφορετικές προφορές και επίπεδα θορύβου, ακούστε τα αποτελέσματα και κρατήστε μια λίστα ερωτήσεων που ξανατρέχετε μετά από κάθε αλλαγή.

Δοκιμάστε έναν φωνητικό πράκτορα AI στη δική σας γραμμή με το Call

Στην κονσόλα demo μπορείτε να δοκιμάσετε εισερχόμενες κλήσεις σε προσομοίωση.

Σχετικοί οδηγοί

Τεχνολογία φωνητικής AI

Prompt για καλύτερες περιλήψεις κλήσεων: πρότυπα και δοκιμές

Πώς γράφετε ένα prompt που μετατρέπει μια απομαγνητοφώνηση σε σύντομη, ακριβή σημείωση: για ποιον είναι, τι περιέχει, κανόνες κατά των επινοήσεων και δοκιμές.

Συντακτική ομάδα του Call ·
Τεχνολογία φωνητικής AI

Ανάλυση συναισθήματος στις κλήσεις: χρήσεις, όρια, υπεύθυνη χρήση

Τι μετρά η ανάλυση συναισθήματος στις κλήσεις, πού βοηθά στη διαλογή και στις τάσεις, πού παραπλανά και πώς τη χρησιμοποιείτε χωρίς άδικες ή αυτόματες αποφάσεις.

Συντακτική ομάδα του Call ·
Τεχνολογία φωνητικής AI

SIP trunking: πώς ταξιδεύουν οι επαγγελματικές κλήσεις μέσω διαδικτύου

Τι είναι ένα SIP trunk, πώς διαφέρει από τις παραδοσιακές γραμμές, τι να ελέγξετε σε codecs, κανάλια και εφεδρεία και πώς να επιλέξετε πάροχο.

Συντακτική ομάδα του Call ·
Τεχνολογία φωνητικής AI

Μοντέλα speech-to-speech και διαδοχικές φωνητικές αλυσίδες: σύγκριση

Δύο τρόποι να φτιάξετε τηλεφωνικό φωνητικό πράκτορα: μοντέλα speech-to-speech και διαδοχικές αλυσίδες. Δυνατά και αδύναμα σημεία και επιλογή μέσω δοκιμών.

Συντακτική ομάδα του Call ·