Technologie d'IA vocale

Comment fonctionne l'IA vocale : reconnaissance, LLM et synthèse

Le pipeline des agents téléphoniques d'IA vocale en langage clair : transcription, modèle de langage, synthèse vocale, tours de parole, délais et transferts sûrs.

L’équipe éditoriale de Call · Publié le · Lecture : 7 min

Un appel téléphonique avec un agent IA peut sembler magique ou énigmatique, selon que cela fonctionne ou non. Derrière, il y a une idée assez simple : transformer la voix de l'appelant en texte, laisser un modèle de langage décider quoi dire, puis retransformer la réponse en parole, le tout assez vite pour ressembler à une conversation. Ce guide explique chaque étape, les endroits où cela tourne mal et ce que cela implique pour la configuration d'un agent. Pour la vue d'ensemble, commencez par Qu'est-ce que l'accueil téléphonique par IA ?.

Un téléphone à côté d'un schéma d'ondes sonores transformées en texte puis de nouveau en parole
Image d'illustration

La boucle de base d'un appel d'IA vocale

  1. ÉcouterL'audio de l'appelant est capté et nettoyé.
  2. TranscrireLa reconnaissance vocale transforme l'audio en mots.
  3. DéciderUn modèle de langage choisit ce qu'il faut dire ou faire ensuite.
  4. ParlerLa synthèse vocale transforme la réponse en audio.
  5. RépéterLa boucle tourne à chaque tour de parole jusqu'à la fin de l'appel ou son transfert.

Étape un : la reconnaissance vocale

La reconnaissance vocale convertit le son en mots. Sur une ligne téléphonique, l'audio est à bande étroite et compressé, ce qui la rend plus difficile qu'un enregistrement en studio. Les accents, le bruit de fond, les voix qui se chevauchent et les noms inhabituels affectent tous la précision. Les systèmes modernes peuvent bien traiter la parole courante, mais les nombres, les épellations, les noms et les mots spécialisés comme les médicaments ou les noms de rues sont des points faibles fréquents.

Plus de détails dans la reconnaissance vocale pour les appels téléphoniques, le traitement des nombres et des noms et les accents et dialectes.

Étape deux : le modèle de langage

Un grand modèle de langage lit la transcription jusque-là, avec les instructions que vous avez rédigées et les informations que vous avez fournies, puis produit la réponse suivante. Il ne cherche rien par lui-même ; il s'appuie sur ce qu'on lui a donné. C'est pourquoi la consigne et la base de connaissances comptent tant. Le modèle peut paraître fluide tout en se trompant, ce qui rend les garde-fous et les tests indispensables.

Ce qui façonne la réponse du modèle

  • InstructionsLe rôle, le ton, les règles et les limites que vous lui donnez.
  • ConnaissancesDocuments, questions-réponses et faits sur lesquels il peut s'appuyer.
  • Conversation jusque-làCe qui a été dit pendant cet appel.
  • OutilsActions qu'il peut mener, comme chercher une commande ou noter un message.

Des guides comme la rédaction des consignes d'un agent téléphonique, le RAG pour agents vocaux, les hallucinations et les garde-fous vont plus loin. Une consigne qui dit quoi faire en cas de doute, par exemple proposer une personne ou prendre un message, évite beaucoup de problèmes.

Étape trois : la synthèse vocale

La synthèse vocale transforme la réponse en audio. Les voix varient en clarté, en chaleur et dans leur façon de gérer les pauses, les nombres et les noms dans votre langue. Certaines peuvent être réglées ou ajustées avec un dictionnaire de prononciation. Choisissez une voix pour sa clarté sur une ligne téléphonique plutôt que pour sa nouveauté, et testez-la avec les phrases réelles qu'elle prononcera. Voir la synthèse vocale en japonais pour un exemple de problèmes propres à une langue, et le clonage de voix pour le consentement et les risques d'une voix personnalisée.

Pourquoi le timing décide de l'expérience

La conversation humaine enchaîne les tours très vite. Un silence de plus d'une seconde environ paraît étrange. Dans un pipeline à trois étapes, chaque étape ajoute du délai, et le modèle peut prendre du temps pour réfléchir. Les concepteurs réduisent le délai par le flux : commencer à parler avant que la réponse entière soit prête, et commencer à transcrire avant que l'appelant s'arrête. Ils règlent aussi le moment où l'on décide que l'appelant a fini.

Pipeline ou modèle parole-à-parole

Pipeline à trois étapesModèle parole-à-parole
FonctionnementReconnaissance, modèle et voix séparésUn seul modèle gère l'audio en entrée et en sortie
ContrôleChaque étape peut être réglée ou remplacéeMoins visible, plus intégré
DélaiS'additionne d'une étape à l'autrePeut être plus faible
TranscriptionTexte disponible à chaque étapePeut demander un travail supplémentaire pour produire du texte
MaturitéLargement utiliséPlus récent, évolue vite

Les modèles parole-à-parole sont une approche plus récente. Dans les deux cas, la latence, les interruptions et la prise de parole déterminent si l'agent paraît naturel.

Interruptions

Les gens interrompent. Un bon agent cesse de parler quand l'appelant commence, et ne prend pas une toux ou une voix en arrière-plan pour une interruption. Cela dépend de la détection de la parole, traitée dans la détection d'activité vocale. Les systèmes mal réglés parlent soit par-dessus les appelants, soit attendent trop longtemps.

Outils, connaissances et actions

Un agent vocal devient utile quand il peut faire plus que discuter. Avec des outils connectés, il peut chercher des informations, consigner un message, noter une demande de rappel ou transférer l'appel à une personne. Chaque outil doit avoir un objectif étroit et des règles claires. Un agent peut prendre une demande de rendez-vous ; la confirmer est autre chose, et de nombreuses entreprises préfèrent qu'une personne confirme. L'appel de fonctions explique comment les outils sont décrits au modèle.

Ce qui arrive à l'audio et au texte

Chaque étape traite des données personnelles. L'audio contient une voix ; la transcription contient ce qui a été dit, y compris souvent des noms, des adresses et des motifs d'appel. Avant de déployer, découvrez où fonctionne chaque étape, ce qui est stocké, pendant combien de temps et qui peut le lire. Décidez si les informations sensibles, comme les données de paiement ou de santé, doivent être recueillies par l'agent ou transmises à une personne. Concevoir une IA vocale en pensant à la confidentialité traite cela plus en profondeur.

Gardez la mission de l'agent étroite. Un agent qui répond aux questions courantes, prend un message et passe la main est plus facile à tester, plus facile à expliquer aux appelants et plus facile à maintenir dans le cadre de vos engagements de confidentialité qu'un agent qui essaie de tout faire.

À quoi s'attendre en pratique

Attendez-vous à un bon résultat sur les appels simples et prévisibles : horaires d'ouverture, itinéraires, questions de base, prise de message. Attendez-vous à plus de difficultés avec les appels longs, émotionnels ou ambigus, les forts accents, les mauvaises lignes et les demandes qui exigent du jugement. Un déploiement raisonnable commence par un petit ensemble de types d'appels, écoute d'abord chaque appel, puis s'élargit à mesure que la confiance grandit. L'idée à retenir est que l'agent est conçu pour aider sur des tâches définies, pas pour remplacer le jugement.

Là où cela tourne mal

Concevez en tenant compte de ces cas. Facilitez l'accès à une personne, gardez des réponses courtes, confirmez les informations importantes comme les nombres et les dates, et passez régulièrement en revue de vrais appels. Tester un agent vocal et les indicateurs d'évaluation expliquent comment.

Mise en œuvre dans Call

Dans Call, un agent IA est construit à partir d'un personnage et d'une consigne, d'une voix, d'une langue et de sources de connaissances, puis testé à l'écran et par téléphone avant d'être activé sur une ligne. Call permet de choisir parmi plusieurs voix, de régler la prononciation avec un dictionnaire, d'ajuster la manière dont la parole est reconnue et de tenir les sources à jour. L'agent est conçu pour mettre les appelants en relation avec une personne lorsqu'ils le demandent, et il peut prendre un message. Tant que vous n'avez pas activé un agent sur une ligne, les appels sonnent chez votre équipe. Testez toujours d'abord avec vos propres appels. Configurer un agent IA dans Call détaille les étapes.

Questions fréquentes

Quelles sont les trois parties d'un agent d'IA vocale ?

La reconnaissance vocale pour entendre l'appelant, un modèle de langage pour décider quoi dire et la synthèse vocale pour prononcer la réponse. Certains systèmes plus récents les combinent.

Pourquoi l'IA marque-t-elle parfois une pause avant de répondre ?

Chaque étape prend du temps, et le système doit décider que l'appelant a fini de parler. Le flux et les réglages peuvent raccourcir le délai mais pas le supprimer.

L'IA peut-elle inventer des choses ?

Oui. Un modèle de langage peut produire des réponses plausibles mais fausses. Donnez-lui de bonnes connaissances, des limites claires et une consigne de proposer une personne en cas de doute.

Un agent vocal peut-il prendre des rendez-vous ?

Il peut prendre une demande et la transmettre. De nombreuses entreprises préfèrent qu'une personne confirme : décidez donc de ce que l'agent a le droit de promettre.

Faut-il dire aux appelants qu'il s'agit d'une IA ?

À de nombreux endroits, les gens s'y attendent ou y ont droit. Dites-le clairement au début de l'appel et vérifiez les règles qui vous sont applicables.

Comment vérifier que cela fonctionne ?

Testez avec de vrais appels avec différents accents et niveaux de bruit, écoutez les résultats et gardez une liste de questions que vous relancez après chaque modification.

Essayez un agent vocal IA sur votre propre ligne dans Call

Dans la console de démo, vous pouvez essayer des appels entrants en simulation.

Guides associés