Come funziona l'IA vocale: riconoscimento vocale, LLM e sintesi vocale
In parole semplici, la catena dietro gli agenti telefonici con IA vocale: da voce a testo, modello linguistico, sintesi vocale, turni, ritardi e passaggi sicuri.
Una telefonata con un agente IA può sembrare magia o un rompicapo, a seconda che funzioni. Dietro c'è un'idea piuttosto semplice: trasformare la voce di chi chiama in testo, lasciare che un modello linguistico decida cosa dire e riconvertire la risposta in voce, tutto abbastanza in fretta da sembrare una conversazione. Questa guida spiega ogni fase, dove le cose vanno male e cosa significa per come configuri un agente. Per il quadro più ampio, parti da Cos'è la reception telefonica con IA?.

Il ciclo di base di una chiamata con IA vocale
- AscoltaL'audio di chi chiama viene acquisito e ripulito.
- TrascriveIl riconoscimento vocale trasforma l'audio in parole.
- DecideUn modello linguistico sceglie cosa dire o fare dopo.
- ParlaLa sintesi vocale trasforma la risposta in audio.
- RipeteIl ciclo prosegue a ogni turno finché la chiamata termina o viene passata a una persona.
Prima fase: da voce a testo
Il riconoscimento vocale converte il suono in parole. Su una linea telefonica l'audio è a banda stretta e compresso, il che lo rende più difficile di una registrazione in studio. Accenti, rumore di fondo, voci sovrapposte e nomi insoliti influiscono tutti sull'accuratezza. I sistemi moderni possono andare bene sul parlato quotidiano, ma numeri, grafie, nomi e parole di settore come farmaci o nomi di strade sono punti deboli comuni.
- Il riconoscimento in streaming produce parole mentre chi chiama sta ancora parlando, il che fa risparmiare tempo.
- I riconoscitori spesso hanno bisogno di suggerimenti, come un elenco di nomi di prodotti o luoghi, per fare meglio.
- La confidenza non è certezza; un sistema può sbagliare con sicurezza.
- Capire la fine di un turno è un compito distinto dal riconoscere le parole.
Più dettagli in riconoscimento vocale per le telefonate, gestione di numeri e nomi e accenti e dialetti.
Seconda fase: il modello linguistico
Un modello linguistico di grandi dimensioni legge la trascrizione finora, insieme alle istruzioni che hai scritto e alle informazioni che hai fornito, poi produce la risposta successiva. Non cerca informazioni da solo; si basa su ciò che gli è stato dato. Per questo prompt e base di conoscenza contano tanto. Il modello può suonare fluente pur sbagliando, ed è per questo che barriere di sicurezza e prove sono essenziali.
Cosa plasma la risposta del modello
- IstruzioniIl ruolo, il tono, le regole e i limiti che gli dai.
- ConoscenzaDocumenti, domande e risposte e fatti a cui può attingere.
- Conversazione finoraCosa è stato detto in questa chiamata.
- StrumentiAzioni che può compiere, come cercare un ordine o annotare un messaggio.
Guide come scrivere il prompt per un agente telefonico, RAG per gli agenti vocali, allucinazioni e barriere di sicurezza approfondiscono. Un prompt che dice cosa fare in caso di dubbio, per esempio offrire una persona o raccogliere un messaggio, previene molti problemi.
Terza fase: da testo a voce
La sintesi vocale trasforma la risposta in audio. Le voci variano per chiarezza, calore e modo di gestire pause, numeri e nomi nella tua lingua. Alcune si possono regolare o correggere con un dizionario di pronuncia. Scegli una voce per la chiarezza su una linea telefonica più che per la novità e provala con le frasi che pronuncerà davvero. Vedi la sintesi vocale in giapponese per un esempio di problemi specifici di una lingua, e la clonazione vocale per consenso e rischi nell'uso di una voce personalizzata.
Perché i tempi decidono l'esperienza
La conversazione umana ha turni rapidi. Un intervallo di più di un secondo circa risulta strano. In una catena a tre fasi ogni passaggio aggiunge ritardo e il modello può impiegare tempo a «pensare». I progettisti riducono il ritardo con lo streaming: iniziare a parlare prima che l'intera risposta sia pronta e iniziare a trascrivere prima che chi chiama smetta. Regolano anche quando decidere che chi chiama ha finito.
Catena a tre fasi o modello voce-a-voce
| Catena a tre fasi | Modello voce-a-voce | |
|---|---|---|
| Come funziona | Riconoscimento, modello e voce separati | Un solo modello gestisce audio in ingresso e in uscita |
| Controllo | Ogni fase può essere regolata o sostituita | Meno visibile, più integrato |
| Ritardo | Si somma tra le fasi | Può essere minore |
| Trascrizione | Testo disponibile a ogni passaggio | Può richiedere lavoro in più per produrre il testo |
| Maturità | Molto usata | Più recente, in rapida evoluzione |
I modelli voce-a-voce sono un approccio più recente. In entrambi i casi, latenza, interruzioni e alternanza dei turni determinano se l'agente sembra naturale.
Interruzioni
Le persone si interrompono. Un buon agente smette di parlare quando chi chiama comincia e non scambia un colpo di tosse o una voce di fondo per un'interruzione. Dipende dal rilevamento del parlato, trattato in rilevamento dell'attività vocale. I sistemi tarati male o parlano sopra chi chiama o aspettano troppo.
Strumenti, conoscenza e azioni
Un agente vocale diventa utile quando sa fare più che chiacchierare. Con strumenti collegati può cercare informazioni, registrare un messaggio, annotare una richiesta di richiamo o passare la chiamata a una persona. Ogni strumento dovrebbe avere uno scopo ristretto e regole chiare. Un agente può raccogliere una richiesta di appuntamento; confermarlo è un'altra cosa, e molte aziende preferiscono che confermi una persona. Function calling spiega come gli strumenti vengono descritti al modello.
Cosa succede all'audio e al testo
Ogni fase tratta dati personali. L'audio contiene una voce; la trascrizione contiene ciò che è stato detto, spesso inclusi nomi, indirizzi e motivi della chiamata. Prima di distribuire, scopri dove gira ogni fase, cosa viene conservato, per quanto tempo e chi può leggerlo. Decidi se dettagli sensibili, come dati di pagamento o sulla salute, debbano essere raccolti dall'agente o passati a una persona. Progettare l'IA vocale tenendo conto della privacy lo tratta più a fondo.
Tieni stretto il compito dell'agente. Un agente che risponde alle domande comuni, raccoglie un messaggio e passa la chiamata è più facile da provare, più facile da spiegare a chi chiama e più facile da mantenere entro le tue promesse sulla privacy di uno che cerca di fare tutto.
Cosa aspettarsi nella pratica
Aspettati un buon risultato su chiamate semplici e prevedibili: orari, indicazioni, domande di base, raccolta di un messaggio. Aspettati più difficoltà con chiamate lunghe, emotive o ambigue, accenti marcati, linee scadenti e richieste che richiedono giudizio. Un lancio sensato parte da un piccolo insieme di tipi di chiamata, ascolta ogni chiamata all'inizio e si allarga man mano che cresce la fiducia. La frase da ricordare è che l'agente è pensato per aiutare in compiti definiti, non per sostituire il giudizio.
Dove le cose vanno male
- Parole o numeri fraintesi portano a risposte sbagliate.
- Il modello inventa una risposta invece di ammettere di non sapere.
- I ritardi fanno ripetere chi chiama o lo fanno riattaccare.
- Rumore di fondo o voci sovrapposte vengono scambiati per parlato.
- Chi chiama vuole qualcosa fuori dall'ambito dell'agente e non riesce a uscirne.
Progetta pensando a questi casi. Rendi facile raggiungere una persona, mantieni brevi le risposte, conferma i dettagli importanti come numeri e date e rivedi regolarmente le chiamate reali. Provare un agente vocale e metriche di valutazione spiegano come.
Come si fa in Call
In Call un agente IA è costruito da una persona e un prompt, una voce, una lingua e fonti di conoscenza, poi provato sullo schermo e al telefono prima di essere attivato per una linea. Call ti permette di scegliere tra voci, regolare la pronuncia con un dizionario, modificare come viene riconosciuto il parlato e tenere aggiornate le fonti. L'agente è pensato per passare a una persona chi lo chiede e può raccogliere un messaggio. Finché non attivi un agente per una linea, le chiamate fanno squillare il tuo team. Prova sempre prima con le tue chiamate. Configurare un agente IA in Call ne illustra i passaggi.
Domande frequenti
Quali sono le tre parti di un agente vocale IA?
Da voce a testo per ascoltare chi chiama, un modello linguistico per decidere cosa dire e da testo a voce per pronunciare la risposta. Alcuni sistemi più recenti le combinano.
Perché l'IA a volte si ferma prima di rispondere?
Ogni fase richiede tempo e il sistema deve decidere che chi chiama ha finito di parlare. Streaming e messa a punto possono accorciare l'intervallo ma non eliminarlo.
L'IA può inventare le cose?
Sì. Un modello linguistico può produrre risposte plausibili ma sbagliate. Dagli buona conoscenza, limiti chiari e un'istruzione a offrire una persona in caso di dubbio.
Un agente vocale può fissare appuntamenti?
Può raccogliere una richiesta e inoltrarla. Molte aziende preferiscono che confermi una persona, quindi decidi cosa l'agente può promettere.
Bisogna dire a chi chiama che è un'IA?
In molti luoghi le persone se lo aspettano o hanno il diritto di saperlo. Dillo chiaramente all'inizio della chiamata e verifica le regole che ti riguardano.
Come verifico che funzioni?
Prova con chiamate reali con accenti e livelli di rumore diversi, ascolta i risultati e tieni un elenco di domande da rieseguire dopo ogni modifica.