Tecnologia di IA vocale

Come funziona l'IA vocale: riconoscimento vocale, LLM e sintesi vocale

In parole semplici, la catena dietro gli agenti telefonici con IA vocale: da voce a testo, modello linguistico, sintesi vocale, turni, ritardi e passaggi sicuri.

La redazione di Call · Pubblicato · Lettura di 6 min

Una telefonata con un agente IA può sembrare magia o un rompicapo, a seconda che funzioni. Dietro c'è un'idea piuttosto semplice: trasformare la voce di chi chiama in testo, lasciare che un modello linguistico decida cosa dire e riconvertire la risposta in voce, tutto abbastanza in fretta da sembrare una conversazione. Questa guida spiega ogni fase, dove le cose vanno male e cosa significa per come configuri un agente. Per il quadro più ampio, parti da Cos'è la reception telefonica con IA?.

Un telefono accanto allo schema di onde sonore che diventano testo e poi di nuovo voce
Immagine illustrativa

Il ciclo di base di una chiamata con IA vocale

  1. AscoltaL'audio di chi chiama viene acquisito e ripulito.
  2. TrascriveIl riconoscimento vocale trasforma l'audio in parole.
  3. DecideUn modello linguistico sceglie cosa dire o fare dopo.
  4. ParlaLa sintesi vocale trasforma la risposta in audio.
  5. RipeteIl ciclo prosegue a ogni turno finché la chiamata termina o viene passata a una persona.

Prima fase: da voce a testo

Il riconoscimento vocale converte il suono in parole. Su una linea telefonica l'audio è a banda stretta e compresso, il che lo rende più difficile di una registrazione in studio. Accenti, rumore di fondo, voci sovrapposte e nomi insoliti influiscono tutti sull'accuratezza. I sistemi moderni possono andare bene sul parlato quotidiano, ma numeri, grafie, nomi e parole di settore come farmaci o nomi di strade sono punti deboli comuni.

Più dettagli in riconoscimento vocale per le telefonate, gestione di numeri e nomi e accenti e dialetti.

Seconda fase: il modello linguistico

Un modello linguistico di grandi dimensioni legge la trascrizione finora, insieme alle istruzioni che hai scritto e alle informazioni che hai fornito, poi produce la risposta successiva. Non cerca informazioni da solo; si basa su ciò che gli è stato dato. Per questo prompt e base di conoscenza contano tanto. Il modello può suonare fluente pur sbagliando, ed è per questo che barriere di sicurezza e prove sono essenziali.

Cosa plasma la risposta del modello

  • IstruzioniIl ruolo, il tono, le regole e i limiti che gli dai.
  • ConoscenzaDocumenti, domande e risposte e fatti a cui può attingere.
  • Conversazione finoraCosa è stato detto in questa chiamata.
  • StrumentiAzioni che può compiere, come cercare un ordine o annotare un messaggio.

Guide come scrivere il prompt per un agente telefonico, RAG per gli agenti vocali, allucinazioni e barriere di sicurezza approfondiscono. Un prompt che dice cosa fare in caso di dubbio, per esempio offrire una persona o raccogliere un messaggio, previene molti problemi.

Terza fase: da testo a voce

La sintesi vocale trasforma la risposta in audio. Le voci variano per chiarezza, calore e modo di gestire pause, numeri e nomi nella tua lingua. Alcune si possono regolare o correggere con un dizionario di pronuncia. Scegli una voce per la chiarezza su una linea telefonica più che per la novità e provala con le frasi che pronuncerà davvero. Vedi la sintesi vocale in giapponese per un esempio di problemi specifici di una lingua, e la clonazione vocale per consenso e rischi nell'uso di una voce personalizzata.

Perché i tempi decidono l'esperienza

La conversazione umana ha turni rapidi. Un intervallo di più di un secondo circa risulta strano. In una catena a tre fasi ogni passaggio aggiunge ritardo e il modello può impiegare tempo a «pensare». I progettisti riducono il ritardo con lo streaming: iniziare a parlare prima che l'intera risposta sia pronta e iniziare a trascrivere prima che chi chiama smetta. Regolano anche quando decidere che chi chiama ha finito.

Catena a tre fasi o modello voce-a-voce

Catena a tre fasiModello voce-a-voce
Come funzionaRiconoscimento, modello e voce separatiUn solo modello gestisce audio in ingresso e in uscita
ControlloOgni fase può essere regolata o sostituitaMeno visibile, più integrato
RitardoSi somma tra le fasiPuò essere minore
TrascrizioneTesto disponibile a ogni passaggioPuò richiedere lavoro in più per produrre il testo
MaturitàMolto usataPiù recente, in rapida evoluzione

I modelli voce-a-voce sono un approccio più recente. In entrambi i casi, latenza, interruzioni e alternanza dei turni determinano se l'agente sembra naturale.

Interruzioni

Le persone si interrompono. Un buon agente smette di parlare quando chi chiama comincia e non scambia un colpo di tosse o una voce di fondo per un'interruzione. Dipende dal rilevamento del parlato, trattato in rilevamento dell'attività vocale. I sistemi tarati male o parlano sopra chi chiama o aspettano troppo.

Strumenti, conoscenza e azioni

Un agente vocale diventa utile quando sa fare più che chiacchierare. Con strumenti collegati può cercare informazioni, registrare un messaggio, annotare una richiesta di richiamo o passare la chiamata a una persona. Ogni strumento dovrebbe avere uno scopo ristretto e regole chiare. Un agente può raccogliere una richiesta di appuntamento; confermarlo è un'altra cosa, e molte aziende preferiscono che confermi una persona. Function calling spiega come gli strumenti vengono descritti al modello.

Cosa succede all'audio e al testo

Ogni fase tratta dati personali. L'audio contiene una voce; la trascrizione contiene ciò che è stato detto, spesso inclusi nomi, indirizzi e motivi della chiamata. Prima di distribuire, scopri dove gira ogni fase, cosa viene conservato, per quanto tempo e chi può leggerlo. Decidi se dettagli sensibili, come dati di pagamento o sulla salute, debbano essere raccolti dall'agente o passati a una persona. Progettare l'IA vocale tenendo conto della privacy lo tratta più a fondo.

Tieni stretto il compito dell'agente. Un agente che risponde alle domande comuni, raccoglie un messaggio e passa la chiamata è più facile da provare, più facile da spiegare a chi chiama e più facile da mantenere entro le tue promesse sulla privacy di uno che cerca di fare tutto.

Cosa aspettarsi nella pratica

Aspettati un buon risultato su chiamate semplici e prevedibili: orari, indicazioni, domande di base, raccolta di un messaggio. Aspettati più difficoltà con chiamate lunghe, emotive o ambigue, accenti marcati, linee scadenti e richieste che richiedono giudizio. Un lancio sensato parte da un piccolo insieme di tipi di chiamata, ascolta ogni chiamata all'inizio e si allarga man mano che cresce la fiducia. La frase da ricordare è che l'agente è pensato per aiutare in compiti definiti, non per sostituire il giudizio.

Dove le cose vanno male

Progetta pensando a questi casi. Rendi facile raggiungere una persona, mantieni brevi le risposte, conferma i dettagli importanti come numeri e date e rivedi regolarmente le chiamate reali. Provare un agente vocale e metriche di valutazione spiegano come.

Come si fa in Call

In Call un agente IA è costruito da una persona e un prompt, una voce, una lingua e fonti di conoscenza, poi provato sullo schermo e al telefono prima di essere attivato per una linea. Call ti permette di scegliere tra voci, regolare la pronuncia con un dizionario, modificare come viene riconosciuto il parlato e tenere aggiornate le fonti. L'agente è pensato per passare a una persona chi lo chiede e può raccogliere un messaggio. Finché non attivi un agente per una linea, le chiamate fanno squillare il tuo team. Prova sempre prima con le tue chiamate. Configurare un agente IA in Call ne illustra i passaggi.

Domande frequenti

Quali sono le tre parti di un agente vocale IA?

Da voce a testo per ascoltare chi chiama, un modello linguistico per decidere cosa dire e da testo a voce per pronunciare la risposta. Alcuni sistemi più recenti le combinano.

Perché l'IA a volte si ferma prima di rispondere?

Ogni fase richiede tempo e il sistema deve decidere che chi chiama ha finito di parlare. Streaming e messa a punto possono accorciare l'intervallo ma non eliminarlo.

L'IA può inventare le cose?

Sì. Un modello linguistico può produrre risposte plausibili ma sbagliate. Dagli buona conoscenza, limiti chiari e un'istruzione a offrire una persona in caso di dubbio.

Un agente vocale può fissare appuntamenti?

Può raccogliere una richiesta e inoltrarla. Molte aziende preferiscono che confermi una persona, quindi decidi cosa l'agente può promettere.

Bisogna dire a chi chiama che è un'IA?

In molti luoghi le persone se lo aspettano o hanno il diritto di saperlo. Dillo chiaramente all'inizio della chiamata e verifica le regole che ti riguardano.

Come verifico che funzioni?

Prova con chiamate reali con accenti e livelli di rumore diversi, ascolta i risultati e tieni un elenco di domande da rieseguire dopo ogni modifica.

Prova un agente vocale IA sulla tua linea con Call

Nella console demo puoi provare le chiamate in arrivo in simulazione.

Guide correlate