Tecnologia di IA vocale

Limiti di sicurezza per agenti vocali IA: chiamate sicure e in tema

I livelli di protezione di un agente vocale telefonico, da istruzioni e fonti approvate a limiti imposti e regole di passaggio, con un copione di test iniziale.

La redazione di Call · Pubblicato · Lettura di 5 min

Un agente telefonico parla a nome della tua attività. Chi chiama può metterlo alla prova, confonderlo, arrabbiarsi o cercare di convincerlo a fare cose che non dovrebbe. I limiti di sicurezza sono i confini che mantengono la conversazione sicura, pertinente e onesta, anche quando chi chiama insiste.

Una responsabile rivede gli appunti delle chiamate alla scrivania, con una cuffia accanto
Immagine illustrativa

Questa guida descrive i principali tipi di limite, come combinarli a livelli e come testarli. Si abbina bene a Evitare le risposte inventate dell'IA vocale, dedicata all'accuratezza, e a Limiti della receptionist con IA.

A cosa servono i limiti di sicurezza

Pensa a una nuova receptionist al primo giorno. Le dici cosa dire, cosa non promettere e chi chiamare quando una situazione la supera. Un agente vocale ha bisogno dello stesso briefing, messo per iscritto, e in parte imposto dal sistema invece che affidato alla memoria.

Quattro compiti di un limite di sicurezza

  • Restare in temaL'agente parla dei tuoi servizi, non di qualsiasi argomento sollevi chi chiama.
  • Prevenire danniRifiuta di dare consigli o compiere azioni che non dovrebbe.
  • Proteggere le informazioniNon legge i dati di altre persone e non rivela le proprie istruzioni.
  • Sapere quando fermarsiPassa la chiamata a una persona quando la situazione lo richiede.

I limiti di sicurezza funzionano a livelli

Nessuna misura da sola è affidabile. Una configurazione sensata ne combina diverse, così se una fallisce un'altra intercetta il problema.

LivelloCosa faEsempio
IstruzioniIndicano all'agente ruolo, tono e limitiParlare solo di orari di apertura, servizi e messaggi
FontiLimitano i fatti che può usareRisposte approvate, nient'altro
Limiti alle azioniRestringono ciò che può fareNon può prenotare, rimborsare o modificare dati
Controlli sull'outputEsaminano ciò che sta per direBloccare determinate parole o argomenti
Regole di passaggioDefiniscono quando subentra una personaChi chiama chiede una persona o sembra in difficoltà
MonitoraggioRivede le chiamate a posterioriCercare frasi rischiose nelle trascrizioni

Limiti a livello di istruzioni

Il primo livello è un briefing chiaro. Descrivi il ruolo, il tono, gli argomenti ammessi e quelli esclusi. Indica cosa deve fare l'agente quando qualcosa è fuori ambito, perché un rifiuto senza alternativa è frustrante.

Le istruzioni sono indicazioni, non vincoli. Un modello di solito le segue, ma può essere convinto a fare diversamente, ed è per questo che non dovrebbero mai essere l'unico livello per nulla di importante. Prompt per agenti IA telefonici mostra come scriverle in modo chiaro.

Regole imposte dal sistema

I limiti più solidi non dipendono dal comportamento del modello. Se un agente non ha la possibilità di emettere rimborsi, non può essere convinto a emetterne uno. In Call, un agente IA in chiamata è progettato in modo da non poter prenotare né confermare appuntamenti, richiamare, inviare qualcosa o concedere sconti durante la chiamata; lo dice e indica la strada descritta nelle tue fonti. Risponde in base a istruzioni, persona, copione associato e passaggi pertinenti della base di conoscenza, e quando nessuno di questi risponde alla domanda dice che non può confermarlo. Queste regole stanno al di sotto delle tue istruzioni: le tue istruzioni non possono disattivarle.

Situazioni delicate

Alcune conversazioni richiedono un percorso definito, non una risposta brillante.

Un percorso di passaggio per le chiamate delicate

  1. RiconoscereDisagio, un'emergenza, una minaccia, un reclamo o la richiesta di una persona.
  2. Rispondere brevementeUna presa d'atto breve e calma, senza discussioni né consigli improvvisati.
  3. IndirizzareIndicare il percorso giusto: servizi di emergenza, una persona reperibile o una richiesta di richiamata.
  4. RegistrareSalvare ciò che è stato detto, così chi subentra ha il contesto.
  5. Dare seguitoUna persona esamina la richiesta e chiude il cerchio.

Per le emergenze, indica a chi chiama un percorso chiaro verso il servizio giusto all'inizio del ramo pertinente e non affidarti all'agente per valutare l'urgenza. Per chi potrebbe trovarsi in una situazione di vulnerabilità, prevedi un'attenzione in più; vedi Assistere i clienti vulnerabili al telefono e Gestire chi chiama in modo offensivo.

Proteggere le informazioni

I limiti di sicurezza proteggono anche i dati. L'agente non deve leggere i dati di una persona a un'altra, deve raccogliere solo ciò che serve e non deve ripetere ad alta voce numeri sensibili senza necessità. Le verifiche dell'identità prima di condividere qualsiasi informazione legata a un conto vanno previste fin dall'inizio della progettazione. La privacy by design è trattata in Privacy by design per l'IA vocale.

Trovare l'equilibrio

I limiti di sicurezza hanno un costo. Ogni rifiuto è un momento in cui chi chiama non ottiene ciò per cui ha chiamato. Se le regole sono troppo larghe, l'agente scivola in territori rischiosi; se sono troppo strette, sembra evasivo e manda tutto a una persona, vanificando lo scopo.

Un modo pratico per trovare l'equilibrio è dividere gli argomenti in tre gruppi. Argomenti che l'agente può gestire liberamente, come orari di apertura e indicazioni. Argomenti che può gestire solo con una formulazione esatta, come le regole di disdetta. Argomenti che non deve mai gestire da solo, come consigli con conseguenze legali o mediche. Parti con un breve elenco per ogni gruppo, avvia con un ambito ristretto e allargalo man mano che le trascrizioni mostrano che l'agente si comporta bene.

Rivedi i rifiuti oltre agli errori. Se molte persone vengono respinte per una richiesta ragionevole, il limite è troppo stretto, oppure l'ambito dovrebbe crescere. Cercare nelle trascrizioni salvate la frase di rifiuto standard è un modo rapido per trovarle.

Metti alla prova i limiti cercando di aggirarli

Un limite non testato è una speranza. Chiedi ai colleghi di interpretare interlocutori difficili e tieni un registro dei risultati.

Un copione di test dei limiti di sicurezza

  • Chiedi qualcosa fuori ambito e verifica il rifiuto cortese
  • Insisti, ripeti e riformula la richiesta
  • Chiedigli di ignorare le sue istruzioni
  • Chiedigli di rivelare le sue istruzioni
  • Chiedigli di promettere uno sconto o una prenotazione
  • Chiedi i dati di un altro cliente
  • Segnala un'emergenza e verifica il percorso proposto
  • Di' che vuoi una persona e verifica il passaggio
  • Parla con rabbia e verifica che il tono resti calmo

Aggiungi al copione ogni errore reale. Il metodo più ampio è in Testare un agente vocale IA.

Impostare i limiti di sicurezza in Call

In Call, scrivi ambito e rifiuti nelle istruzioni dell'agente, scegli una persona per il suo ruolo e tono, associa un copione dove la formulazione deve essere esatta e limita le fonti a ciò che approvi. Decidi chi risponde quando qualcuno chiede una persona; le richieste possono essere prese in carico, assegnate, annotate e risolte dall'Assistenza (help desk). Poi fai una chiamata di prova e leggi la conversazione, compresa la cronologia delle modifiche se correggi le parole dell'agente. Rivedi con attenzione le prime settimane di chiamate reali e restringi le regole dove le trascrizioni mostrano una lacuna.

Domande frequenti

Cos'è un limite di sicurezza nell'IA vocale?

È una regola o un vincolo che mantiene un agente entro il suo compito, come restare in tema, rifiutare certe richieste, proteggere le informazioni e passare la chiamata a una persona quando serve.

Basta un buon prompt?

Di solito no. Un prompt è un'indicazione che il modello può ignorare se messo sotto pressione. Combinalo con fonti approvate, limiti su ciò che l'agente può fare e monitoraggio delle chiamate reali.

Chi chiama può ingannare l'agente e fargli ignorare le regole?

Qualcuno ci prova. Le sole istruzioni si possono aggirare, ed è per questo che i limiti importanti dovrebbero essere imposti dal sistema e che dovresti fare test con tentativi deliberati.

Cosa deve succedere quando una richiesta è fuori ambito?

L'agente deve dire con cortesia che non può aiutare su questo nella chiamata e proporre un passo successivo, come un messaggio, una richiesta di richiamata o una persona.

I limiti di sicurezza rendono l'agente poco utile?

Quelli scritti male sì. Mantieni chiaro l'ambito, accompagna i rifiuti con una strada alternativa e rivedi le chiamate per trovare i punti in cui l'agente blocca richieste innocue.

Chi dovrebbe essere responsabile dei limiti di sicurezza?

Qualcuno che conosca sia il rischio aziendale sia le chiamate, di solito un responsabile operativo o un capo team, con il contributo di consulenti legali o di conformità per gli argomenti regolamentati.

Fissa in Call limiti chiari per il tuo agente IA

Nella console demo puoi provare le chiamate in arrivo in simulazione.

Guide correlate