Tecnologia de IA de voz

Como testar um agente de IA de voz antes do lançamento

Plano passo a passo para testar um agente de IA de voz telefônico antes do lançamento: roteiros, precisão, escuta, fluxo, transferência, registros e decisão clara.

Equipe editorial do Call · Publicado em · Leitura de 6 min

Um agente de voz que responde bem em um escritório silencioso, diante de quem o construiu, pode se comportar de um jeito muito diferente numa esquina movimentada, com alguém que fala murmurando. A maioria dos problemas de lançamento não tem nada de misterioso: são coisas que ninguém testou. Um plano de testes estruturado os encontra enquanto ainda são baratos de corrigir.

Um testador de qualidade com headset conferindo um roteiro de chamada em um notebook
Imagem ilustrativa

Este guia traz um plano prático: o que preparar, as seis áreas a testar, como avaliar os resultados e o que fazer depois do lançamento. Ao final, apresenta as ferramentas do Call. Para as métricas usadas na avaliação, veja Métricas de avaliação de IA de voz.

Preparando o teste

Comece pela lista de ligações reais. Reúna as perguntas que as pessoas realmente fazem, a partir de e-mails, da memória da equipe e de anotações de chamadas. Acrescente as difíceis: a pessoa irritada, a que é vaga, a que pede algo que vocês não oferecem. Um bom conjunto de testes mistura casos comuns, raros e difíceis.

Do roteiro ao lançamento

  1. Escreva roteiros de testePerguntas reais, com a resposta correta para cada uma.
  2. Teste o conteúdoO agente responde corretamente e respeita os limites?
  3. Teste a escutaEle entende nomes, números e sotaques?
  4. Teste o fluxoA conversa avança com naturalidade e termina bem?
  5. Teste a transferênciaPedidos para falar com uma pessoa e casos urgentes funcionam?
  6. Confira os registrosResumos, recados e logs estão corretos?
  7. DecidaCompare os resultados com o critério de aprovação e escolha.

Defina quem vai testar. Inclua pessoas que não construíram o agente, porque elas vão perguntar de formas inesperadas. Se quem liga para vocês tem sotaques regionais ou fala vários idiomas, inclua essas vozes também.

Testando o conteúdo

A primeira pergunta é se o agente diz coisas verdadeiras. Faça todas as perguntas da sua lista e compare com a resposta correta. Classifique cada resposta como correta, parcialmente correta, errada ou inventada. A resposta inventada, em que o agente afirma algo que nunca recebeu, é a mais grave, porque quem liga acredita nela.

Veja Alucinações em IA de voz para entender por que surgem respostas inventadas e Recuperação de informações para agentes de voz para saber como o conhecimento é usado.

Testando o que ele ouve

Agentes de voz falham com frequência na etapa de escuta. Nomes, CEPs, números de telefone e datas são os problemas de sempre. Teste com telefones de verdade, não só com o microfone do computador, e inclua ruído de fundo, viva-voz e sinal de celular fraco.

VerificaçãoComoO que observar
NomesSoletre e diga nomes incomunsCaptura correta ou um pedido educado para repetir
NúmerosLeia um número de telefone e uma dataDígitos corretos e uma confirmação em voz alta
SotaquesPeça a colegas com sotaques diferentesMenos mal-entendidos e uma recuperação elegante
RuídoLigue de um lugar movimentadoNenhum acionamento falso e pedidos claros para repetir

Números e nomes em IA de voz e Reconhecimento de fala em áudio telefônico explicam esses problemas com mais profundidade.

Testando o fluxo da conversa

O conteúdo pode estar certo e a conversa continuar estranha. Observe a abertura, o ritmo, se o agente fala por cima de quem liga, como lida com o silêncio e como encerra. Interrompa, fique em silêncio, diga "alô?" e mude de ideia no meio.

Comportamentos de fluxo para testar

  • InterromperFale por cima do agente e verifique se ele para e escuta.
  • SilêncioNão diga nada e verifique se ele pergunta com educação e depois encerra de forma sensata.
  • Mudar de ideiaTroque de assunto no meio da resposta e verifique se ele acompanha.
  • EncerrarAgradeça, despeça-se e verifique se a ligação termina sem problemas.

A velocidade também entra aqui. Anote as pausas longas e o que as causou. Latência em IA de voz explica os motivos mais comuns.

Testando transferência e segurança

Todo agente de voz precisa de um caminho até uma pessoa para os pedidos que não pode ou não deve atender. Teste em cada condição: dentro do horário, fora do horário, quando ninguém atende e quando quem liga está aflito. Experimente frases de urgência. Verifique se o agente nunca afirma ser humano e nunca promete o que não pode cumprir, como um agendamento confirmado.

Verificações de transferência

  • Pedir para falar com uma pessoa no horário comercial chega às pessoas certas
  • Pedir fora do horário gera uma mensagem honesta e uma forma de deixar dados
  • Se ninguém atende, quem liga pode deixar recado
  • Quem liga com urgência ou aflito é encaminhado rapidamente
  • O agente se identifica como IA quando perguntado
  • Dados sensíveis não são coletados quando não deveriam

Testando registros e logs

Uma ligação tem dois resultados: o que quem ligou viveu e o que vocês registram. Depois de cada teste, confira o resumo, a transcrição, o recado deixado e qualquer tarefa de acompanhamento. Nomes e números estão corretos? O motivo da ligação está descrito com precisão? O resumo inventa alguma coisa? Uma ligação perfeita com um registro errado ainda manda a equipe na direção errada. Veja Resumos de chamadas com IA.

Decidindo entre aprovado e reprovado

Antes de começar, escreva a regra que decide se o agente pode ser lançado. Ela pode ser simples: nenhuma resposta inventada no conjunto de testes, todos os casos de transferência funcionando e uma proporção definida das perguntas comuns respondida corretamente. Tê-la por escrito evita um lançamento movido pela pressão do prazo.

Decisões de lançamento

Critério escrito antesAvaliado depois
ClarezaTodos conhecem o padrãoO padrão muda conforme o humor
PressãoÉ fácil dizer ainda nãoÉ difícil resistir a um prazo
AprendizadoFalhas apontam correçõesFalhas viram discussões
RegistroOs resultados podem ser comparados ao longo do tempoNada para comparar

Mantenha um log de todos os testes: data, versão do agente, quem ligou, pergunta, resultado e correção. Quando mudar o prompt ou o conhecimento, repita os testes anteriores, já que correções às vezes quebram outras coisas.

Também vale testar as falhas silenciosas, das quais ninguém vai reclamar, mas que custam caro com o tempo. Verifique se uma ligação encerrada cedo ainda gera um registro coerente, se alguém que desliga no meio da frase não deixa uma tarefa pela metade e se quem liga de novo é tratado de forma consistente. Esses casos raramente aparecem num primeiro plano de testes, mas representam uma parte surpreendente do tráfego real.

Depois do lançamento

Os testes não param quando o agente entra no ar. Comece com um escopo limitado, como fora do horário ou excedente de chamadas, ouça uma amostra de ligações reais todos os dias na primeira semana e amplie quando se sentir seguro. Revise as perguntas que ele não conseguiu responder e acrescente o conhecimento que faltava. Mantenha uma forma de voltar a uma versão anterior caso uma mudança piore as coisas. A primeira semana da sua recepcionista de IA é uma boa leitura complementar.

Testando no Call

O Call oferece várias formas de testar um agente de IA antes de quem liga. O Playground, em Agentes de IA, permite conversar com um agente por chat, mostra quantas notas de conhecimento corresponderam a cada resposta e as lista, e deixa você avaliar uma resposta ou ensinar uma melhor. A Ligação de teste do agente toca no seu próprio telefone pela linha dele, para que você o ouça como quem liga; cada teste desse tipo é uma ligação real e cobrada. O assistente de configuração também oferece conversar na tela, uma ligação para o seu telefone e fazer o agente ligar para um número. Uma verificação de prontidão, executada sem discar para ninguém, informa o que ainda falta para uma ligação de IA a partir da linha.

As Ligações de treino, em Agentes de IA, O que aprendeu, fazem com que chamadores de IA liguem para os seus agentes em japonês e inglês. Cada ligação recebe uma nota, e as lições aguardam a sua revisão, então nada muda sem você. Antes de uma edição arriscada, salve um ponto de restauração no agente para poder voltar atrás, e use Ativar ou Voltar para rascunho para controlar quando o agente atende. Veja Configurando um agente de IA no Call para a configuração em si.

Perguntas frequentes

Quantas ligações de teste são suficientes?

O bastante para cobrir todas as perguntas comuns, todos os casos de transferência e uma amostra de comportamentos difíceis. Para um agente pequeno, podem ser dezenas de ligações; continue até que novos testes parem de encontrar novos problemas.

Quem deve testar o agente?

Pessoas que não o construíram, incluindo quem tem sotaques e hábitos ao telefone diferentes. Elas perguntam de jeitos que quem construiu nunca imagina.

Devo testar em um telefone de verdade?

Sim. O áudio telefônico é mais limitado e mais ruidoso do que o do computador, e muitos problemas só aparecem em uma linha real.

O que conta como uma falha grave?

Uma resposta inventada dita com confiança, uma transferência que falha ou um registro que manda a equipe na direção errada. Essas falhas devem bloquear o lançamento.

Preciso testar de novo após pequenas mudanças?

Sim, pelo menos um conjunto essencial. Pequenas mudanças no prompt ou no conhecimento podem alterar respostas em outros pontos.

O que devo acompanhar depois de entrar no ar?

No início, ouça uma amostra de ligações todos os dias, anote as perguntas que ele não conseguiu responder e acompanhe transferências e reclamações. Melhore o conhecimento toda semana.

Faça ligações de teste e ligações de treino com seu agente de IA no Call

No console de demonstração você pode experimentar chamadas recebidas em uma simulação.

Guias relacionados