Como usar o Call

Chamadas de treino: teste seu agente de IA antes de estrear

Como chamadas simuladas testam primeiro os casos difíceis de um agente de IA por telefone, como ler as notas e lições e como transformar achados em ajustes.

Equipe editorial do Call · Publicado em · Leitura de 6 min

Qualquer equipe que já treinou gente nova sabe que a primeira semana no telefone é a mais arriscada. A pessoa nova conhece as políticas, mas ainda não encontrou quem fala por cima dela, quem muda de assunto no meio da frase ou quem só quer um culpado. Boas equipes ensaiam esses momentos com simulações antes da situação real.

Líder de equipe revisando notas e transcrições de chamadas em um monitor antes de um lançamento
Imagem ilustrativa

Um agente de IA por telefone precisa do mesmo ensaio, e pode ter muito mais, muito mais rápido. Este guia explica como planejar o treino, como ler os resultados e como incorporar as lições. Ele parte dos guias sobre como configurar um agente de IA e como escrever prompts que funcionam.

Por que treinar antes de estrear

As primeiras chamadas reais moldam o que o cliente pensa do serviço inteiro. Um agente que entende mal um nome, fala por cima de quem ligou ou inventa uma resposta custa mais do que uma chamada perdida, porque agora o cliente tem uma história para contar. O treino encontra esses problemas enquanto a única plateia é sua própria equipe.

Treino não é prova. Uma boa nota com pessoas simuladas não significa que as pessoas reais vão se comportar do mesmo jeito, e o comportamento de voz ao vivo pode ser diferente de uma simulação. Trate um bom resultado como permissão para testar com chamadas reais, com cuidado, e não como um certificado.

O que testar

O valor de um lote depende das situações que ele cobre. Misture casos fáceis e difíceis de propósito.

Cenários que revelam pontos fracos

  • InterrupçõesAlguém que fala por cima do agente. Ele para e escuta ou segue em frente?
  • Troca de idiomaAlguém que começa em um idioma e passa para outro. O agente acompanha?
  • Pedido para falar com uma pessoaA pessoa diz "quero falar com alguém". A transferência é clara e rápida?
  • Perguntas sobre preçoAlguém pergunta quanto custa. O agente responde só o que sabe e evita chutar?
  • ReclamaçõesUma pessoa irritada. O agente mantém a calma e oferece um próximo passo?
  • Perguntas do dia a diaPerguntas tiradas da própria base de conhecimento do agente. As respostas estão certas e são curtas?

O equilíbrio importa. Um lote só de casos difíceis sempre vai parecer ruim e ensina pouco sobre o desempenho do dia a dia; um lote só de perguntas fáceis vai elogiar um agente que falha sob pressão. Uma mistura dos dois costuma ser o começo mais informativo.

Como rodar um lote de treino no Call

No Call, o treino fica em Agentes de IA, em O que aprendeu, na aba Chamadas de treino. Pessoas simuladas por IA ligam para seus agentes de IA, em japonês e inglês, e toda chamada recebe nota. Você escolhe os agentes (até dez por vez; um agente que ainda não pode atender chamadas aparece em cinza), quantas chamadas em japonês e em inglês cada um deve receber (de nenhuma a vinte e cinco de cada) e a combinação de cenários.

Combinação de cenáriosO que cobreQuando usar
EquilibradoCada caso difícil uma vez; o resto são perguntas da base de conhecimento do agenteQuando você testa um agente novo pela primeira vez
Base de conhecimentoApenas perguntas tiradas do que o agente sabeQuando você mudou o conhecimento dele e quer conferir a precisão
Casos extremosApenas os casos difíceisQuando você mudou as regras de comportamento ou o prompt

Como rodar um lote

  1. Abra Chamadas de treinoVá em Agentes de IA, depois O que aprendeu e depois Chamadas de treino.
  2. Escolha os agentes e as quantidadesMarque os agentes e defina o número de chamadas em cada idioma.
  3. Escolha a combinaçãoEquilibrado, Base de conhecimento ou Casos extremos.
  4. Inicie o loteO número ao lado do botão é o total: agentes multiplicados pelas chamadas nos dois idiomas.
  5. Acompanhe o andamentoA lista se atualiza sozinha; abra um lote para ver as notas e os resultados das chamadas.

O botão de início fica em cinza com zero chamadas ou acima de um total de trezentas, então testes grandes são feitos em partes. Você também pode cancelar um lote que está aguardando ou em andamento; as chamadas que não começaram são canceladas, e uma chamada já em andamento vai até o fim. Você pode ativar a voz em um lote para acrescentar um botão de reprodução a cada fala, e o áudio só é gerado quando você clica nele.

Como ler os resultados

Abra um lote concluído e comece pelo resumo, não por uma transcrição isolada. Os totais mostram as chamadas feitas, a nota média, as respostas corrigidas, as perguntas que precisam de resposta e as dicas de estilo. Abaixo vêm a nota por critério, os principais problemas, com a média de cada agente, e uma tabela de chamadas com cenário, idioma, nota e alertas.

  1. Veja a nota por critério para encontrar a área mais fraca.
  2. Leia os principais problemas; se um deles aparece em vários agentes, provavelmente vem de um prompt ou de uma regra em comum.
  3. Ordene as chamadas pela nota e leia por inteiro as três piores transcrições.
  4. Leia a observação do avaliador em cada resposta, não só a nota final.
  5. Compare os idiomas; uma diferença pode indicar que um idioma precisa de um texto próprio.

Como aplicar as lições

O treino gera lições, e elas aguardam sua revisão em vez de mudar o agente automaticamente. Você pode aplicar ou descartar cada uma. As respostas corrigidas e as perguntas que precisam de resposta também aguardam em Sugestões. Isso é proposital: uma pessoa decide o que o agente deve aprender.

Como revisar as lições

  • A lição combina com sua política e seu tom?
  • A resposta corrigida está de fato correta, e não apenas plausível?
  • Ela vale para todas as pessoas ou só para este cenário?
  • Há duas lições que se contradizem?
  • O agente vai precisar de um novo item de conhecimento, e não de uma mudança no prompt?

Depois de aplicar as mudanças, rode de novo um lote pequeno e compare. Sempre que puder, mude uma coisa de cada vez, senão você não vai saber qual mudança ajudou. Veja fontes de conhecimento para saber onde ficam as respostas factuais.

Uma frequência de treino sensata

O treino rende mais quando é um hábito, não um evento único. Associe os lotes aos momentos em que algo muda.

MomentoO que rodarO que observar
Agente novo, antes do lançamentoUm lote equilibrado em cada idioma que você atendeCritérios fracos e comportamento na transferência
Depois de mudar um prompt ou uma regraUm lote de casos extremosSe a mudança resolveu o problema sem quebrar outra coisa
Depois de acrescentar conhecimentoUm lote de base de conhecimentoRespostas corretas e curtas, sem fatos inventados
Antes de um período movimentadoUm lote equilibrado nas linhas que terão mais movimentoEstabilidade diante de uma mistura típica de perguntas
Depois de um problema em uma chamada realUm lote que reproduza a falhaSe a correção se mantém

Mantenha um registro curto: a data, o que você mudou, o lote que rodou e o resultado principal. Depois de alguns meses, esse histórico mostra quais mudanças ajudaram e evita que você repita um experimento que já falhou.

Uma clínica hipotética poderia rodar um lote equilibrado para o agente da recepção antes de abrir a nova linha, um lote de casos extremos depois de acrescentar uma regra sobre sintomas urgentes e um lote de base de conhecimento sempre que mudarem o horário de funcionamento ou os serviços. Três lotes pequenos, rodados nos momentos certos, dizem mais do que um teste enorme feito uma vez.

Além da simulação

Uma simulação é um ensaio. Antes do lançamento, faça também uma ligação de teste real para o seu próprio telefone e ouça como um cliente ouviria. Estreie com cuidado: comece por uma linha de baixo risco ou por horários limitados, mantenha um caminho fácil até uma pessoa (veja como passar uma chamada para uma pessoa) e ouça as primeiras chamadas reais todos os dias. Para atendentes humanos vale a mesma ideia; veja um modelo de coaching para ensaio e feedback com pessoas.

Perguntas frequentes

As chamadas de treino são ligações telefônicas reais?

São chamadas simuladas em que pessoas simuladas por IA ligam para seus agentes de IA. Faça uma ligação de teste separada para o seu próprio telefone para ouvir o agente em uma linha real.

Posso treinar em mais de um idioma?

A ferramenta de treino roda chamadas simuladas em japonês e inglês. Defina quantas de cada você quer por agente.

Quantas chamadas devo rodar?

Comece pequeno, com algumas de cada cenário por agente, e leia os resultados com atenção. Aumente só quando tiver um motivo, como testar uma mudança nos dois idiomas.

As lições mudam meu agente automaticamente?

Não. As lições aguardam sua revisão. Você aplica as que aprova e descarta as outras.

O que a nota me diz?

Mostra como a chamada simulada se saiu em relação aos critérios, com as observações do avaliador em cada resposta. É uma evidência, e as pessoas reais ainda podem se comportar de outro jeito.

E se um agente aparecer em cinza?

Um agente que ainda não pode atender chamadas fica marcado como indisponível e não pode ser selecionado. Termine a configuração dele primeiro.

Inicie um lote de treino para seu agente de IA no Call

No console de demonstração você pode experimentar chamadas recebidas em uma simulação.

Guias relacionados