Tecnologia de IA de voz

Como avaliar as conversas de um agente de voz: métricas e revisões

Uma forma prática de avaliar um agente de voz telefônico: as métricas que valem acompanhar, como amostrar e pontuar ligações e como transformar achados em correções.

Equipe editorial do Call · Publicado em · Leitura de 6 min

Quando um agente de voz começa a atender ligações reais, a pergunta deixa de ser "funciona?" e passa a ser "está funcionando bem?". Muitas equipes respondem com uma impressão vaga baseada em poucas ligações. Um pouco de estrutura gera informações muito melhores e mostra o que corrigir em seguida.

Uma líder de equipe revisando anotações de qualidade de chamadas com um colega
Imagem ilustrativa

Este guia oferece uma abordagem simples de avaliação para um agente de voz telefônico: quais métricas acompanhar, como revisar ligações manualmente e como transformar os achados em melhorias. Ele parte de Como testar um agente de IA de voz e das métricas gerais em KPIs de call center.

Comece pelo que é "bom" para você

Uma boa ligação para um restaurante não é a mesma coisa que uma boa ligação para uma clínica. Antes de escolher métricas, descreva em uma ou duas frases como é uma ligação bem-sucedida para cada tipo de ligação que você espera: a pergunta da pessoa é respondida, um recado é anotado com os dados certos ou a pessoa chega a quem deveria. Todo o resto decorre dessas definições.

Cinco perguntas que toda avaliação faz

  • A pessoa foi compreendida?O agente entendeu corretamente a pergunta e os dados?
  • A resposta estava certa?Estava precisa, dentro das informações aprovadas e sem invenções?
  • A ligação chegou a um desfecho útil?A tarefa foi feita, um recado foi anotado ou houve um repasse?
  • A experiência foi aceitável?Ritmo, tom, repetições e esforço para quem ligou.
  • Foi segura?O agente respeitou os próprios limites e repassou a ligação quando deveria?

Métricas que valem a pena acompanhar

MétricaO que mostraComo obter
Conclusão da tarefaParcela das ligações em que o objetivo da pessoa foi atingidoRevisão humana de uma amostra, mais os resultados das ligações
Precisão das respostasSe as afirmações correspondem às informações aprovadasRevisão humana com base nas suas fontes
Taxa de repasseCom que frequência as pessoas pedem ou precisam de alguémResultados das ligações e solicitações na central de atendimento
Taxa de repetiçãoCom que frequência o agente pediu que a pessoa repetisse algoRevisão das transcrições
Intervalo de respostaTempo entre o fim do turno da pessoa e a resposta do agenteTempo por turno no histórico de chamadas
Taxa de abandonoPessoas que desligam antes de um desfechoRegistro de chamadas
Opinião de quem ligaComo as pessoas se sentiram com a ligaçãoPesquisas curtas ou comentários posteriores

Repare que a maioria das métricas úteis exige algum julgamento humano. As contagens de um registro dizem quantas, mas só uma pessoa lendo a conversa consegue dizer se a ligação foi bem. Conte com uma combinação dos dois. Para métricas que valem para qualquer tipo de ligação, veja Resolução no primeiro contato e Taxa de atendimento e taxa de abandono.

Revisão manual das ligações

Uma amostra pequena e regular vale mais que uma grande revisão ocasional. Escolha ligações ao acaso, mais algumas que pareçam incomuns, como as muito curtas ou muito longas, as que terminaram em repasse e as que terminaram com a pessoa desligando.

Uma rotina de revisão de ligações

  1. AmostreEscolha um número fixo de ligações por semana, misturando aleatórias e incomuns.
  2. Ouça e leiaOuça a gravação e leia a transcrição ao mesmo tempo.
  3. PontueAvalie cada ligação segundo os seus critérios, com uma escala simples.
  4. Anote as causasRegistre por que algo deu errado.
  5. Corrija e teste de novoMude a fonte, o prompt ou a configuração e teste de novo o mesmo caso.

Mantenha a pontuação simples

Três níveis bastam: bom, aceitável e ruim, ou correto, parcialmente correto e errado para afirmações isoladas. Escalas muito detalhadas geram discussões sem acrescentar entendimento. De vez em quando, peça a duas pessoas que pontuem algumas ligações iguais; se discordarem com frequência, os seus critérios precisam de uma redação mais precisa.

Lembre-se de que as transcrições podem estar erradas

A transcrição é o palpite do reconhecedor, não a verdade. Se uma transcrição parecer estranha, ouça o áudio antes de culpar o agente. Veja Por que o áudio telefônico é difícil para o reconhecimento de fala.

Como medir velocidade e ritmo

Quem liga percebe o atraso mais que quase qualquer outro fator. Acompanhe o intervalo antes de cada resposta e olhe os piores casos, não só a média, porque algumas pausas muito longas estragam a impressão. Se os intervalos forem longos, descubra para onde vai o tempo; o guia Latência em IA de voz mostra como. Preste atenção também às interrupções: com que frequência o agente falou por cima da pessoa, e com que frequência a deixou esperando?

Revisão manual ou pontuação automática

Como escolher o método

Revisão manualPontuação automática
Ponto forteEntende nuances, tom e contextoCobre todas as ligações rapidamente
Ponto fracoLenta; só uma amostraPode deixar passar problemas sutis ou julgar mal
Melhor usoPrecisão, segurança e experiência de quem ligaSinalizar ligações que merecem um olhar humano

A pontuação automática, incluindo modelos que avaliam outros modelos, é útil para a triagem: ela pode ordenar as ligações por sinais de problema para que as pessoas olhem as certas primeiro. Ela não deve substituir a amostragem humana, principalmente para precisão e segurança. Seja qual for a verificação automática que você use, teste-a comparando os veredictos dela com os seus em um conjunto de ligações que você já revisou.

Como interpretar os números com bom senso

Amostras pequenas enganam. Se você revisa dez ligações e duas foram mal, não pode dizer que uma em cada cinco ligações vai mal; só pode dizer que encontrou dois problemas que valem a pena corrigir. Use as amostras para encontrar causas, não para anunciar taxas, a menos que a amostra seja grande e aleatória o suficiente para isso.

Separe o agente da situação. Uma queda na conclusão de tarefas em uma semana com uma interrupção de serviço não é um veredicto sobre o prompt. Anote os acontecimentos ao lado das métricas: um novo horário de funcionamento, uma campanha que trouxe pessoas com uma pergunta nova, uma mudança nas fontes. Um registro simples de mudanças torna as tendências explicáveis.

Por fim, decida com antecedência o que você vai fazer com cada resultado. Um aumento nas repetições pode levar você a olhar as configurações de silêncio; um aumento nos repasses sobre um assunto pode levar você a acrescentar uma resposta exata para ele. Uma métrica sem uma ação associada é só enfeite.

Compartilhe os resultados com quem atende os telefones, e não só com os gestores. A equipe muitas vezes sabe por que um padrão existe, e é ela que vai assumir as ligações que o agente repassa. Uma revisão mensal curta, com exemplos, incluindo algumas ligações que foram bem, mantém o trabalho ancorado em conversas reais.

Como avaliar no Call

No Call, o histórico de chamadas da IA lista as ligações de um período, com o resultado e, quando conhecido, o sentimento, e abre a conversa inteira turno a turno. Os gestores podem abrir uma ligação para ver quanto tempo levou cada turno de fala. A área de revisão automática agrupa as ligações recentes por assunto, ordena as ligações recentes sem revisão humana pelos sinais que apresentam e oferece uma amostra de resumos da IA para você marcar como corretos, parcialmente corretos ou errados, o que alimenta uma visão contínua da precisão dos resumos. A IA de conversas também permite buscar uma frase em todas as transcrições armazenadas. Juntos, esses recursos dão as contagens e a amostragem de que você precisa. Use o histórico de edições para ver as correções feitas nas falas do agente.

Um checklist semanal de avaliação

  • Leia uma amostra fixa de ligações, aleatórias e incomuns
  • Pontue a conclusão das tarefas e a precisão
  • Conte os repasses e anote por que aconteceram
  • Confira os intervalos de resposta mais longos
  • Busque nas transcrições frases que indiquem confusão
  • Registre cada problema e a correção feita
  • Teste de novo os casos corrigidos antes de encerrá-los

Perguntas frequentes

Qual é a métrica mais útil para um agente de voz?

Não existe uma só. A conclusão da tarefa mostra se as pessoas conseguiram o que precisavam, mas você também precisa de precisão, qualidade do repasse e tempo de resposta para entender por quê.

Quantas ligações devo revisar?

Uma amostra semanal fixa que você consiga manter é melhor que uma grande amostra ocasional. Comece com um número modesto e aumente depois de mudanças no lançamento ou quando surgirem problemas.

Posso confiar só na pontuação automática?

Não para precisão ou segurança. Use-a para ordenar e sinalizar ligações e peça a pessoas que revisem as sinalizadas e uma amostra aleatória.

Por que as transcrições às vezes não batem com a gravação?

A transcrição é produzida pelo reconhecimento de fala e pode conter erros. Ouça o áudio antes de julgar o agente.

Como sei se uma mudança melhorou as coisas?

Mantenha um conjunto fixo de casos de teste e uma rotina regular de revisão, e compare os resultados antes e depois da mudança usando os mesmos critérios.

Devo fazer pesquisas com quem liga?

Uma pergunta curta depois da ligação pode trazer informações úteis, mas mantenha-a breve e respeite as regras sobre contato com as pessoas. Combine-a com a sua própria revisão da conversa.

Revise as conversas da IA no histórico do Call

No console de demonstração você pode experimentar chamadas recebidas em uma simulação.

Guias relacionados