Sessões de calibração de qualidade para notas justas
Como conduzir sessões de calibração para que os avaliadores deem notas da mesma forma: escolha ligações, avalie às cegas, discuta as diferenças e ajuste o scorecard.
Se dois avaliadores ouvem a mesma ligação e um a considera muito boa enquanto o outro a reprova, os atendentes logo deixam de confiar nas notas. A calibração é o hábito que evita isso. Os avaliadores dão nota às mesmas ligações separadamente, comparam as anotações e resolvem as diferenças, para que uma nota signifique a mesma coisa, seja quem for que a deu.

Este guia mostra como conduzir sessões de calibração em uma equipe pequena. Ele parte de Gestão da qualidade de ligações (QA) e apoia o ciclo de feedback descrito em Um método simples para dar coaching aos atendentes nas ligações.
Por que a calibração importa
Os scorecards são escritos com palavras, e as palavras são lidas de formas diferentes. "Demonstrou empatia" ou "resolveu o problema" significam coisas diferentes para avaliadores diferentes, ou para o mesmo avaliador em dias diferentes. Sem calibração, surgem três problemas: notas injustas entre atendentes, coaching baseado em opinião e relatórios que não podem ser comparados ao longo do tempo nem entre equipes.
Sinais de que você precisa de calibração
- Os atendentes contestam as notasEles dizem que outro avaliador teria aprovado a mesma ligação.
- As médias dos avaliadores diferemUm avaliador é sempre mais rigoroso ou mais generoso que outro.
- Novos avaliadores se desviamAs notas mudam quando alguém entra na equipe ou cobre uma ausência.
- Os itens do scorecard são vagosPessoas diferentes os explicam de formas diferentes.
Como preparar uma sessão
Uma boa sessão exige um pouco de preparação. Quem conduz deve conhecer bem o scorecard e conseguir se manter neutro; muitas vezes é o líder de qualidade ou um líder de equipe experiente.
Antes da sessão
- Escolha três ou quatro ligaçõesInclua uma aprovação clara, uma reprovação clara e pelo menos uma ligação limítrofe.
- Remova os dados de identificaçãoOculte o nome dos atendentes, para que a discussão fique centrada na ligação.
- Compartilhe o scorecardTodos usam a versão atual, com as definições.
- Peça avaliações independentesCada avaliador dá a nota antes da reunião e não conversa com os outros sobre ela.
Ligações reais são o melhor material. Use as ligações limítrofes da sua revisão normal, porque é nelas que a divergência se esconde. Verifique se as gravações podem ser compartilhadas com os avaliadores de acordo com as suas regras internas e trate os dados pessoais com cuidado; veja Avisos de gravação de ligações para o lado da gravação.
Como conduzir a sessão
Comece pelas notas, não pelas opiniões. Coloque os resultados de todos, item por item, em uma tela compartilhada e procure os itens com as maiores diferenças. Trabalhe primeiro neles.
- Mostre a dispersão. Para cada ligação, exiba a nota total de cada avaliador e as diferenças por item.
- Peça a cada avaliador que explique um item em disputa, citando o momento da ligação que motivou a decisão.
- Volte ao texto do scorecard. Ele diz com clareza o que conta como aprovação?
- Combinem a resposta para essa ligação e anotem o raciocínio.
- Se o problema for o texto, anote a mudança a fazer; não o altere ao vivo de um jeito que confunda as pessoas.
Regras básicas
- Discuta a ligação e o scorecard, não as pessoas.
- Todos falam antes de quem conduz dar a própria opinião.
- A divergência é esperada e útil.
- As decisões são registradas para que a próxima sessão não as reabra sem informações novas.
Uma sessão hipotética na prática
Imagine uma equipe de seis pessoas com três avaliadores. Eles escolhem quatro ligações e dão as notas sozinhos. Na terceira ligação, um avaliador aprova o item sobre a confirmação dos dados do cliente e outro o reprova. Quem conduz pede a cada um que toque o momento em que se baseou. Descobre-se que o atendente confirmou o CEP, mas não o nome, e o scorecard diz apenas "confirmar dados". A equipe concorda que o item deve listar exatamente quais dois dados contam, reescreve-o e registra a decisão.
Essa pequena mudança elimina uma fonte de notas injustas em todas as revisões futuras. É esse o padrão a procurar: uma divergência sobre uma ligação costuma ser sinal de uma lacuna no scorecard.
Lembre-se de fechar o ciclo com os atendentes. Conte o que mudou no texto e por quê, e aplique a mudança a partir de uma data informada, em vez de reavaliar ligações antigas. Se uma nota anterior foi claramente injusta por causa do texto antigo, corrija-a com transparência.
Como transformar a divergência em um scorecard melhor
O resultado mais valioso de uma sessão costuma ser um scorecard mais claro. Se os avaliadores divergem em um item, provavelmente o item é vago. Torne-o concreto.
| Item vago | Versão mais clara |
|---|---|
| Demonstrou empatia | Reconheceu o problema do cliente com as palavras dele antes de oferecer uma solução. |
| Resolveu o problema | Deu uma resposta completa ou definiu um próximo passo claro, com prazo. |
| Tom profissional | Sem interrupções, sem sarcasmo e com abertura e encerramento educados. |
| Seguiu o processo | Verificou a identidade do cliente seguindo os passos do procedimento atual. |
Acrescente a cada item uma ou duas frases de exemplo de aprovação e de reprovação. Use "N/A" de forma deliberada para itens que não se aplicam a um tipo de ligação, em vez de chutar. Mantenha os itens críticos, aqueles que podem reprovar uma ligação inteira, em uma lista bem curta e sem ambiguidade. A nota mínima de aprovação é uma decisão da sua equipe; evite mudá-la sem avisar os atendentes.
Como medir a concordância ao longo do tempo
Você não precisa de estatística complexa. Uma medida simples é a dispersão entre a maior e a menor nota total de cada ligação calibrada. Acompanhe a dispersão média por mês e observe os itens que geram mais divergência.
Como ler a dispersão
| Dispersão pequena | Dispersão grande | |
|---|---|---|
| O que indica | Os avaliadores leem o scorecard de forma parecida | Os avaliadores o leem de formas diferentes |
| O que fazer | Manter a rotina e variar as ligações | Reescrever itens, acrescentar exemplos e fazer outra sessão em breve |
| Risco | Acomodação, os mesmos pontos cegos | Notas injustas e desconfiança |
Como regra prática, uma dispersão acima de cerca de vinte pontos em uma escala de cem indica que os avaliadores estão usando o scorecard de formas diferentes e que vale a pena combinar o texto em conjunto. Trate qualquer número desse tipo como uma referência para a sua própria equipe, e não como um padrão.
Mantenha um registro de decisões. Um documento compartilhado simples, com a data, a ligação, o item em disputa e a leitura combinada, já basta. Novos avaliadores podem lê-lo para aprender como a equipe aplica o scorecard, e ele evita que a mesma discussão volte todo mês. Revise o registro quando revisar o scorecard e retire as entradas que o novo texto torna desnecessárias.
Frequência e participantes
- Frequência: a cada duas a quatro semanas no início e depois mensalmente, quando a dispersão estiver baixa.
- Quem: todos os avaliadores, mais um ou dois líderes de equipe. Inclua os avaliadores recém-treinados.
- Duração: quarenta e cinco minutos costumam bastar para três ou quatro ligações.
- Atendentes: considere convidar atendentes de vez em quando, com ligações anonimizadas, para que vejam como a avaliação funciona.
Combine a calibração com o seu plano de amostragem para que os avaliadores vejam uma variedade de atendentes e tipos de ligação; veja Quantas ligações revisar?. Se uma ferramenta de IA pré-avalia as ligações, inclua alguns dos resultados dela na calibração também, para que as pessoas aprendam quando confiar nela e quando corrigi-la.
Calibração no Call
A área Revisão e acompanhamento do Call inclui uma seção "Calibração" que lista as ligações avaliadas por mais de um avaliador, junto com a dispersão entre as notas. Administradores e gestores avaliam as ligações a partir da fila de revisão usando Aprovado, Falha ou N/A em cada item do scorecard, e os itens críticos zeram a nota se forem reprovados. A orientação do Call é que uma dispersão acima de 20 pontos significa que os avaliadores leem o scorecard de formas diferentes e, portanto, devem combinar a leitura em conjunto.
O Call também pode avaliar sozinho alguns itens quando você os descreve como palavras ditas ou não ditas, usando as regras de "Pontuação automática". Mantenha essas regras restritas e corretas; uma regra em branco é melhor do que uma regra no chute. A fila de revisão e o scorecard exigem um scorecard ativo no seu espaço de trabalho, então configure isso antes de planejar a calibração em torno deles.
Perguntas frequentes
Qual é a diferença entre a calibração e as revisões de qualidade normais?
Na revisão normal, um avaliador dá nota a uma ligação. Na calibração, vários avaliadores dão nota à mesma ligação de forma independente e depois comparam. O objetivo é alinhar os avaliadores, e não julgar o atendente.
Os avaliadores precisam chegar a notas idênticas?
Não. Pequenas diferenças são normais. O objetivo é combinar o que conta como aprovação em cada item e manter a dispersão geral pequena.
Quantas ligações devemos usar em cada sessão?
Três ou quatro costumam bastar. Mais ligações deixam a reunião longa e superficial. Escolha ligações que revelem divergências.
Os atendentes devem ver os resultados da calibração?
Os atendentes devem ver as definições do scorecard e qualquer mudança resultante da calibração. Compartilhar ou não as comparações ligação por ligação é uma decisão da equipe, mas a transparência gera confiança.
E se um avaliador for sempre mais rigoroso?
Veja quais itens geram a diferença e discuta-os na sessão. Muitas vezes o texto do scorecard não está claro. Se a diferença persistir, dê a esse avaliador mais orientação e exemplos.
Com que frequência o scorecard deve ser atualizado?
Atualize-o quando a calibração mostrar confusões recorrentes, quando o seu processo ou produto mudar ou quando as necessidades dos clientes mudarem. Comunique as mudanças aos atendentes.