Qualidade e equipe

Sessões de calibração de qualidade para notas justas

Como conduzir sessões de calibração para que os avaliadores deem notas da mesma forma: escolha ligações, avalie às cegas, discuta as diferenças e ajuste o scorecard.

Equipe editorial do Call · Publicado em · Leitura de 6 min

Se dois avaliadores ouvem a mesma ligação e um a considera muito boa enquanto o outro a reprova, os atendentes logo deixam de confiar nas notas. A calibração é o hábito que evita isso. Os avaliadores dão nota às mesmas ligações separadamente, comparam as anotações e resolvem as diferenças, para que uma nota signifique a mesma coisa, seja quem for que a deu.

Pequeno grupo de avaliadores de qualidade discutindo um scorecard impresso em volta de uma mesa de reunião
Imagem ilustrativa

Este guia mostra como conduzir sessões de calibração em uma equipe pequena. Ele parte de Gestão da qualidade de ligações (QA) e apoia o ciclo de feedback descrito em Um método simples para dar coaching aos atendentes nas ligações.

Por que a calibração importa

Os scorecards são escritos com palavras, e as palavras são lidas de formas diferentes. "Demonstrou empatia" ou "resolveu o problema" significam coisas diferentes para avaliadores diferentes, ou para o mesmo avaliador em dias diferentes. Sem calibração, surgem três problemas: notas injustas entre atendentes, coaching baseado em opinião e relatórios que não podem ser comparados ao longo do tempo nem entre equipes.

Sinais de que você precisa de calibração

  • Os atendentes contestam as notasEles dizem que outro avaliador teria aprovado a mesma ligação.
  • As médias dos avaliadores diferemUm avaliador é sempre mais rigoroso ou mais generoso que outro.
  • Novos avaliadores se desviamAs notas mudam quando alguém entra na equipe ou cobre uma ausência.
  • Os itens do scorecard são vagosPessoas diferentes os explicam de formas diferentes.

Como preparar uma sessão

Uma boa sessão exige um pouco de preparação. Quem conduz deve conhecer bem o scorecard e conseguir se manter neutro; muitas vezes é o líder de qualidade ou um líder de equipe experiente.

Antes da sessão

  1. Escolha três ou quatro ligaçõesInclua uma aprovação clara, uma reprovação clara e pelo menos uma ligação limítrofe.
  2. Remova os dados de identificaçãoOculte o nome dos atendentes, para que a discussão fique centrada na ligação.
  3. Compartilhe o scorecardTodos usam a versão atual, com as definições.
  4. Peça avaliações independentesCada avaliador dá a nota antes da reunião e não conversa com os outros sobre ela.

Ligações reais são o melhor material. Use as ligações limítrofes da sua revisão normal, porque é nelas que a divergência se esconde. Verifique se as gravações podem ser compartilhadas com os avaliadores de acordo com as suas regras internas e trate os dados pessoais com cuidado; veja Avisos de gravação de ligações para o lado da gravação.

Como conduzir a sessão

Comece pelas notas, não pelas opiniões. Coloque os resultados de todos, item por item, em uma tela compartilhada e procure os itens com as maiores diferenças. Trabalhe primeiro neles.

  1. Mostre a dispersão. Para cada ligação, exiba a nota total de cada avaliador e as diferenças por item.
  2. Peça a cada avaliador que explique um item em disputa, citando o momento da ligação que motivou a decisão.
  3. Volte ao texto do scorecard. Ele diz com clareza o que conta como aprovação?
  4. Combinem a resposta para essa ligação e anotem o raciocínio.
  5. Se o problema for o texto, anote a mudança a fazer; não o altere ao vivo de um jeito que confunda as pessoas.

Regras básicas

Uma sessão hipotética na prática

Imagine uma equipe de seis pessoas com três avaliadores. Eles escolhem quatro ligações e dão as notas sozinhos. Na terceira ligação, um avaliador aprova o item sobre a confirmação dos dados do cliente e outro o reprova. Quem conduz pede a cada um que toque o momento em que se baseou. Descobre-se que o atendente confirmou o CEP, mas não o nome, e o scorecard diz apenas "confirmar dados". A equipe concorda que o item deve listar exatamente quais dois dados contam, reescreve-o e registra a decisão.

Essa pequena mudança elimina uma fonte de notas injustas em todas as revisões futuras. É esse o padrão a procurar: uma divergência sobre uma ligação costuma ser sinal de uma lacuna no scorecard.

Lembre-se de fechar o ciclo com os atendentes. Conte o que mudou no texto e por quê, e aplique a mudança a partir de uma data informada, em vez de reavaliar ligações antigas. Se uma nota anterior foi claramente injusta por causa do texto antigo, corrija-a com transparência.

Como transformar a divergência em um scorecard melhor

O resultado mais valioso de uma sessão costuma ser um scorecard mais claro. Se os avaliadores divergem em um item, provavelmente o item é vago. Torne-o concreto.

Item vagoVersão mais clara
Demonstrou empatiaReconheceu o problema do cliente com as palavras dele antes de oferecer uma solução.
Resolveu o problemaDeu uma resposta completa ou definiu um próximo passo claro, com prazo.
Tom profissionalSem interrupções, sem sarcasmo e com abertura e encerramento educados.
Seguiu o processoVerificou a identidade do cliente seguindo os passos do procedimento atual.

Acrescente a cada item uma ou duas frases de exemplo de aprovação e de reprovação. Use "N/A" de forma deliberada para itens que não se aplicam a um tipo de ligação, em vez de chutar. Mantenha os itens críticos, aqueles que podem reprovar uma ligação inteira, em uma lista bem curta e sem ambiguidade. A nota mínima de aprovação é uma decisão da sua equipe; evite mudá-la sem avisar os atendentes.

Como medir a concordância ao longo do tempo

Você não precisa de estatística complexa. Uma medida simples é a dispersão entre a maior e a menor nota total de cada ligação calibrada. Acompanhe a dispersão média por mês e observe os itens que geram mais divergência.

Como ler a dispersão

Dispersão pequenaDispersão grande
O que indicaOs avaliadores leem o scorecard de forma parecidaOs avaliadores o leem de formas diferentes
O que fazerManter a rotina e variar as ligaçõesReescrever itens, acrescentar exemplos e fazer outra sessão em breve
RiscoAcomodação, os mesmos pontos cegosNotas injustas e desconfiança

Como regra prática, uma dispersão acima de cerca de vinte pontos em uma escala de cem indica que os avaliadores estão usando o scorecard de formas diferentes e que vale a pena combinar o texto em conjunto. Trate qualquer número desse tipo como uma referência para a sua própria equipe, e não como um padrão.

Mantenha um registro de decisões. Um documento compartilhado simples, com a data, a ligação, o item em disputa e a leitura combinada, já basta. Novos avaliadores podem lê-lo para aprender como a equipe aplica o scorecard, e ele evita que a mesma discussão volte todo mês. Revise o registro quando revisar o scorecard e retire as entradas que o novo texto torna desnecessárias.

Frequência e participantes

Combine a calibração com o seu plano de amostragem para que os avaliadores vejam uma variedade de atendentes e tipos de ligação; veja Quantas ligações revisar?. Se uma ferramenta de IA pré-avalia as ligações, inclua alguns dos resultados dela na calibração também, para que as pessoas aprendam quando confiar nela e quando corrigi-la.

Calibração no Call

A área Revisão e acompanhamento do Call inclui uma seção "Calibração" que lista as ligações avaliadas por mais de um avaliador, junto com a dispersão entre as notas. Administradores e gestores avaliam as ligações a partir da fila de revisão usando Aprovado, Falha ou N/A em cada item do scorecard, e os itens críticos zeram a nota se forem reprovados. A orientação do Call é que uma dispersão acima de 20 pontos significa que os avaliadores leem o scorecard de formas diferentes e, portanto, devem combinar a leitura em conjunto.

O Call também pode avaliar sozinho alguns itens quando você os descreve como palavras ditas ou não ditas, usando as regras de "Pontuação automática". Mantenha essas regras restritas e corretas; uma regra em branco é melhor do que uma regra no chute. A fila de revisão e o scorecard exigem um scorecard ativo no seu espaço de trabalho, então configure isso antes de planejar a calibração em torno deles.

Perguntas frequentes

Qual é a diferença entre a calibração e as revisões de qualidade normais?

Na revisão normal, um avaliador dá nota a uma ligação. Na calibração, vários avaliadores dão nota à mesma ligação de forma independente e depois comparam. O objetivo é alinhar os avaliadores, e não julgar o atendente.

Os avaliadores precisam chegar a notas idênticas?

Não. Pequenas diferenças são normais. O objetivo é combinar o que conta como aprovação em cada item e manter a dispersão geral pequena.

Quantas ligações devemos usar em cada sessão?

Três ou quatro costumam bastar. Mais ligações deixam a reunião longa e superficial. Escolha ligações que revelem divergências.

Os atendentes devem ver os resultados da calibração?

Os atendentes devem ver as definições do scorecard e qualquer mudança resultante da calibração. Compartilhar ou não as comparações ligação por ligação é uma decisão da equipe, mas a transparência gera confiança.

E se um avaliador for sempre mais rigoroso?

Veja quais itens geram a diferença e discuta-os na sessão. Muitas vezes o texto do scorecard não está claro. Se a diferença persistir, dê a esse avaliador mais orientação e exemplos.

Com que frequência o scorecard deve ser atualizado?

Atualize-o quando a calibração mostrar confusões recorrentes, quando o seu processo ou produto mudar ou quando as necessidades dos clientes mudarem. Comunique as mudanças aos atendentes.

Compare as notas dos avaliadores para a mesma ligação no Call

No console de demonstração você pode experimentar chamadas recebidas em uma simulação.

Guias relacionados