Qualità e team

Sessioni di calibrazione QA per valutare le chiamate in modo equo

Come condurre sessioni di calibrazione perché i valutatori giudichino le chiamate allo stesso modo: scelta, valutazione alla cieca, confronto e scheda più chiara.

La redazione di Call · Pubblicato · Lettura di 6 min

Se due valutatori ascoltano la stessa chiamata e uno la giudica ottima mentre l'altro la boccia, gli operatori smettono presto di fidarsi dei punteggi. La calibrazione è l'abitudine che lo impedisce. I valutatori giudicano le stesse chiamate separatamente, confrontano le note e risolvono le differenze, così un punteggio significa la stessa cosa chiunque l'abbia dato.

Un piccolo gruppo di valutatori della qualità discute una scheda di valutazione stampata attorno a un tavolo riunioni
Immagine illustrativa

Questa guida mostra come condurre sessioni di calibrazione in un piccolo team. Si basa su Gestione della qualità delle chiamate: schede e coaching e sostiene il ciclo di feedback descritto in Un metodo semplice per il coaching degli operatori sulle chiamate.

Perché la calibrazione è importante

Le schede di valutazione sono scritte a parole, e le parole si leggono in modi diversi. «Ha mostrato empatia» o «ha risolto il problema» significano cose diverse per valutatori diversi, o per lo stesso valutatore in giorni diversi. Senza calibrazione hai tre problemi: punteggi iniqui tra operatori, coaching basato sulle opinioni e report che non si possono confrontare nel tempo o tra team.

Segnali che serve una calibrazione

  • Gli operatori contestano i punteggiDicono che un altro valutatore avrebbe promosso la stessa chiamata.
  • Le medie dei valutatori divergonoUn valutatore è sistematicamente più severo o più indulgente di un altro.
  • I nuovi valutatori devianoI punteggi cambiano quando entra qualcuno o quando qualcuno sostituisce un collega.
  • Le voci della scheda sono vaghePersone diverse le spiegano in modo diverso.

Preparare una sessione

Una buona sessione richiede un po' di preparazione. A condurla dovrebbe essere qualcuno che conosce bene la scheda e sa restare neutrale, spesso un responsabile QA o un team leader senior.

Prima della sessione

  1. Scegli tre o quattro chiamateIncludi una chiamata chiaramente positiva, una chiaramente negativa e almeno una al limite.
  2. Rimuovi i dati identificativiNascondi i nomi degli operatori, così la discussione resta sulla chiamata.
  3. Condividi la schedaTutti usano la versione attuale, con le definizioni.
  4. Chiedi valutazioni indipendentiOgni valutatore assegna i punteggi prima della riunione, senza parlarne con gli altri.

Le chiamate reali sono il materiale migliore. Prendi le chiamate al limite dalla tua revisione abituale, perché è lì che si nasconde il disaccordo. Verifica che le registrazioni possano essere condivise con i valutatori secondo le tue regole interne e tratta con cura i dati personali; per l'aspetto della registrazione, vedi Avvisi di registrazione delle chiamate: formule ed esempi.

Condurre la sessione

Parti dai punteggi, non dalle opinioni. Mostra su uno schermo condiviso i risultati di tutti, voce per voce, e cerca le voci con le differenze più ampie. Affronta prima quelle.

  1. Dichiara lo scarto. Per ogni chiamata, mostra il punteggio totale di ciascun valutatore e le differenze voce per voce.
  2. Chiedi a ogni valutatore di spiegare una voce contestata, citando il momento della chiamata che ha determinato la sua decisione.
  3. Torna al testo della scheda. Dice chiaramente cosa vale come superato?
  4. Concordate la valutazione per questa chiamata e mettete per iscritto il ragionamento.
  5. Se il problema è il testo, annota la modifica da fare; non correggerlo al volo in un modo che confonda le persone.

Regole di base

Una sessione ipotetica in pratica

Immagina un team di sei persone con tre valutatori. Scelgono quattro chiamate e le valutano ciascuno per conto proprio. Sulla terza chiamata, un valutatore dà superato alla voce sulla conferma dei dati del cliente e un altro la boccia. Chi conduce chiede a ciascuno di far ascoltare il momento su cui si è basato. Viene fuori che l'operatore ha confermato il CAP ma non il nome, e la scheda dice semplicemente «conferma i dati». Il team concorda che la voce debba indicare esattamente quali due dati contano, la riscrive e registra la decisione.

Quella piccola modifica elimina una fonte di punteggi iniqui in tutte le revisioni future. È lo schema da cercare: un disaccordo su una chiamata di solito segnala una lacuna nella scheda.

Ricordati di chiudere il cerchio con gli operatori. Spiega cosa è cambiato nel testo e perché, e applica la modifica a partire da una data dichiarata, invece di rivalutare le vecchie chiamate. Se un punteggio passato era chiaramente iniquo a causa del vecchio testo, correggilo apertamente.

Trasformare il disaccordo in una scheda migliore

Il risultato più prezioso di una sessione è di solito una scheda più chiara. Se i valutatori non sono d'accordo su una voce, probabilmente la voce è vaga. Rendila concreta.

Voce vagaVersione più chiara
Ha mostrato empatiaHa riconosciuto il problema del cliente con le sue parole prima di proporre una soluzione.
Ha risolto il problemaHa dato una risposta completa o ha fissato un passo successivo chiaro con una scadenza.
Tono professionaleNessuna interruzione, nessun sarcasmo, apertura e chiusura cortesi.
Ha seguito la proceduraHa verificato il cliente seguendo i passaggi della procedura in vigore.

Aggiungi a ogni voce una o due frasi di esempio di superamento e di mancato superamento. Usa «N/A» in modo consapevole per le voci che non si applicano a un tipo di chiamata, invece di tirare a indovinare. Limita le voci critiche, quelle che possono far fallire un'intera chiamata, a un elenco molto breve, e rendile inequivocabili. Una soglia di superamento ragionevole è una decisione del tuo team; evita di cambiarla senza avvisare gli operatori.

Misurare l'accordo nel tempo

Non servono statistiche complesse. Una misura semplice è lo scarto tra il punteggio totale più alto e quello più basso per ogni chiamata calibrata. Monitora lo scarto medio mese per mese e guarda le voci che generano più disaccordo.

Come leggere lo scarto

Scarto ridottoScarto ampio
Cosa suggerisceI valutatori leggono la scheda in modo simileI valutatori la leggono in modo diverso
Cosa fareMantieni la routine e cambia le chiamateRiscrivi le voci, aggiungi esempi, organizza presto un'altra sessione
RischioCompiacimento, stessi punti ciechiPunteggi iniqui e sfiducia

Come regola pratica, uno scarto superiore a circa venti punti su una scala da cento indica che i valutatori usano la scheda in modo diverso e che vale la pena concordarne insieme il testo. Considera un numero del genere come un riferimento per il tuo team, non come uno standard.

Tieni un registro delle decisioni. Basta un semplice documento condiviso con la data, la chiamata, la voce contestata e la lettura concordata. I nuovi valutatori possono leggerlo per capire come il team applica la scheda, ed evita che la stessa discussione si ripresenti ogni mese. Rivedi il registro quando aggiorni la scheda ed elimina le voci rese superflue dal nuovo testo.

Frequenza e partecipanti

Abbina la calibrazione al tuo piano di campionamento, così i valutatori vedono un mix di operatori e tipi di chiamata; vedi Quante chiamate dovresti valutare?. Se uno strumento di IA pre-valuta le chiamate, includi nella calibrazione anche alcuni dei suoi risultati, così le persone imparano quando fidarsi e quando correggerlo.

La calibrazione in Call

La sezione Revisione e affiancamento di Call include un'area «Calibrazione» che elenca le chiamate valutate da più di un valutatore, insieme allo scarto tra i loro punteggi. Amministratori e manager valutano le chiamate dalla coda di revisione con Superato, Errore o N/A per ogni voce della scheda, e le voci critiche azzerano il punteggio se non vengono superate. L'indicazione di Call è che uno scarto superiore a 20 punti significa che i valutatori leggono la scheda in modo diverso, e che dovrebbero quindi concordarla insieme.

Call può anche valutare da solo alcune voci, se le descrivi come parole dette o non dette, usando le regole di «Valutazione automatica». Mantieni queste regole circoscritte e veritiere: meglio una regola vuota che una tirata a indovinare. La coda di revisione e la scheda richiedono una scheda di valutazione attiva nel tuo spazio di lavoro, quindi configurala prima di pianificarci attorno la calibrazione.

Domande frequenti

In cosa la calibrazione differisce dalle normali revisioni della qualità?

In una revisione normale un solo valutatore giudica una chiamata. Nella calibrazione più valutatori giudicano la stessa chiamata in modo indipendente e poi confrontano. Lo scopo è allineare i valutatori, non giudicare l'operatore.

I valutatori devono ottenere punteggi identici?

No. Piccole differenze sono normali. L'obiettivo è concordare cosa vale come superato per ogni voce e mantenere ridotto lo scarto complessivo.

Quante chiamate dovremmo usare in ogni sessione?

Di solito tre o quattro bastano. Più chiamate rendono la riunione lunga e superficiale. Scegli chiamate che fanno emergere il disaccordo.

Gli operatori dovrebbero vedere i risultati della calibrazione?

Gli operatori dovrebbero vedere le definizioni della scheda e le modifiche derivate dalla calibrazione. Condividere i confronti chiamata per chiamata è una decisione del team, ma la trasparenza costruisce fiducia.

E se un valutatore è sempre più severo?

Guarda quali voci determinano lo scarto e discutile nella sessione. Spesso il testo della scheda non è chiaro. Se lo scarto persiste, offri a quel valutatore indicazioni ed esempi in più.

Ogni quanto andrebbe aggiornata la scheda?

Aggiornala quando la calibrazione mostra una confusione ricorrente, quando cambiano il processo o il prodotto, o quando cambiano le esigenze dei clienti. Comunica le modifiche agli operatori.

Confronta in Call i punteggi dei valutatori sulla stessa chiamata

Nella console demo puoi provare le chiamate in arrivo in simulazione.

Guide correlate