Jakość i zespół

Sesje kalibracyjne w ocenie jakości: uczciwe oceny rozmów

Jak prowadzić sesje kalibracyjne, by oceniający jednakowo oceniali rozmowy: wybór rozmów, ocena w ciemno, omówienie różnic, poprawa karty oceny.

Redakcja Call · Opublikowano · Czas czytania: 5 min

Jeśli dwie osoby słuchają tej samej rozmowy i jedna ocenia ją bardzo dobrze, a druga negatywnie, konsultanci szybko przestają ufać ocenom. Kalibracja to nawyk, który temu zapobiega. Oceniający oceniają te same rozmowy osobno, porównują notatki i wyjaśniają różnice, tak by ocena znaczyła to samo bez względu na to, kto ją wystawił.

Niewielka grupa oceniających jakość omawia przy stole wydrukowaną kartę oceny
Obraz poglądowy

Ten przewodnik pokazuje, jak prowadzić sesje kalibracyjne w małym zespole. Opiera się na artykule Podstawy zarządzania jakością rozmów (QA) i wspiera pętlę informacji zwrotnej opisaną w artykule Prosty model coachingu konsultantów na podstawie rozmów.

Dlaczego kalibracja ma znaczenie

Karty oceny są pisane słowami, a słowa każdy odczytuje inaczej. „Okazanie empatii” czy „rozwiązanie problemu” znaczą co innego dla różnych oceniających, a nawet dla tej samej osoby w różne dni. Bez kalibracji pojawiają się trzy problemy: niesprawiedliwe oceny między konsultantami, coaching oparty na opiniach i raporty, których nie da się porównywać w czasie ani między zespołami.

Sygnały, że potrzebujesz kalibracji

  • Konsultanci kwestionują ocenyMówią, że inny oceniający zaliczyłby tę samą rozmowę.
  • Średnie oceniających się różniąJedna osoba stale ocenia surowiej lub łagodniej niż inna.
  • Nowi oceniający dryfująOceny się przesuwają, gdy ktoś dołącza lub kogoś zastępuje.
  • Pozycje karty oceny są niejasneRóżne osoby objaśniają je na różne sposoby.

Przygotowanie sesji

Dobra sesja wymaga trochę przygotowania. Prowadzący powinien dobrze znać kartę oceny i umieć zachować neutralność; często jest to lider QA lub starszy lider zespołu.

Przed sesją

  1. Wybierz trzy lub cztery rozmowyUwzględnij wyraźne zaliczenie, wyraźne niezaliczenie i co najmniej jedną rozmowę graniczną.
  2. Usuń dane identyfikująceUkryj nazwiska konsultantów, żeby dyskusja dotyczyła rozmowy.
  3. Udostępnij kartę ocenyWszyscy korzystają z aktualnej wersji, z definicjami.
  4. Poproś o niezależną ocenęKażdy oceniający ocenia przed spotkaniem i nie rozmawia o tym z pozostałymi.

Najlepszym materiałem są prawdziwe rozmowy. Wybieraj rozmowy graniczne z bieżącej oceny, bo to w nich kryją się rozbieżności. Sprawdź, czy nagrania można udostępnić oceniającym zgodnie z wewnętrznymi zasadami, i ostrożnie obchodź się z danymi osobowymi; o nagrywaniu przeczytasz w artykule Komunikaty o nagrywaniu rozmów.

Przebieg sesji

Zacznij od ocen, nie od opinii. Pokaż na wspólnym ekranie wyniki wszystkich, pozycja po pozycji, i znajdź pozycje z największymi różnicami. Zajmijcie się nimi w pierwszej kolejności.

  1. Pokaż rozrzut. Dla każdej rozmowy przedstaw łączną ocenę każdego oceniającego i różnice na poziomie pozycji.
  2. Poproś każdego oceniającego o uzasadnienie spornej pozycji, z przywołaniem momentu rozmowy, który zadecydował o ocenie.
  3. Wróć do sformułowań w karcie oceny. Czy jasno mówią, co oznacza zaliczenie?
  4. Uzgodnijcie odpowiedź dla tej rozmowy i zapiszcie uzasadnienie.
  5. Jeśli problemem jest sformułowanie, zanotuj zmianę do wprowadzenia; nie poprawiaj go na żywo w sposób, który wprowadzi zamieszanie.

Zasady

Hipotetyczna sesja w praktyce

Wyobraź sobie sześcioosobowy zespół z trzema oceniającymi. Wybierają cztery rozmowy i oceniają je w pojedynkę. Przy trzeciej rozmowie jedna osoba zalicza pozycję dotyczącą potwierdzenia danych klienta, a inna jej nie zalicza. Prowadzący prosi każdą z nich o odtworzenie momentu, na którym się oparła. Okazuje się, że konsultant potwierdził kod pocztowy, ale nie nazwisko, a karta oceny mówi po prostu „potwierdź dane”. Zespół ustala, że pozycja powinna dokładnie wymieniać, które dwie dane się liczą, przepisuje ją i zapisuje decyzję.

Ta drobna zmiana usuwa źródło niesprawiedliwych ocen we wszystkich przyszłych przeglądach. Tego wzorca warto szukać: spór o rozmowę zwykle sygnalizuje lukę w karcie oceny.

Pamiętaj, żeby domknąć sprawę z konsultantami. Powiedz im, co zmieniło się w sformułowaniu i dlaczego, i stosuj zmianę od określonej daty, zamiast ponownie oceniać stare rozmowy. Jeśli wcześniejsza ocena była wyraźnie niesprawiedliwa z powodu starego sformułowania, otwarcie ją skoryguj.

Jak zamienić rozbieżności w lepszą kartę oceny

Najcenniejszym efektem sesji jest zwykle jaśniejsza karta oceny. Jeśli oceniający nie zgadzają się co do pozycji, jest ona prawdopodobnie niejasna. Uczyń ją konkretną.

Niejasna pozycjaJaśniejsza wersja
Okazanie empatiiNazwanie problemu klienta jego własnymi słowami przed zaproponowaniem rozwiązania.
Rozwiązanie problemuPełna odpowiedź lub jasny następny krok z terminem.
Profesjonalny tonBez przerywania, bez sarkazmu, z uprzejmym otwarciem i zakończeniem.
Zgodność z procedurąWeryfikacja klienta zgodnie z krokami aktualnej procedury.

Do każdej pozycji dodaj jeden lub dwa przykładowe zwroty oznaczające zaliczenie i niezaliczenie. Opcji „Nie dotyczy” używaj świadomie w przypadku pozycji, które nie mają zastosowania do danego typu rozmowy, zamiast zgadywać. Lista pozycji krytycznych, czyli takich, które mogą sprawić, że cała rozmowa nie zostanie zaliczona, powinna być bardzo krótka i jednoznaczna. Rozsądny próg zaliczenia to decyzja Twojego zespołu; nie zmieniaj go bez poinformowania konsultantów.

Pomiar zgodności w czasie

Nie potrzebujesz skomplikowanej statystyki. Prostą miarą jest rozrzut między najwyższą a najniższą łączną oceną każdej kalibrowanej rozmowy. Śledź średni rozrzut miesiąc po miesiącu i przyglądaj się pozycjom, które budzą najwięcej rozbieżności.

Jak czytać rozrzut

Mały rozrzutDuży rozrzut
Co sugerujeOceniający podobnie odczytują kartę ocenyOceniający odczytują ją różnie
Co robićUtrzymaj rutynę i zmieniaj rozmowyPrzepisz pozycje, dodaj przykłady, wkrótce zorganizuj kolejną sesję
RyzykoSamozadowolenie, te same martwe polaNiesprawiedliwe oceny i nieufność

Jako praktyczna wskazówka: rozrzut powyżej około dwudziestu punktów na stupunktowej skali oznacza, że oceniający różnie korzystają z karty oceny i że warto wspólnie uzgodnić sformułowania. Traktuj każdą taką liczbę jako wskazówkę dla własnego zespołu, a nie jako normę.

Prowadź rejestr decyzji. Wystarczy prosty wspólny dokument z datą, rozmową, sporną pozycją i uzgodnioną interpretacją. Nowi oceniający mogą go przeczytać, żeby zrozumieć, jak zespół stosuje kartę oceny, a rejestr zapobiega powracaniu tej samej dyskusji co miesiąc. Przeglądaj go przy każdej rewizji karty oceny i usuwaj wpisy, które nowe sformułowania czynią zbędnymi.

Częstotliwość i uczestnicy

Połącz kalibrację z planem doboru próbki, tak by oceniający widzieli różnych konsultantów i różne typy rozmów; zobacz Ile rozmów oceniać?. Jeśli narzędzie AI wstępnie ocenia rozmowy, uwzględnij w kalibracji także kilka jego wyników, żeby ludzie nauczyli się, kiedy mu ufać, a kiedy go korygować.

Kalibracja w Call

Obszar Przegląd i coaching w Call zawiera sekcję „Kalibracja”, w której widać rozmowy ocenione przez więcej niż jedną osobę oraz rozrzut między ich ocenami. Administratorzy i menedżerowie oceniają rozmowy z kolejki przeglądów, wybierając dla każdej pozycji karty oceny Zaliczono, Nie zaliczono lub Nie dotyczy, a niezaliczone pozycje krytyczne zerują ocenę. Według wskazówek Call rozrzut powyżej 20 punktów oznacza, że oceniający różnie odczytują kartę oceny, więc powinni wspólnie ją uzgodnić.

Call może też samodzielnie oceniać niektóre pozycje, jeśli opiszesz je jako słowa powiedziane lub niepowiedziane, korzystając z reguł „Ocenianie automatyczne”. Utrzymuj te reguły wąskie i prawdziwe; pusta reguła jest lepsza niż zgadywana. Kolejka przeglądów i karta oceny wymagają aktywnej karty oceny w Twoim obszarze roboczym, więc skonfiguruj ją, zanim zaplanujesz wokół niej kalibrację.

Najczęstsze pytania

Czym kalibracja różni się od zwykłej oceny jakości?

W zwykłej ocenie rozmowę ocenia jedna osoba. W kalibracji kilku oceniających niezależnie ocenia tę samą rozmowę, a potem porównuje wyniki. Jej celem jest zgranie oceniających, a nie ocena konsultanta.

Czy oceniający muszą wystawiać identyczne oceny?

Nie. Niewielkie różnice są normalne. Celem jest uzgodnienie, co oznacza zaliczenie każdej pozycji, i utrzymanie małego ogólnego rozrzutu.

Ile rozmów wykorzystać na jednej sesji?

Zwykle wystarczą trzy lub cztery. Więcej rozmów sprawia, że spotkanie jest długie i powierzchowne. Wybieraj rozmowy, które ujawniają rozbieżności.

Czy konsultanci powinni widzieć wyniki kalibracji?

Konsultanci powinni znać definicje z karty oceny i wszelkie zmiany wynikające z kalibracji. To, czy udostępniasz porównania rozmowa po rozmowie, jest decyzją zespołu, ale otwartość buduje zaufanie.

Co, jeśli jeden oceniający zawsze jest surowszy?

Sprawdź, które pozycje tworzą różnicę, i omów je na sesji. Często niejasne jest sformułowanie w karcie oceny. Jeśli różnica się utrzymuje, zapewnij tej osobie dodatkowe wskazówki i przykłady.

Jak często aktualizować kartę oceny?

Aktualizuj ją, gdy kalibracja ujawnia powtarzające się niejasności, gdy zmienia się proces lub produkt albo gdy zmieniają się potrzeby klientów. Informuj konsultantów o zmianach.

Porównuj oceny różnych oceniających dla tej samej rozmowy w Call

W konsoli demo możesz wypróbować połączenia przychodzące w symulacji.

Powiązane poradniki