Jakość i zespół

Ile rozmów oceniać? Praktyczny przewodnik po próbkowaniu QA

Jak ustalić, ile rozmów oceniać pod kątem jakości: próbki losowe i celowane, minimum na konsultanta, skróty dla małych zespołów i unikanie stronniczości.

Redakcja Call · Opublikowano · Czas czytania: 5 min

„Ile rozmów powinniśmy oceniać?” to pierwsze pytanie każdego nowego programu jakości, a uczciwa odpowiedź brzmi: zależy, czego chcesz się dowiedzieć i ile masz czasu. Ocena znikomej części rozmów może przeoczyć realne problemy, a ocena zbyt wielu tworzy zaległości, z których nikt nie ma czasu wyciągnąć wniosków w coachingu. Ten przewodnik wyjaśnia, jak praktycznie myśleć o próbkowaniu, bez dyplomu ze statystyki.

Analityk jakości przy biurku wybiera nagrania z listy rozmów na monitorze
Obraz poglądowy

To część szerszej rutyny jakości opisanej w artykule Podstawy zarządzania jakością rozmów (QA); wybrana próbka powinna zasilać sesje opisane w artykule Prosty model coachingu konsultantów na podstawie rozmów.

Zacznij od celu próbki

Różne cele wymagają różnych próbek. Zdecyduj, które z poniższych chcesz osiągnąć:

Do czego służy próbka?

  • Uczciwa informacja zwrotna dla konsultantówKażdy konsultant dostaje regularny, porównywalny zestaw ocenionych rozmów.
  • Wykrywanie problemów systemowychSzeroki obraz tego, o co pytają klienci i gdzie zawodzą procesy.
  • Ryzyko i zgodność z przepisamiCelowana ocena rozmów, w których błędy miałyby największe znaczenie.
  • Szkolenia i docenianieWyszukiwanie świetnych rozmów, którymi warto się dzielić i z których można się uczyć.

Jedna próbka rzadko spełnia wszystkie cztery cele. Zespoły zwykle łączą niewielką próbkę losową dla uczciwości z rozmowami celowanymi pod kątem ryzyka.

Próbkowanie losowe a celowane

Dwa sposoby wyboru rozmów

LosoweCelowane
Jak wybiera się rozmowyPrzypadkowo, spośród wszystkich rozmów z danego okresuNa podstawie sygnału, np. długości, wydźwięku, wyniku lub słów kluczowych
ZaletaBezstronny obraz typowych rozmówSzybciej wykrywa problemy i ryzyka
WadaMoże przeoczyć rzadkie, poważne problemyStosowane samodzielnie daje zniekształcony obraz
Najlepsze doOcen konsultantów i trendówZgodności, reklamacji, pomysłów na coaching

Stosuj oba. Typowy schemat to dwie lub trzy rozmowy losowe na konsultanta w każdym okresie oraz kilka rozmów celowanych ocenianych dla całego zespołu. Rozdzielaj oba rodzaje w raportach; nie wliczaj rozmów celowanych do ogólnej oceny konsultanta, bo ukarzesz tych, którzy biorą najtrudniejsze rozmowy.

Praktyczny sposób na ustalenie liczby

Licz wstecz od czasu, którym dysponujesz. Staranna ocena rozmowy zwykle trwa dłużej niż sama rozmowa: odsłuchanie, ocena i komentarz. Szacuj uczciwie.

Jak dobrać wielkość próbki

  1. Oszacuj czas ocenyNa przykład dziesięciominutowa rozmowa może wymagać od piętnastu do dwudziestu minut na ocenę i komentarz.
  2. Ustal tygodniowy budżet na ocenyIle godzin tygodniowo oceniający mogą poświęcić po odliczeniu czasu na coaching?
  3. Podziel przez czas ocenyTak otrzymasz liczbę rozmów, które możesz rzetelnie ocenić.
  4. Rozdziel między konsultantówKażdemu zapewnij co najmniej minimum, a resztę rozdziel według ryzyka i potrzeb.
  5. Sprawdź po miesiącuSkoryguj liczbę, jeśli oceny się piętrzą albo kończysz przed czasem.

Minimum na konsultanta

Wiele zespołów ustala dolny próg, np. kilka rozmów na konsultanta miesięcznie, żeby informacja zwrotna była regularna. Nowsi konsultanci lub osoby objęte planem rozwoju mogą mieć ich więcej; doświadczeni konsultanci ze stabilnymi wynikami – mniej. Większa próbka dla jednej osoby nie oznacza gorszego konsultanta; może po prostu oznaczać dodatkowe wsparcie.

Małe zespoły

Przy pięciu do dziesięciu konsultantach możesz być w stanie ocenić dużą część rozmów. Nie przejmuj się naukową precyzją. Wybierz rozsądną liczbę, np. kilka rozmów na konsultanta miesięcznie, oceń je dobrze i wykorzystaj w coachingu. Liczy się to, żeby działo się to co miesiąc.

Jak uniknąć stronniczości próbki

Próbka może wprowadzać w błąd, jeśli nie jest starannie dobrana. Uważaj na te pułapki:

Spisz zasady wyboru i udostępnij je. Gdy konsultanci wiedzą, jak wybierane są rozmowy, chętniej akceptują wyniki. Sprawdź też, czy próbka obejmuje wszystkie obsługiwane kanały i typy rozmów, np. przychodzące, wychodzące i różne kolejki.

Uczciwość wobec konsultantów

Konsultanci akceptują ocenę, gdy wierzą, że proces jest uczciwy. Wyjaśnij, jak wybierana jest próbka, pokazuj im ich wyniki w tym samym formacie co wszystkim i pozwól im czytać komentarze oceniających. Zwróć szczególną uwagę na to, jak traktujesz konsultantów w niepełnym wymiarze, pracowników nocnych zmian i osoby obsługujące różne typy rozmów, bo nieporównywalna próbka prowadzi do niesprawiedliwych ocen.

Gdy w próbce znajdziesz powtarzającą się słabość, potraktuj ją najpierw jako problem zespołu: niejasny proces, brak informacji lub słabe narzędzia. Coaching indywidualny przychodzi dopiero po sprawdzeniu systemu.

Przydatne sygnały do oceny celowanej

Sygnały pomagają znaleźć rozmowy warte bliższego przyjrzenia się, bez odsłuchiwania wszystkiego:

SygnałDlaczego jest przydatnyPrzykładowe zastosowanie
Bardzo długie rozmowyMogą wskazywać na dezorientację, trudny problem lub nieefektywnośćOcena pod kątem luk w procesie
Negatywny nastrój klienta na końcuMożliwa porażka lub niezaspokojona potrzebaOcena pod kątem naprawy relacji
Przekierowania i ponowne kontaktyMożliwe błędne skierowanie lub niepełna odpowiedźOcena pod kątem routingu i wiedzy
Oznaczone słowa lub zwrotyWymogi zgodności lub szczególnej troskiSprawdzenie zgodności z zasadą
Bardzo krótkie rozmowyRozłączenia, pomyłki, nagłe zakończeniaSprawdzenie otwarcia i obsługi
Świetne opinie klientówDobra praktyka do naukiDodanie do biblioteki dobrych rozmów

Jak dobrze wykorzystać próbkę

Próbka jest bezwartościowa, jeśli nic z niej nie wynika. Szybko przekazuj wyniki każdemu konsultantowi, póki pamięta rozmowę. Zbieraj wyniki wszystkich konsultantów, żeby znaleźć powtarzające się słabe pozycje, i naprawiaj je szkoleniami, skryptami lub aktualizacją bazy wiedzy, zamiast obwiniać pojedyncze osoby. Prowadź kalibrację, żeby oceniający oceniali spójnie; zobacz Sesje kalibracyjne w ocenie jakości.

Prosty plan próbkowania

  • Określony cel oceny
  • Liczba rozmów losowych na konsultanta w okresie
  • Liczba rozmów celowanych w okresie i używane sygnały
  • Minimum dla nowych konsultantów i osób objętych planem
  • Spisane i udostępnione zasady wyboru
  • Tygodniowy budżet czasu na oceny
  • Zaplanowana kalibracja
  • Wyniki przekazane w ciągu kilku dni

Próbkowanie w Call

W obszarze Przegląd i coaching w Call kolejka przeglądów pokazuje rozmowy czekające na ocenę, zaczynając od najdłuższych i najbardziej negatywnych, maksymalnie dwanaście naraz, dzięki czemu oceniający zaczynają od rozmów, które najprawdopodobniej wymagają uwagi. Wyniki poszczególnych konsultantów pokazują oceny, średni wynik, niezaliczone rozmowy i stosowany plan próbkowania. Sekcja „Możliwy misselling” lub „Klienci wymagający szczególnej uwagi” wymienia rozmowy oznaczone przez reguły dotyczące zwrotów, wraz z dopasowanymi słowami, ale pojawia się tylko wtedy, gdy coś zostało oznaczone.

Tam, gdzie połączenia odbiera agent AI, karta Automatyczny przegląd w sekcji AI konwersacyjne może ocenić ostatnie rozmowy, których nie ocenił jeszcze człowiek, i uszeregować je według ryzyka, z podaniem powodów, a także grupuje rozmowy w tematy według słów użytych przez klientów. Pozwala też pobrać próbkę streszczeń AI i oznaczyć każde jako Trafne, Częściowo lub Błędne. Korzystaj z tych narzędzi przy wyborze rozmów, ale ostateczną ocenę zostaw człowiekowi.

Najczęstsze pytania

Czy istnieje standardowy odsetek rozmów do oceny?

Nie. Wybierz liczbę, którą Twój zespół zdoła konsekwentnie oceniać i wykorzystywać w coachingu. Mała, dobrze oceniona próbka jest bardziej przydatna niż duża, której nikt nie czyta.

Ile rozmów na konsultanta miesięcznie to rozsądna liczba?

Wiele zespołów zaczyna od kilku na konsultanta i koryguje to później. Nowsi konsultanci często mają ich więcej. Najważniejsze, żeby każdy konsultant był oceniany regularnie.

Czy konsultanci powinni wiedzieć, które rozmowy są oceniane?

Powinni znać zasady wyboru i wiedzieć, że rozmowy mogą być oceniane. Nie muszą z góry wiedzieć, które konkretnie, choć przejrzystość procesu buduje zaufanie.

Czy oprogramowanie może wybrać próbkę za nas?

Oprogramowanie może szeregować rozmowy według sygnałów, takich jak wydźwięk, długość czy oznaczenia, co oszczędza czas. Wykorzystuj to do oceny celowanej i zachowaj część rozmów losowych, żeby obraz pozostał uczciwy.

Jak uniknąć stronniczości oceniających?

Spisz zasady wyboru, zmieniaj oceniających, prowadź sesje kalibracyjne i dopilnuj, żeby próbki obejmowały wszystkie zmiany i typy rozmów.

Co, jeśli nie jesteśmy w stanie ocenić wystarczającej liczby rozmów?

Ogranicz kartę oceny do najważniejszych pozycji, oceniaj mniej rozmów, ale staranniej, i korzystaj z sygnałów do oceny celowanej. Automatyzację dodawaj tylko tam, gdzie reguła jest jasna i niezawodna.

Znajdź rozmowy warte oceny w pierwszej kolejności dzięki kolejce przeglądów w Call

W konsoli demo możesz wypróbować połączenia przychodzące w symulacji.

Powiązane poradniki