Technologia głosowej AI

Jak oceniać rozmowy agenta głosowego: wskaźniki i przeglądy

Praktyczny sposób oceny telefonicznego agenta głosowego: wskaźniki warte śledzenia, dobór próbek i ocenianie rozmów oraz zamiana wniosków w poprawki.

Redakcja Call · Opublikowano · Czas czytania: 5 min

Gdy agent głosowy odbiera już prawdziwe połączenia, pytanie „czy działa?” zmienia się w „czy działa dobrze?”. Wiele zespołów odpowiada na nie mglistym wrażeniem z kilku rozmów. Odrobina struktury daje znacznie lepsze informacje i podpowiada, co poprawić w następnej kolejności.

Lider zespołu przegląda notatki o jakości rozmów razem ze współpracownikiem
Obraz poglądowy

Ten przewodnik proponuje proste podejście do oceny telefonicznego agenta głosowego: jakie wskaźniki śledzić, jak ręcznie przeglądać rozmowy i jak zamieniać wnioski w ulepszenia. Rozwija artykuł Testowanie agenta głosowej AI oraz ogólne miary z artykułu KPI contact center.

Zacznij od tego, co dla Ciebie oznacza „dobrze”

Dobra rozmowa w restauracji to nie to samo co dobra rozmowa w przychodni. Zanim wybierzesz wskaźniki, zapisz w jednym lub dwóch zdaniach, jak wygląda udana rozmowa dla każdego spodziewanego rodzaju połączeń: pytanie dzwoniącego zostało wyjaśnione, przyjęto wiadomość z właściwymi danymi lub dzwoniący dotarł do właściwej osoby. Wszystko inne wynika z tych definicji.

Pięć pytań każdej oceny

  • Czy dzwoniący został zrozumiany?Czy agent poprawnie usłyszał pytanie i dane?
  • Czy odpowiedź była właściwa?Czy była dokładna, mieściła się w zatwierdzonych informacjach i niczego nie zmyślała?
  • Czy rozmowa zakończyła się czymś użytecznym?Czy zadanie zostało wykonane, przyjęto wiadomość lub przekazano rozmowę?
  • Czy doświadczenie było akceptowalne?Tempo, ton, powtórzenia i wysiłek dzwoniącego.
  • Czy było bezpiecznie?Czy agent przestrzegał swoich granic i przekazywał rozmowę, gdy powinien?

Wskaźniki warte śledzenia

WskaźnikCo mówiJak go uzyskać
Realizacja zadańOdsetek połączeń, w których cel dzwoniącego został osiągniętyRęczny przegląd próbki oraz wyniki połączeń
Trafność odpowiedziCzy wypowiedzi zgadzały się z zatwierdzonymi informacjamiRęczny przegląd w odniesieniu do źródeł
Odsetek przekazańJak często dzwoniący proszą o człowieka lub go potrzebująWyniki połączeń i zgłoszenia w helpdesku
Odsetek powtórzeńJak często agent prosił dzwoniącego o powtórzeniePrzegląd transkrypcji
Czas do odpowiedziCzas między końcem wypowiedzi dzwoniącego a odpowiedzią agentaCzasy poszczególnych wypowiedzi w historii połączeń
Odsetek porzuceńDzwoniący, którzy rozłączają się przed rezultatemRejestr połączeń
Opinie dzwoniącychJak ludzie odebrali rozmowęKrótkie ankiety lub komentarze po rozmowie

Zauważ, że większość przydatnych miar wymaga ludzkiej oceny. Liczby z rejestru mówią, ile, ale tylko człowiek czytający rozmowę może stwierdzić, czy poszła dobrze. Spodziewaj się połączenia obu podejść. Miary dotyczące każdego rodzaju połączeń opisują artykuły Rozwiązanie sprawy przy pierwszym kontakcie (FCR) oraz Wskaźnik odebranych i porzuconych połączeń.

Ręczny przegląd rozmów

Mała, regularna próbka jest lepsza niż sporadyczny duży przegląd. Wybieraj rozmowy losowo, plus kilka nietypowych, np. bardzo krótkie lub bardzo długie, zakończone przekazaniem oraz takie, w których dzwoniący się rozłączył.

Rutyna przeglądu rozmów

  1. PróbkaCo tydzień wybierz stałą liczbę rozmów, łącząc losowe i nietypowe.
  2. Słuchaj i czytajOdtwarzaj nagranie, jednocześnie czytając transkrypcję.
  3. OceńOceń każdą rozmowę według swoich kryteriów w prostej skali.
  4. Zanotuj przyczynyZapisz, dlaczego coś poszło nie tak.
  5. Popraw i przetestuj ponownieZmień źródło, prompt lub ustawienie, a potem ponownie przetestuj ten sam przypadek.

Utrzymuj prostą skalę ocen

Wystarczą trzy poziomy: dobrze, akceptowalnie i słabo – albo trafnie, częściowo i błędnie dla poszczególnych wypowiedzi. Drobiazgowe skale rodzą spory, nie dodając wiedzy. Od czasu do czasu niech dwie osoby ocenią kilka tych samych rozmów; jeśli często się nie zgadzają, kryteria wymagają precyzyjniejszego sformułowania.

Pamiętaj, że transkrypcje mogą być błędne

Transkrypcja to domysł systemu rozpoznawania, a nie prawda. Jeśli transkrypcja wygląda dziwnie, odsłuchaj nagranie, zanim obwinisz agenta. Zobacz Dlaczego dźwięk telefoniczny utrudnia rozpoznawanie mowy.

Pomiar szybkości i rytmu

Dzwoniący zauważają opóźnienie bardziej niż niemal cokolwiek innego. Śledź przerwę przed każdą odpowiedzią i patrz na najgorsze przypadki, nie tylko na średnią, bo kilka bardzo długich pauz psuje całe wrażenie. Jeśli przerwy są długie, rozłóż czas na składniki; artykuł Opóźnienia głosowej AI pokazuje, jak to zrobić. Zwracaj też uwagę na przerywanie: jak często agent mówił jednocześnie z dzwoniącym, a jak często kazał mu czekać?

Ręczna ocena czy automatyczna punktacja

Wybór metody

Przegląd ręcznyOcena automatyczna
Mocna stronaRozumie niuanse, ton i kontekstSzybko obejmuje każde połączenie
Słaba stronaWolny; tylko próbkaMoże przeoczyć subtelne problemy lub źle ocenić
Najlepsze zastosowanieTrafność, bezpieczeństwo i doświadczenie dzwoniącychOznaczanie połączeń, które zasługują na ludzki przegląd

Ocena automatyczna, w tym modele oceniające inne modele, przydaje się do selekcji: może szeregować połączenia według oznak problemów, by ludzie najpierw przejrzeli właściwe. Nie powinna zastępować ludzkiego próbkowania, zwłaszcza w kwestii trafności i bezpieczeństwa. Jakiejkolwiek automatycznej kontroli używasz, sprawdź ją, porównując jej werdykty z własnymi na zestawie przejrzanych rozmów.

Rozsądne odczytywanie liczb

Małe próbki wprowadzają w błąd. Jeśli przejrzysz dziesięć rozmów, a dwie poszły źle, nie możesz stwierdzić, że źle idzie co piąta rozmowa; możesz tylko powiedzieć, że wychwycono dwa problemy warte naprawy. Używaj próbek do szukania przyczyn, a nie do ogłaszania wskaźników, chyba że próbka jest wystarczająco duża i losowa.

Oddzielaj agenta od sytuacji. Spadek realizacji zadań w tygodniu awarii usługi nie jest werdyktem na temat promptu. Zapisuj zdarzenia obok wskaźników: nowe godziny otwarcia, kampanię, po której dzwoniący przyszli z nowym pytaniem, zmianę źródeł. Prosty dziennik zmian sprawia, że trendy dają się wyjaśnić.

Wreszcie z góry zdecyduj, co zrobisz z każdym wynikiem. Wzrost liczby powtórzeń może skłonić Cię do przyjrzenia się ustawieniom ciszy; wzrost liczby przekazań w jednym temacie – do dodania dokładnej odpowiedzi. Wskaźnik bez powiązanego działania to tylko dekoracja.

Dziel się wynikami zarówno z menedżerami, jak i z osobami, które odbierają telefony. Pracownicy często wiedzą, skąd bierze się dany wzorzec, i to oni przejmują rozmowy przekazywane przez agenta. Krótki comiesięczny przegląd z przykładami, w tym kilkoma rozmowami, które poszły dobrze, utrzymuje pracę blisko prawdziwych rozmów.

Ocena w Call

W Call historia połączeń AI wyświetla połączenia z danego okresu wraz z wynikiem i – jeśli jest znany – sentymentem oraz otwiera całą rozmowę wypowiedź po wypowiedzi. Menedżerowie mogą otworzyć połączenie, by zobaczyć, jak długo trwała każda wypowiedź. Obszar automatycznego przeglądu grupuje ostatnie połączenia według tematów, szereguje ostatnie połączenia bez ludzkiego przeglądu według sygnałów, jakie na nich występują, i proponuje próbkę podsumowań AI do oznaczenia jako trafne, częściowo trafne lub błędne, co zasila bieżący widok trafności podsumowań. Conversation AI pozwala też przeszukiwać wszystkie przechowywane transkrypcje pod kątem frazy. Razem dają Ci potrzebne liczby i próbkowanie. Historia edycji pokazuje poprawki wprowadzone do wypowiedzi agenta.

Cotygodniowa lista kontrolna oceny

  • Przeczytaj stałą próbkę rozmów, losowych i nietypowych
  • Oceń realizację zadań i trafność
  • Policz przekazania i zanotuj ich przyczyny
  • Sprawdź najdłuższe czasy do odpowiedzi
  • Przeszukaj transkrypcje pod kątem zwrotów sygnalizujących dezorientację
  • Zapisz każdy problem i wprowadzoną poprawkę
  • Ponownie przetestuj naprawione przypadki, zanim je zamkniesz

Najczęstsze pytania

Jaki jest najbardziej przydatny pojedynczy wskaźnik dla agenta głosowego?

Nie ma jednego. Realizacja zadań mówi, czy dzwoniący dostali to, czego potrzebowali, ale aby zrozumieć dlaczego, potrzebujesz też trafności, jakości przekazań i czasów odpowiedzi.

Ile rozmów należy przeglądać?

Stała cotygodniowa próbka, którą da się utrzymać, jest lepsza niż sporadyczna duża. Zacznij od umiarkowanej liczby i zwiększaj ją po zmianach przy uruchomieniu lub gdy pojawiają się problemy.

Czy można polegać wyłącznie na ocenie automatycznej?

Nie w kwestii trafności ani bezpieczeństwa. Używaj jej do szeregowania i oznaczania połączeń, a potem niech ludzie przejrzą oznaczone połączenia i losową próbkę.

Dlaczego transkrypcje czasem nie zgadzają się z nagraniem?

Transkrypcję tworzy system rozpoznawania mowy, więc może zawierać błędy. Odsłuchaj nagranie, zanim ocenisz agenta.

Skąd mam wiedzieć, czy zmiana coś poprawiła?

Utrzymuj stały zestaw przypadków testowych i regularną rutynę przeglądów, a potem porównuj wyniki przed zmianą i po niej według tych samych kryteriów.

Czy przeprowadzać ankiety wśród dzwoniących?

Krótkie pytanie po rozmowie może dostarczyć przydatnych informacji, ale niech będzie zwięzłe i zgodne z przepisami dotyczącymi kontaktowania się z ludźmi. Łącz je z własnym przeglądem rozmowy.

Przeglądaj rozmowy AI w historii połączeń Call

W konsoli demo możesz wypróbować połączenia przychodzące w symulacji.

Powiązane poradniki