Korzystanie z Call

Rozmowy treningowe: przetestuj agenta AI przed startem

Jak symulowane rozmowy pozwalają sprawdzić telefonicznego agenta AI w trudnych sytuacjach, jak czytać oceny i wnioski oraz jak zamieniać je w poprawki.

Redakcja Call · Opublikowano · Czas czytania: 5 min

Każdy zespół, który szkolił nowych pracowników, wie, że pierwszy tydzień przy telefonach jest najbardziej ryzykowny. Nowa osoba zna zasady, ale nie spotkała jeszcze rozmówcy, który jej przerywa, takiego, który zmienia temat w pół zdania, ani takiego, który po prostu szuka winnego. Dobre zespoły ćwiczą takie momenty w scenkach, zanim nadejdą naprawdę.

Lider zespołu przegląda oceny rozmów i transkrypcje na monitorze przed startem
Obraz poglądowy

Telefoniczny agent AI potrzebuje takiej samej próby i może mieć jej znacznie więcej, znacznie szybciej. Ten przewodnik wyjaśnia, jak zaplanować trening, jak czytać wyniki i jak przekuwać wnioski w zmiany. Opiera się na tekstach o konfiguracji agenta AI oraz pisaniu skutecznych promptów.

Dlaczego warto ćwiczyć przed startem

Pierwsze prawdziwe rozmowy kształtują opinię klientów o całej usłudze. Agent, który przekręca nazwisko, mówi jednocześnie z rozmówcą albo wymyśla odpowiedź, kosztuje więcej niż nieodebrane połączenie, bo klient ma teraz historię do opowiedzenia. Trening wyłapuje te problemy, gdy jedyną publicznością jest Twój zespół.

Trening to nie dowód. Dobry wynik z symulowanymi rozmówcami nie oznacza, że prawdziwi rozmówcy zachowają się tak samo, a zachowanie głosowe na żywo może różnić się od symulacji. Traktuj dobry wynik jako pozwolenie na ostrożną próbę z prawdziwymi rozmowami, a nie jako certyfikat.

Co testować

Wartość serii zależy od sytuacji, które obejmuje. Świadomie mieszaj łatwe i trudne przypadki.

Scenariusze, które ujawniają słabości

  • PrzerywanieRozmówca mówi jednocześnie z agentem. Czy agent przestaje mówić i słucha, czy brnie dalej?
  • Zmiana językaRozmówca zaczyna w jednym języku i przechodzi na inny. Czy agent za nim podąża?
  • Prośba o człowiekaRozmówca mówi: „Chcę rozmawiać z kimś”. Czy przekazanie jest jasne i szybkie?
  • Pytania o cenęRozmówca pyta, ile to kosztuje. Czy agent odpowiada tylko tym, co wie, i nie zgaduje?
  • SkargiZdenerwowany rozmówca. Czy agent zachowuje spokój i proponuje kolejny krok?
  • Codzienne pytaniaPytania z bazy wiedzy agenta. Czy odpowiedzi są poprawne i zwięzłe?

Proporcje mają znaczenie. Seria złożona wyłącznie z trudnych przypadków zawsze wypadnie źle i niewiele powie o codziennej pracy; seria samych łatwych pytań będzie schlebiać agentowi, który pod presją zawodzi. Mieszanka obu zwykle daje najwięcej informacji na początek.

Uruchamianie serii treningowej w Call

W Call trening znajduje się w sekcji Agenci AI, w części Czego się nauczył, w zakładce Rozmowy treningowe. W symulacji rozmówcy AI dzwonią do Twoich agentów AI po japońsku i po angielsku, a każda rozmowa jest oceniana. Wybierasz agentów (do dziesięciu naraz; agent, który nie może jeszcze odbierać połączeń, jest wyszarzony), liczbę rozmów po japońsku i po angielsku dla każdego z nich (od zera do dwudziestu pięciu w każdym języku) oraz mieszankę scenariuszy.

Mieszanka scenariuszyCo obejmujeKiedy jej używać
ZrównoważonaKażdy trudny przypadek raz, reszta to pytania z bazy wiedzy agentaGdy testujesz nowego agenta po raz pierwszy
Baza wiedzyWyłącznie pytania oparte na tym, co agent wieGdy zmieniłeś jego wiedzę i chcesz sprawdzić trafność
Przypadki brzegoweWyłącznie trudne przypadkiGdy zmieniłeś zasady zachowania lub prompt

Uruchamianie serii

  1. Otwórz Rozmowy treningowePrzejdź do sekcji Agenci AI, potem Czego się nauczył, potem Rozmowy treningowe.
  2. Wybierz agentów i liczbę rozmówZaznacz agentów i ustaw liczbę rozmów w każdym języku.
  3. Wybierz mieszankęZrównoważona, Baza wiedzy lub Przypadki brzegowe.
  4. Uruchom serięLiczba obok przycisku to suma: liczba agentów pomnożona przez rozmowy w obu językach.
  5. Śledź postępLista odświeża się sama; otwórz serię, by zobaczyć oceny i wyniki rozmów.

Przycisk startu pozostaje wyszarzony przy zerze rozmów lub powyżej łącznie trzystu, więc duże testy uruchamia się w częściach. Możesz też anulować serię, która czeka lub trwa; nierozpoczęte rozmowy zostają anulowane, a rozmowa w toku dobiega końca. Możesz włączyć głos dla serii, aby przy każdej wypowiedzi pojawił się przycisk odtwarzania; dźwięk jest generowany dopiero po jego kliknięciu.

Jak czytać wyniki

Otwórz zakończoną serię i zacznij od podsumowania, a nie od pojedynczej transkrypcji. Sumy pokazują liczbę wykonanych rozmów, średnią ocenę, poprawione odpowiedzi, pytania wymagające odpowiedzi i wskazówki stylistyczne. Pod nimi znajdziesz ocenę według kryteriów, najczęstsze problemy ze średnią każdego agenta oraz tabelę rozmów ze scenariuszem, językiem, oceną i oznaczeniami.

  1. Spójrz na ocenę według kryteriów, by znaleźć najsłabszy obszar.
  2. Przeczytaj najczęstsze problemy; jeśli któryś powtarza się u wielu agentów, prawdopodobnie wynika ze wspólnego promptu lub zasady.
  3. Posortuj rozmowy według oceny i przeczytaj w całości trzy najgorsze transkrypcje.
  4. Czytaj uwagi oceniającego przy każdej odpowiedzi, nie tylko ocenę końcową.
  5. Porównaj języki; różnica może oznaczać, że jeden język potrzebuje własnych sformułowań.

Wdrażanie wniosków

Trening generuje wnioski, które czekają na Twoją weryfikację, zamiast automatycznie zmieniać agenta. Każdy możesz zastosować lub odrzucić. Poprawione odpowiedzi i pytania wymagające odpowiedzi również czekają w Sugestiach. To celowe: o tym, czego agent ma się nauczyć, decyduje człowiek.

Weryfikacja wniosków

  • Czy wniosek jest zgodny z Twoimi zasadami i tonem
  • Czy poprawiona odpowiedź jest rzeczywiście poprawna, a nie tylko wiarygodna
  • Czy dotyczy każdego rozmówcy, czy tylko tego scenariusza
  • Czy dwa wnioski sobie nie przeczą
  • Czy agent potrzebuje nowego wpisu w bazie wiedzy, a nie zmiany promptu

Po wprowadzeniu zmian uruchom ponownie małą serię i porównaj. W miarę możliwości zmieniaj jedną rzecz naraz, inaczej nie będziesz wiedzieć, która zmiana pomogła. Gdzie powinny trafiać odpowiedzi faktograficzne, wyjaśnia tekst o źródłach wiedzy.

Rozsądny rytm treningów

Trening przynosi najwięcej, gdy jest nawykiem, a nie jednorazowym wydarzeniem. Wiąż serie z momentami, w których coś się zmienia.

MomentCo uruchomićNa co zwrócić uwagę
Nowy agent, przed startemZrównoważona seria w każdym obsługiwanym językuSłabe kryteria, zachowanie przy przekazywaniu
Po zmianie promptu lub zasadySeria przypadków brzegowychCzy zmiana rozwiązała problem, nie psując czegoś innego
Po dodaniu wiedzySeria z bazy wiedzyPoprawne, zwięzłe odpowiedzi bez wymyślonych faktów
Przed gorącym okresemZrównoważona seria na liniach, które będą najbardziej obciążoneStabilność przy typowej mieszance pytań
Po problemie w prawdziwej rozmowieSeria odtwarzająca tę awarięCzy poprawka działa

Prowadź krótki dziennik: data, co zmieniłeś, jaką serię uruchomiłeś i jaki był główny wynik. Po kilku miesiącach ta historia pokaże, które zmiany pomogły, i uchroni Cię przed powtarzaniem eksperymentu, który już się nie udał.

Hipotetyczna przychodnia mogłaby uruchomić zrównoważoną serię dla agenta recepcji przed otwarciem nowej linii, serię przypadków brzegowych po dodaniu zasady dotyczącej pilnych objawów i serię z bazy wiedzy przy każdej zmianie godzin otwarcia lub usług. Trzy małe serie uruchomione we właściwych momentach mówią więcej niż jeden ogromny test przeprowadzony raz.

Poza symulacją

Symulacja to próba. Przed startem zadzwoń też testowo na własny telefon i posłuchaj agenta tak, jak usłyszy go klient. Startuj ostrożnie: zacznij od linii o niskim ryzyku lub ograniczonych godzin, zachowaj łatwą drogę do człowieka (zobacz tekst o przekazywaniu rozmowy człowiekowi) i codziennie słuchaj pierwszych prawdziwych rozmów. To samo dotyczy konsultantów; o próbach i feedbacku z ludźmi przeczytasz w tekście o modelu coachingu.

Najczęstsze pytania

Czy rozmowy treningowe to prawdziwe połączenia telefoniczne?

To symulowane rozmowy, w których rozmówcy AI dzwonią do Twoich agentów AI. Aby usłyszeć agenta na prawdziwej linii, wykonaj osobne połączenie testowe na własny telefon.

Czy mogę ćwiczyć w więcej niż jednym języku?

Narzędzie treningowe przeprowadza symulowane rozmowy po japońsku i po angielsku. Ustaw, ile rozmów w każdym języku ma dostać każdy agent.

Ile rozmów uruchomić?

Zacznij od małej liczby, po kilka na scenariusz dla każdego agenta, i uważnie przeczytaj wyniki. Zwiększaj ją tylko wtedy, gdy masz powód, np. chcesz przetestować zmianę w kilku językach.

Czy wnioski automatycznie zmieniają mojego agenta?

Nie. Wnioski czekają na Twoją weryfikację. Stosujesz te, z którymi się zgadzasz, a pozostałe odrzucasz.

Co mówi mi ocena?

Pokazuje, jak symulowana rozmowa wypadła względem kryteriów, z uwagami oceniającego przy każdej odpowiedzi. To dowód, ale prawdziwi rozmówcy mogą zachować się inaczej.

Co, jeśli agent jest wyszarzony?

Agent, który nie może jeszcze odbierać połączeń, jest oznaczony jako niezdolny do odbierania i nie można go wybrać. Najpierw dokończ jego konfigurację.

Uruchom serię rozmów treningowych dla swojego agenta AI w Call

W konsoli demo możesz wypróbować połączenia przychodzące w symulacji.

Powiązane poradniki