Jak przetestować agenta Voice AI przed wdrożeniem: praktyczny plan
Plan testów telefonicznego agenta Voice AI krok po kroku: scenariusze, poprawność, rozumienie mowy, przebieg, przekazanie, zapisy i jasna decyzja o starcie.
Agent głosowy, który dobrze odpowiada w cichym biurze, w obecności osoby, która go zbudowała, może zachowywać się zupełnie inaczej na rogu ruchliwej ulicy, gdy rozmówca mamrocze. Większość problemów po wdrożeniu nie jest tajemnicza: to rzeczy, których nikt nie sprawdził. Uporządkowany plan testów wykrywa je wtedy, gdy ich naprawa jest jeszcze tania.

Ten poradnik daje praktyczny plan: co przygotować, jakie sześć obszarów przetestować, jak oceniać wyniki i co robić po starcie. Na końcu opisujemy narzędzia w Call. Wskaźniki, na których opiera się ocena, znajdziesz w artykule Wskaźniki oceny Voice AI.
Przygotowanie testów
Zacznij od listy prawdziwych połączeń. Zbierz pytania, które ludzie faktycznie zadają, z e-maili, pamięci pracowników i notatek z rozmów. Dodaj te kłopotliwe: zdenerwowanego rozmówcę, rozmówcę, który mówi niejasno, i takiego, który prosi o coś, czego nie oferujesz. Dobry zestaw testowy łączy przypadki częste, rzadkie i trudne.
Od scenariusza do startu
- Napisz scenariusze testowePrawdziwe pytania, każde z poprawną odpowiedzią.
- Przetestuj treśćCzy agent odpowiada poprawnie i trzyma się ustalonych granic.
- Przetestuj rozumienie mowyCzy rozumie nazwiska, liczby i akcenty.
- Przetestuj przebiegCzy rozmowa toczy się naturalnie i dobrze się kończy.
- Przetestuj przekazanieCzy działają prośby o rozmowę z człowiekiem i sprawy pilne.
- Sprawdź zapisyCzy podsumowania, wiadomości i logi są poprawne.
- ZdecydujPorównaj wyniki z kryterium zaliczenia i podejmij decyzję.
Ustal, kto testuje. Zaangażuj osoby, które nie budowały agenta, bo będą pytać w nieoczekiwany sposób. Jeśli Twoi rozmówcy mówią z regionalnym akcentem lub w kilku językach, uwzględnij również te głosy.
Testowanie treści
Pierwsze pytanie brzmi: czy agent mówi prawdę? Zadaj każde pytanie z listy i porównaj odpowiedź z poprawną. Oznacz każdą jako poprawną, częściowo poprawną, błędną lub zmyśloną. Najważniejsza jest odpowiedź zmyślona, w której agent podaje coś, czego nigdy nie dostał, bo rozmówcy w nią wierzą.
- Zadaj to samo pytanie innymi słowami.
- Pytaj o rzeczy, których nie ma w bazie wiedzy, i sprawdź, czy agent przyznaje, że nie wie.
- Poproś o coś, czego musi odmówić, na przykład o poradę lub dane innych klientów.
- Spróbuj wprowadzić go w błąd pewnym siebie, fałszywym stwierdzeniem i sprawdź, czy po prostu się nie zgadza.
Dlaczego pojawiają się zmyślone odpowiedzi, wyjaśnia artykuł Halucynacje Voice AI, a o tym, jak wykorzystywana jest wiedza, piszemy w artykule Wyszukiwanie wiedzy dla agentów głosowych.
Testowanie tego, co agent słyszy
Agenci głosowi często zawodzą na etapie słuchania. Typowe kłopoty to nazwiska, kody pocztowe, numery telefonów i daty. Testuj na prawdziwych telefonach, a nie tylko z mikrofonem komputera, i uwzględnij hałas w tle, tryb głośnomówiący oraz słaby zasięg komórkowy.
| Co sprawdzić | Jak | Na co zwrócić uwagę |
|---|---|---|
| Nazwiska | Przeliteruj i wypowiedz nietypowe nazwiska | Poprawny zapis lub uprzejma prośba o powtórzenie |
| Liczby | Podyktuj numer telefonu i datę | Poprawne cyfry i ich powtórzenie przez agenta |
| Akcenty | Poproś o pomoc osoby z różnymi akcentami | Mniej nieporozumień i płynne wychodzenie z nich |
| Hałas | Zadzwoń z ruchliwego miejsca | Brak fałszywych reakcji i jasne prośby o powtórzenie |
Liczby i nazwiska w Voice AI oraz Rozpoznawanie mowy w dźwięku telefonicznym omawiają te problemy dokładniej.
Testowanie przebiegu rozmowy
Treść może być poprawna, a rozmowa i tak niezręczna. Zwróć uwagę na powitanie, tempo, to, czy agent nie mówi jednocześnie z rozmówcą, jak radzi sobie z ciszą i jak kończy rozmowę. Przerywaj mu, milcz, mów „halo?” i zmieniaj zdanie w połowie.
Zachowania, które warto wypróbować
- PrzerywanieMów jednocześnie z agentem i sprawdź, czy milknie i słucha.
- CiszaNic nie mów i sprawdź, czy uprzejmie dopytuje, a potem rozsądnie kończy rozmowę.
- Zmiana zdaniaZmień temat w trakcie odpowiedzi i sprawdź, czy agent za tym podąża.
- ZakończeniePodziękuj i pożegnaj się, a następnie sprawdź, czy połączenie kończy się poprawnie.
Tu mieści się też szybkość. Zapisuj długie pauzy i ich przyczyny. Typowe powody wyjaśnia artykuł Opóźnienia w Voice AI.
Testowanie przekazania i bezpieczeństwa
Każdy agent głosowy potrzebuje drogi do człowieka dla spraw, których nie może lub nie powinien obsługiwać. Przetestuj ją w każdej sytuacji: w godzinach pracy, poza nimi, gdy nikt nie odbiera i gdy rozmówca jest w trudnym stanie. Wypróbuj sformułowania oznaczające pilną sprawę. Sprawdź, czy agent nigdy nie podaje się za człowieka i nie obiecuje rzeczy, których nie może spełnić, na przykład potwierdzonej rezerwacji.
Kontrola przekazania
- Prośba o człowieka w godzinach pracy trafia do właściwych osób
- Prośba poza godzinami pracy kończy się uczciwym komunikatem i możliwością zostawienia danych
- Jeśli nikt nie odbiera, rozmówca może zostawić wiadomość
- Rozmówcy w pilnej lub trudnej sytuacji są szybko przekazywani dalej
- Agent zapytany o to, kim jest, przedstawia się jako AI
- Wrażliwe dane nie są zbierane, gdy nie powinny
Testowanie zapisów i logów
Połączenie ma dwa wyniki: to, czego doświadczył rozmówca, i to, co zapisujesz. Po każdym teście sprawdź podsumowanie, transkrypcję, pozostawioną wiadomość i ewentualne zadanie do wykonania. Czy nazwiska i numery są poprawne? Czy powód połączenia opisano trafnie? Czy podsumowanie czegoś nie zmyśla? Idealna rozmowa z błędnym zapisem i tak wysyła zespół w złym kierunku. Zobacz Podsumowania połączeń przez AI.
Decyzja: zaliczone czy nie
Zanim zaczniesz, zapisz regułę, która decyduje, czy agent może wystartować. Może być prosta: żadnych zmyślonych odpowiedzi w zestawie testowym, wszystkie przypadki przekazania działają, a określona część częstych pytań otrzymuje poprawną odpowiedź. Zapis na piśmie chroni przed startem wymuszonym presją terminu.
Decyzje o starcie
| Kryterium spisane wcześniej | Ocena po fakcie | |
|---|---|---|
| Jasność | Wszyscy znają poprzeczkę | Poprzeczka zmienia się z nastrojem |
| Presja | Łatwo powiedzieć „jeszcze nie” | Trudno oprzeć się terminowi |
| Nauka | Błędy wskazują poprawki | Błędy stają się tematem sporów |
| Dokumentacja | Wyniki można porównywać w czasie | Nie ma z czym porównać |
Prowadź dziennik każdego testu: data, wersja agenta, osoba dzwoniąca, pytanie, wynik i poprawka. Gdy zmieniasz prompt lub wiedzę, powtórz wcześniejsze testy, bo poprawki czasem psują coś innego.
Opłaca się też testować ciche błędy, na które żaden rozmówca się nie poskarży, ale które z czasem kosztują. Sprawdź, czy połączenie zakończone przedwcześnie nadal daje sensowny zapis, czy rozmówca, który rozłącza się w pół zdania, nie zostawia po sobie niedokończonego zadania i czy osoby dzwoniące ponownie są obsługiwane spójnie. Takie przypadki rzadko trafiają do pierwszego planu testów, a stanowią zaskakująco dużą część prawdziwego ruchu.
Po starcie
Testowanie nie kończy się w chwili uruchomienia agenta. Zacznij od ograniczonego zakresu, na przykład godzin poza pracą lub przepełnienia, w pierwszym tygodniu codziennie odsłuchuj próbkę prawdziwych połączeń i rozszerzaj zakres, gdy poczujesz się pewnie. Przeglądaj pytania, na które agent nie umiał odpowiedzieć, i uzupełniaj brakującą wiedzę. Zachowaj możliwość powrotu do poprzedniej wersji, jeśli zmiana pogorszy sytuację. Dobrym uzupełnieniem jest artykuł Pierwszy tydzień Twojej recepcji AI.
Testowanie w Call
Call daje kilka sposobów, by przetestować agenta AI, zanim zrobią to rozmówcy. Piaskownica w sekcji Agenci AI pozwala rozmawiać z agentem na czacie, pokazuje, ile notatek z wiedzy pasowało do każdej odpowiedzi, i wyświetla ich listę, a także pozwala ocenić odpowiedź lub nauczyć agenta lepszej. Połączenie testowe agenta dzwoni na Twój telefon przez jego linię, więc słyszysz go tak, jak rozmówca; każdy taki test to prawdziwe, płatne połączenie. Kreator konfiguracji oferuje też rozmowę na ekranie, połączenie na Twój telefon oraz zlecenie agentowi zadzwonienia pod wskazany numer. Kontrola gotowości, przeprowadzana bez dzwonienia do kogokolwiek, pokazuje, czego jeszcze brakuje do połączenia AI z danej linii.
Rozmowy ćwiczebne w sekcji Agenci AI, Czego się nauczył, pozwalają rozmówcom AI dzwonić do Twoich agentów po japońsku i po angielsku. Każda rozmowa jest oceniana, a wnioski czekają na Twój przegląd, więc nic nie zmienia się bez Ciebie. Przed ryzykowną zmianą zapisz punkt przywracania agenta, aby móc się wycofać, a opcjami Ustaw na żywo i Ustaw jako wersję roboczą decyduj, kiedy agent odbiera połączenia. Samą konfigurację opisuje artykuł Konfiguracja agenta AI w Call.
Najczęstsze pytania
Ile połączeń testowych wystarczy?
Tyle, by objąć każde częste pytanie, każdy przypadek przekazania i próbkę trudnych zachowań. W przypadku małego agenta mogą to być dziesiątki połączeń; testuj, dopóki nowe testy przestaną ujawniać nowe problemy.
Kto powinien testować agenta?
Osoby, które go nie budowały, w tym takie, które mają różne akcenty i nawyki telefoniczne. Pytają w sposób, o którym twórca nigdy by nie pomyślał.
Czy testować na prawdziwym telefonie?
Tak. Dźwięk telefoniczny ma węższe pasmo i więcej szumów niż dźwięk z komputera, a wiele problemów pojawia się dopiero na prawdziwej linii.
Co uznać za poważny błąd?
Zmyśloną odpowiedź podaną z pewnością, nieudane przekazanie lub zapis, który kieruje zespół w złą stronę. Takie błędy powinny blokować start.
Czy po drobnych zmianach trzeba testować ponownie?
Tak, przynajmniej podstawowy zestaw. Drobne zmiany w prompcie lub wiedzy mogą zmienić odpowiedzi w innych miejscach.
Na co zwracać uwagę po uruchomieniu?
Na początku codziennie odsłuchuj próbkę połączeń, zapisuj pytania, na które agent nie umiał odpowiedzieć, i śledź przekazania oraz skargi. Co tydzień uzupełniaj wiedzę.