Technologia głosowej AI

Jak przetestować agenta Voice AI przed wdrożeniem: praktyczny plan

Plan testów telefonicznego agenta Voice AI krok po kroku: scenariusze, poprawność, rozumienie mowy, przebieg, przekazanie, zapisy i jasna decyzja o starcie.

Redakcja Call · Opublikowano · Czas czytania: 5 min

Agent głosowy, który dobrze odpowiada w cichym biurze, w obecności osoby, która go zbudowała, może zachowywać się zupełnie inaczej na rogu ruchliwej ulicy, gdy rozmówca mamrocze. Większość problemów po wdrożeniu nie jest tajemnicza: to rzeczy, których nikt nie sprawdził. Uporządkowany plan testów wykrywa je wtedy, gdy ich naprawa jest jeszcze tania.

Osoba testująca jakość w zestawie słuchawkowym sprawdza scenariusz rozmowy na laptopie
Obraz poglądowy

Ten poradnik daje praktyczny plan: co przygotować, jakie sześć obszarów przetestować, jak oceniać wyniki i co robić po starcie. Na końcu opisujemy narzędzia w Call. Wskaźniki, na których opiera się ocena, znajdziesz w artykule Wskaźniki oceny Voice AI.

Przygotowanie testów

Zacznij od listy prawdziwych połączeń. Zbierz pytania, które ludzie faktycznie zadają, z e-maili, pamięci pracowników i notatek z rozmów. Dodaj te kłopotliwe: zdenerwowanego rozmówcę, rozmówcę, który mówi niejasno, i takiego, który prosi o coś, czego nie oferujesz. Dobry zestaw testowy łączy przypadki częste, rzadkie i trudne.

Od scenariusza do startu

  1. Napisz scenariusze testowePrawdziwe pytania, każde z poprawną odpowiedzią.
  2. Przetestuj treśćCzy agent odpowiada poprawnie i trzyma się ustalonych granic.
  3. Przetestuj rozumienie mowyCzy rozumie nazwiska, liczby i akcenty.
  4. Przetestuj przebiegCzy rozmowa toczy się naturalnie i dobrze się kończy.
  5. Przetestuj przekazanieCzy działają prośby o rozmowę z człowiekiem i sprawy pilne.
  6. Sprawdź zapisyCzy podsumowania, wiadomości i logi są poprawne.
  7. ZdecydujPorównaj wyniki z kryterium zaliczenia i podejmij decyzję.

Ustal, kto testuje. Zaangażuj osoby, które nie budowały agenta, bo będą pytać w nieoczekiwany sposób. Jeśli Twoi rozmówcy mówią z regionalnym akcentem lub w kilku językach, uwzględnij również te głosy.

Testowanie treści

Pierwsze pytanie brzmi: czy agent mówi prawdę? Zadaj każde pytanie z listy i porównaj odpowiedź z poprawną. Oznacz każdą jako poprawną, częściowo poprawną, błędną lub zmyśloną. Najważniejsza jest odpowiedź zmyślona, w której agent podaje coś, czego nigdy nie dostał, bo rozmówcy w nią wierzą.

Dlaczego pojawiają się zmyślone odpowiedzi, wyjaśnia artykuł Halucynacje Voice AI, a o tym, jak wykorzystywana jest wiedza, piszemy w artykule Wyszukiwanie wiedzy dla agentów głosowych.

Testowanie tego, co agent słyszy

Agenci głosowi często zawodzą na etapie słuchania. Typowe kłopoty to nazwiska, kody pocztowe, numery telefonów i daty. Testuj na prawdziwych telefonach, a nie tylko z mikrofonem komputera, i uwzględnij hałas w tle, tryb głośnomówiący oraz słaby zasięg komórkowy.

Co sprawdzićJakNa co zwrócić uwagę
NazwiskaPrzeliteruj i wypowiedz nietypowe nazwiskaPoprawny zapis lub uprzejma prośba o powtórzenie
LiczbyPodyktuj numer telefonu i datęPoprawne cyfry i ich powtórzenie przez agenta
AkcentyPoproś o pomoc osoby z różnymi akcentamiMniej nieporozumień i płynne wychodzenie z nich
HałasZadzwoń z ruchliwego miejscaBrak fałszywych reakcji i jasne prośby o powtórzenie

Liczby i nazwiska w Voice AI oraz Rozpoznawanie mowy w dźwięku telefonicznym omawiają te problemy dokładniej.

Testowanie przebiegu rozmowy

Treść może być poprawna, a rozmowa i tak niezręczna. Zwróć uwagę na powitanie, tempo, to, czy agent nie mówi jednocześnie z rozmówcą, jak radzi sobie z ciszą i jak kończy rozmowę. Przerywaj mu, milcz, mów „halo?” i zmieniaj zdanie w połowie.

Zachowania, które warto wypróbować

  • PrzerywanieMów jednocześnie z agentem i sprawdź, czy milknie i słucha.
  • CiszaNic nie mów i sprawdź, czy uprzejmie dopytuje, a potem rozsądnie kończy rozmowę.
  • Zmiana zdaniaZmień temat w trakcie odpowiedzi i sprawdź, czy agent za tym podąża.
  • ZakończeniePodziękuj i pożegnaj się, a następnie sprawdź, czy połączenie kończy się poprawnie.

Tu mieści się też szybkość. Zapisuj długie pauzy i ich przyczyny. Typowe powody wyjaśnia artykuł Opóźnienia w Voice AI.

Testowanie przekazania i bezpieczeństwa

Każdy agent głosowy potrzebuje drogi do człowieka dla spraw, których nie może lub nie powinien obsługiwać. Przetestuj ją w każdej sytuacji: w godzinach pracy, poza nimi, gdy nikt nie odbiera i gdy rozmówca jest w trudnym stanie. Wypróbuj sformułowania oznaczające pilną sprawę. Sprawdź, czy agent nigdy nie podaje się za człowieka i nie obiecuje rzeczy, których nie może spełnić, na przykład potwierdzonej rezerwacji.

Kontrola przekazania

  • Prośba o człowieka w godzinach pracy trafia do właściwych osób
  • Prośba poza godzinami pracy kończy się uczciwym komunikatem i możliwością zostawienia danych
  • Jeśli nikt nie odbiera, rozmówca może zostawić wiadomość
  • Rozmówcy w pilnej lub trudnej sytuacji są szybko przekazywani dalej
  • Agent zapytany o to, kim jest, przedstawia się jako AI
  • Wrażliwe dane nie są zbierane, gdy nie powinny

Testowanie zapisów i logów

Połączenie ma dwa wyniki: to, czego doświadczył rozmówca, i to, co zapisujesz. Po każdym teście sprawdź podsumowanie, transkrypcję, pozostawioną wiadomość i ewentualne zadanie do wykonania. Czy nazwiska i numery są poprawne? Czy powód połączenia opisano trafnie? Czy podsumowanie czegoś nie zmyśla? Idealna rozmowa z błędnym zapisem i tak wysyła zespół w złym kierunku. Zobacz Podsumowania połączeń przez AI.

Decyzja: zaliczone czy nie

Zanim zaczniesz, zapisz regułę, która decyduje, czy agent może wystartować. Może być prosta: żadnych zmyślonych odpowiedzi w zestawie testowym, wszystkie przypadki przekazania działają, a określona część częstych pytań otrzymuje poprawną odpowiedź. Zapis na piśmie chroni przed startem wymuszonym presją terminu.

Decyzje o starcie

Kryterium spisane wcześniejOcena po fakcie
JasnośćWszyscy znają poprzeczkęPoprzeczka zmienia się z nastrojem
PresjaŁatwo powiedzieć „jeszcze nie”Trudno oprzeć się terminowi
NaukaBłędy wskazują poprawkiBłędy stają się tematem sporów
DokumentacjaWyniki można porównywać w czasieNie ma z czym porównać

Prowadź dziennik każdego testu: data, wersja agenta, osoba dzwoniąca, pytanie, wynik i poprawka. Gdy zmieniasz prompt lub wiedzę, powtórz wcześniejsze testy, bo poprawki czasem psują coś innego.

Opłaca się też testować ciche błędy, na które żaden rozmówca się nie poskarży, ale które z czasem kosztują. Sprawdź, czy połączenie zakończone przedwcześnie nadal daje sensowny zapis, czy rozmówca, który rozłącza się w pół zdania, nie zostawia po sobie niedokończonego zadania i czy osoby dzwoniące ponownie są obsługiwane spójnie. Takie przypadki rzadko trafiają do pierwszego planu testów, a stanowią zaskakująco dużą część prawdziwego ruchu.

Po starcie

Testowanie nie kończy się w chwili uruchomienia agenta. Zacznij od ograniczonego zakresu, na przykład godzin poza pracą lub przepełnienia, w pierwszym tygodniu codziennie odsłuchuj próbkę prawdziwych połączeń i rozszerzaj zakres, gdy poczujesz się pewnie. Przeglądaj pytania, na które agent nie umiał odpowiedzieć, i uzupełniaj brakującą wiedzę. Zachowaj możliwość powrotu do poprzedniej wersji, jeśli zmiana pogorszy sytuację. Dobrym uzupełnieniem jest artykuł Pierwszy tydzień Twojej recepcji AI.

Testowanie w Call

Call daje kilka sposobów, by przetestować agenta AI, zanim zrobią to rozmówcy. Piaskownica w sekcji Agenci AI pozwala rozmawiać z agentem na czacie, pokazuje, ile notatek z wiedzy pasowało do każdej odpowiedzi, i wyświetla ich listę, a także pozwala ocenić odpowiedź lub nauczyć agenta lepszej. Połączenie testowe agenta dzwoni na Twój telefon przez jego linię, więc słyszysz go tak, jak rozmówca; każdy taki test to prawdziwe, płatne połączenie. Kreator konfiguracji oferuje też rozmowę na ekranie, połączenie na Twój telefon oraz zlecenie agentowi zadzwonienia pod wskazany numer. Kontrola gotowości, przeprowadzana bez dzwonienia do kogokolwiek, pokazuje, czego jeszcze brakuje do połączenia AI z danej linii.

Rozmowy ćwiczebne w sekcji Agenci AI, Czego się nauczył, pozwalają rozmówcom AI dzwonić do Twoich agentów po japońsku i po angielsku. Każda rozmowa jest oceniana, a wnioski czekają na Twój przegląd, więc nic nie zmienia się bez Ciebie. Przed ryzykowną zmianą zapisz punkt przywracania agenta, aby móc się wycofać, a opcjami Ustaw na żywo i Ustaw jako wersję roboczą decyduj, kiedy agent odbiera połączenia. Samą konfigurację opisuje artykuł Konfiguracja agenta AI w Call.

Najczęstsze pytania

Ile połączeń testowych wystarczy?

Tyle, by objąć każde częste pytanie, każdy przypadek przekazania i próbkę trudnych zachowań. W przypadku małego agenta mogą to być dziesiątki połączeń; testuj, dopóki nowe testy przestaną ujawniać nowe problemy.

Kto powinien testować agenta?

Osoby, które go nie budowały, w tym takie, które mają różne akcenty i nawyki telefoniczne. Pytają w sposób, o którym twórca nigdy by nie pomyślał.

Czy testować na prawdziwym telefonie?

Tak. Dźwięk telefoniczny ma węższe pasmo i więcej szumów niż dźwięk z komputera, a wiele problemów pojawia się dopiero na prawdziwej linii.

Co uznać za poważny błąd?

Zmyśloną odpowiedź podaną z pewnością, nieudane przekazanie lub zapis, który kieruje zespół w złą stronę. Takie błędy powinny blokować start.

Czy po drobnych zmianach trzeba testować ponownie?

Tak, przynajmniej podstawowy zestaw. Drobne zmiany w prompcie lub wiedzy mogą zmienić odpowiedzi w innych miejscach.

Na co zwracać uwagę po uruchomieniu?

Na początku codziennie odsłuchuj próbkę połączeń, zapisuj pytania, na które agent nie umiał odpowiedzieć, i śledź przekazania oraz skargi. Co tydzień uzupełniaj wiedzę.

Wykonuj połączenia testowe i rozmowy ćwiczebne z agentem AI w Call

W konsoli demo możesz wypróbować połączenia przychodzące w symulacji.

Powiązane poradniki