Technologia głosowej AI

Jak działa głosowa AI: rozpoznawanie mowy, LLM i synteza mowy

Przystępny przewodnik po potoku głosowej AI: mowa na tekst, model językowy, synteza mowy, a także zmiana tur, opóźnienia i bezpieczne przekazania rozmowy.

Redakcja Call · Opublikowano · Czas czytania: 5 min

Rozmowa telefoniczna z agentem AI może wydawać się magią albo łamigłówką, zależnie od tego, czy działa. Za nią stoi dość prosty pomysł: zamienić głos rozmówcy na tekst, pozwolić modelowi językowemu zdecydować, co powiedzieć, i zamienić odpowiedź z powrotem w mowę, wszystko na tyle szybko, by przypominało rozmowę. Ten poradnik wyjaśnia każdy etap, gdzie coś idzie nie tak i co to oznacza dla konfiguracji agenta. Szerszy obraz zaczyna się w artykule Czym jest recepcja telefoniczna AI?.

Telefon obok schematu fal dźwiękowych zamienianych na tekst i z powrotem w mowę
Obraz poglądowy

Podstawowa pętla rozmowy głosowej AI

  1. SłuchanieDźwięk od rozmówcy jest przechwytywany i oczyszczany.
  2. TranskrypcjaZamiana mowy na tekst przekształca dźwięk w słowa.
  3. DecyzjaModel językowy wybiera, co powiedzieć lub zrobić dalej.
  4. MówienieSynteza mowy zamienia odpowiedź w dźwięk.
  5. PowtórkaPętla działa w każdej turze, aż rozmowa się skończy lub zostanie przekazana.

Etap pierwszy: zamiana mowy na tekst

Rozpoznawanie mowy zamienia dźwięk w słowa. Na linii telefonicznej dźwięk jest wąskopasmowy i skompresowany, co czyni go trudniejszym niż nagranie studyjne. Akcenty, hałas w tle, mówienie jedno przez drugie i nietypowe nazwy wpływają na dokładność. Nowoczesne systemy radzą sobie dobrze z codzienną mową, ale liczby, pisownia, nazwiska i słowa specjalistyczne, takie jak leki lub nazwy ulic, to częste słabe punkty.

Więcej szczegółów znajdziesz w artykułach rozpoznawanie mowy w rozmowach telefonicznych, obsługa liczb i nazwisk oraz akcenty i dialekty.

Etap drugi: model językowy

Duży model językowy czyta dotychczasową transkrypcję wraz z napisanymi przez Ciebie instrukcjami i dostarczonymi informacjami, a następnie tworzy kolejną odpowiedź. Sam niczego nie wyszukuje; polega na tym, co mu dano. Dlatego prompt i baza wiedzy mają tak duże znaczenie. Model może brzmieć płynnie, a się mylić, dlatego zabezpieczenia i testowanie są niezbędne.

Co kształtuje odpowiedź modelu

  • InstrukcjeRola, ton, zasady i granice, które mu dajesz.
  • WiedzaDokumenty, pytania i odpowiedzi oraz fakty, z których może korzystać.
  • Dotychczasowa rozmowaCo zostało powiedziane w tej rozmowie.
  • NarzędziaDziałania, które może podjąć, takie jak sprawdzenie zamówienia lub zapisanie wiadomości.

Dalej prowadzą artykuły, takie jak pisanie promptów dla telefonicznego agenta, RAG dla agentów głosowych, halucynacje i zabezpieczenia. Prompt, który mówi, co zrobić, gdy agent nie jest pewien, na przykład zaproponować człowieka lub przyjąć wiadomość, zapobiega wielu problemom.

Etap trzeci: synteza mowy

Synteza mowy zamienia odpowiedź w dźwięk. Głosy różnią się wyrazistością, ciepłem i sposobem obsługi pauz, liczb i nazw w Twoim języku. Niektóre można dostrajać lub poprawiać słownikiem wymowy. Wybierz głos ze względu na wyrazistość na linii telefonicznej, a nie nowość, i przetestuj go na frazach, które faktycznie wypowie. Przykład problemów specyficznych dla języka podaje artykuł synteza mowy w języku japońskim, a o zgodzie i ryzyku przy użyciu własnego głosu artykuł klonowanie głosu.

Dlaczego czas decyduje o doświadczeniu

Ludzka rozmowa ma szybkie tury. Przerwa dłuższa niż około sekundy wydaje się dziwna. W trzyetapowym potoku każdy krok dodaje opóźnienie, a model może potrzebować czasu na namysł. Projektanci zmniejszają opóźnienie przez strumieniowanie: zaczynanie mówienia, zanim cała odpowiedź jest gotowa, i zaczynanie transkrypcji, zanim rozmówca skończy. Dostrajają też moment uznania, że rozmówca skończył.

Potok a model mowa-do-mowy

Trzyetapowy potokModel mowa-do-mowy
Jak działaOddzielne rozpoznawanie, model i głosJeden model obsługuje dźwięk na wejściu i wyjściu
KontrolaKażdy etap można dostrajać lub wymieniaćMniej widoczny, bardziej zintegrowany
OpóźnienieSumuje się między etapamiMoże być niższe
TranskrypcjaTekst dostępny na każdym krokuMoże wymagać dodatkowej pracy, by uzyskać tekst
DojrzałośćSzeroko stosowanyNowszy, szybko się zmienia

Modele mowa-do-mowy to nowsze podejście. W obu przypadkach opóźnienie, przerywanie i zmiana tur decydują o tym, czy agent wydaje się naturalny.

Przerywanie

Ludzie przerywają. Dobry agent przestaje mówić, gdy rozmówca zaczyna, i nie bierze kaszlnięcia ani głosu w tle za przerwanie. Zależy to od wykrywania mowy, opisanego w artykule wykrywanie aktywności głosowej. Słabo dostrojone systemy albo mówią ponad rozmówcami, albo czekają zbyt długo.

Narzędzia, wiedza i działania

Agent głosowy staje się użyteczny, gdy potrafi więcej niż rozmawiać. Dzięki podłączonym narzędziom może wyszukiwać informacje, zapisywać wiadomość, notować prośbę o oddzwonienie lub przekazywać rozmowę człowiekowi. Każde narzędzie powinno mieć wąski cel i jasne zasady. Agent może przyjąć prośbę o wizytę; jej potwierdzenie to co innego, i wiele firm woli, by potwierdzał ją człowiek. Wywoływanie funkcji wyjaśnia, jak narzędzia są opisywane modelowi.

Co dzieje się z dźwiękiem i tekstem

Każdy etap obsługuje dane osobowe. Dźwięk zawiera głos; transkrypcja zawiera to, co powiedziano, często w tym imiona i nazwiska, adresy i powody rozmowy. Zanim wdrożysz, dowiedz się, gdzie działa każdy etap, co jest przechowywane, jak długo i kto może to czytać. Zdecyduj, czy dane wrażliwe, takie jak płatności lub informacje zdrowotne, w ogóle powinny być zbierane przez agenta, czy przekazywane człowiekowi. Projektowanie głosowej AI z myślą o prywatności omawia to szerzej.

Utrzymaj wąskie zadanie agenta. Agent, który odpowiada na częste pytania, przyjmuje wiadomość i przekazuje rozmowę, łatwiej testować, łatwiej wyjaśnić rozmówcom i łatwiej utrzymać w granicach obietnic prywatności niż taki, który próbuje robić wszystko.

Czego spodziewać się w praktyce

Spodziewaj się dobrego wyniku w prostych, przewidywalnych rozmowach: godziny otwarcia, dojazd, podstawowe pytania, przyjmowanie wiadomości. Spodziewaj się większych trudności w rozmowach długich, emocjonalnych lub niejednoznacznych, przy silnych akcentach, złych liniach i prośbach wymagających oceny. Rozsądne wdrożenie zaczyna się od niewielkiego zestawu rodzajów rozmów, na początku słucha każdej rozmowy, a potem poszerza zakres w miarę wzrostu pewności. Warto pamiętać, że agent jest zaprojektowany do pomocy w określonych zadaniach, a nie do zastępowania osądu.

Gdzie coś idzie nie tak

Projektuj z myślą o tym. Spraw, by łatwo było dotrzeć do człowieka, utrzymuj krótkie odpowiedzi, potwierdzaj ważne szczegóły, takie jak liczby i daty, i regularnie przeglądaj prawdziwe rozmowy. Testowanie agenta głosowego oraz metryki oceny wyjaśniają, jak.

Jak to zrobić w Call

W Call agent AI jest zbudowany z persony i promptu, głosu, języka i źródeł wiedzy, a następnie testowany na ekranie i przez telefon, zanim zostanie włączony dla linii. Call pozwala wybierać spośród głosów, dostrajać wymowę słownikiem, regulować sposób rozpoznawania mowy i aktualizować źródła. Agent jest zaprojektowany tak, by łączyć rozmówców z człowiekiem na prośbę, i może przyjąć wiadomość. Dopóki nie włączysz agenta dla linii, rozmowy dzwonią do Twojego zespołu. Zawsze najpierw testuj na własnych rozmowach. Konfiguracja agenta AI w Call prowadzi przez kroki.

Najczęstsze pytania

Jakie są trzy części głosowego agenta AI?

Zamiana mowy na tekst, aby słyszeć rozmówcę, model językowy, aby decydować, co powiedzieć, i synteza mowy, aby wypowiedzieć odpowiedź. Niektóre nowsze systemy łączą je w jedno.

Dlaczego AI czasem robi pauzę przed odpowiedzią?

Każdy etap zajmuje czas, a system musi uznać, że rozmówca skończył mówić. Strumieniowanie i dostrajanie mogą skrócić przerwę, ale jej nie usuną.

Czy AI może coś zmyślać?

Tak. Model językowy może tworzyć wiarygodnie brzmiące, ale błędne odpowiedzi. Daj mu dobrą wiedzę, jasne granice i instrukcję, by proponował człowieka, gdy nie jest pewien.

Czy agent głosowy może umawiać wizyty?

Może przyjąć prośbę i przekazać ją dalej. Wiele firm woli, by potwierdzał ją człowiek, więc zdecyduj, co agent może obiecywać.

Czy rozmówcy muszą wiedzieć, że to AI?

W wielu miejscach ludzie tego oczekują lub mają do tego prawo. Powiedz to wyraźnie na początku rozmowy i sprawdź obowiązujące Cię zasady.

Jak sprawdzić, że to działa?

Testuj na prawdziwych rozmowach z różnymi akcentami i poziomami hałasu, słuchaj wyników i prowadź listę pytań, którą uruchamiasz ponownie po każdej zmianie.

Wypróbuj głosowego agenta AI na własnej linii w Call

W konsoli demo możesz wypróbować połączenia przychodzące w symulacji.

Powiązane poradniki