Jak działa głosowa AI: rozpoznawanie mowy, LLM i synteza mowy
Przystępny przewodnik po potoku głosowej AI: mowa na tekst, model językowy, synteza mowy, a także zmiana tur, opóźnienia i bezpieczne przekazania rozmowy.
Rozmowa telefoniczna z agentem AI może wydawać się magią albo łamigłówką, zależnie od tego, czy działa. Za nią stoi dość prosty pomysł: zamienić głos rozmówcy na tekst, pozwolić modelowi językowemu zdecydować, co powiedzieć, i zamienić odpowiedź z powrotem w mowę, wszystko na tyle szybko, by przypominało rozmowę. Ten poradnik wyjaśnia każdy etap, gdzie coś idzie nie tak i co to oznacza dla konfiguracji agenta. Szerszy obraz zaczyna się w artykule Czym jest recepcja telefoniczna AI?.

Podstawowa pętla rozmowy głosowej AI
- SłuchanieDźwięk od rozmówcy jest przechwytywany i oczyszczany.
- TranskrypcjaZamiana mowy na tekst przekształca dźwięk w słowa.
- DecyzjaModel językowy wybiera, co powiedzieć lub zrobić dalej.
- MówienieSynteza mowy zamienia odpowiedź w dźwięk.
- PowtórkaPętla działa w każdej turze, aż rozmowa się skończy lub zostanie przekazana.
Etap pierwszy: zamiana mowy na tekst
Rozpoznawanie mowy zamienia dźwięk w słowa. Na linii telefonicznej dźwięk jest wąskopasmowy i skompresowany, co czyni go trudniejszym niż nagranie studyjne. Akcenty, hałas w tle, mówienie jedno przez drugie i nietypowe nazwy wpływają na dokładność. Nowoczesne systemy radzą sobie dobrze z codzienną mową, ale liczby, pisownia, nazwiska i słowa specjalistyczne, takie jak leki lub nazwy ulic, to częste słabe punkty.
- Rozpoznawanie strumieniowe tworzy słowa, gdy rozmówca jeszcze mówi, co oszczędza czas.
- Rozpoznawacze często potrzebują podpowiedzi, takich jak lista nazw produktów lub miejsc, aby działać lepiej.
- Pewność siebie to nie pewność; system może być pewny siebie i się mylić.
- Nasłuchiwanie końca tury to osobne zadanie od rozpoznawania słów.
Więcej szczegółów znajdziesz w artykułach rozpoznawanie mowy w rozmowach telefonicznych, obsługa liczb i nazwisk oraz akcenty i dialekty.
Etap drugi: model językowy
Duży model językowy czyta dotychczasową transkrypcję wraz z napisanymi przez Ciebie instrukcjami i dostarczonymi informacjami, a następnie tworzy kolejną odpowiedź. Sam niczego nie wyszukuje; polega na tym, co mu dano. Dlatego prompt i baza wiedzy mają tak duże znaczenie. Model może brzmieć płynnie, a się mylić, dlatego zabezpieczenia i testowanie są niezbędne.
Co kształtuje odpowiedź modelu
- InstrukcjeRola, ton, zasady i granice, które mu dajesz.
- WiedzaDokumenty, pytania i odpowiedzi oraz fakty, z których może korzystać.
- Dotychczasowa rozmowaCo zostało powiedziane w tej rozmowie.
- NarzędziaDziałania, które może podjąć, takie jak sprawdzenie zamówienia lub zapisanie wiadomości.
Dalej prowadzą artykuły, takie jak pisanie promptów dla telefonicznego agenta, RAG dla agentów głosowych, halucynacje i zabezpieczenia. Prompt, który mówi, co zrobić, gdy agent nie jest pewien, na przykład zaproponować człowieka lub przyjąć wiadomość, zapobiega wielu problemom.
Etap trzeci: synteza mowy
Synteza mowy zamienia odpowiedź w dźwięk. Głosy różnią się wyrazistością, ciepłem i sposobem obsługi pauz, liczb i nazw w Twoim języku. Niektóre można dostrajać lub poprawiać słownikiem wymowy. Wybierz głos ze względu na wyrazistość na linii telefonicznej, a nie nowość, i przetestuj go na frazach, które faktycznie wypowie. Przykład problemów specyficznych dla języka podaje artykuł synteza mowy w języku japońskim, a o zgodzie i ryzyku przy użyciu własnego głosu artykuł klonowanie głosu.
Dlaczego czas decyduje o doświadczeniu
Ludzka rozmowa ma szybkie tury. Przerwa dłuższa niż około sekundy wydaje się dziwna. W trzyetapowym potoku każdy krok dodaje opóźnienie, a model może potrzebować czasu na namysł. Projektanci zmniejszają opóźnienie przez strumieniowanie: zaczynanie mówienia, zanim cała odpowiedź jest gotowa, i zaczynanie transkrypcji, zanim rozmówca skończy. Dostrajają też moment uznania, że rozmówca skończył.
Potok a model mowa-do-mowy
| Trzyetapowy potok | Model mowa-do-mowy | |
|---|---|---|
| Jak działa | Oddzielne rozpoznawanie, model i głos | Jeden model obsługuje dźwięk na wejściu i wyjściu |
| Kontrola | Każdy etap można dostrajać lub wymieniać | Mniej widoczny, bardziej zintegrowany |
| Opóźnienie | Sumuje się między etapami | Może być niższe |
| Transkrypcja | Tekst dostępny na każdym kroku | Może wymagać dodatkowej pracy, by uzyskać tekst |
| Dojrzałość | Szeroko stosowany | Nowszy, szybko się zmienia |
Modele mowa-do-mowy to nowsze podejście. W obu przypadkach opóźnienie, przerywanie i zmiana tur decydują o tym, czy agent wydaje się naturalny.
Przerywanie
Ludzie przerywają. Dobry agent przestaje mówić, gdy rozmówca zaczyna, i nie bierze kaszlnięcia ani głosu w tle za przerwanie. Zależy to od wykrywania mowy, opisanego w artykule wykrywanie aktywności głosowej. Słabo dostrojone systemy albo mówią ponad rozmówcami, albo czekają zbyt długo.
Narzędzia, wiedza i działania
Agent głosowy staje się użyteczny, gdy potrafi więcej niż rozmawiać. Dzięki podłączonym narzędziom może wyszukiwać informacje, zapisywać wiadomość, notować prośbę o oddzwonienie lub przekazywać rozmowę człowiekowi. Każde narzędzie powinno mieć wąski cel i jasne zasady. Agent może przyjąć prośbę o wizytę; jej potwierdzenie to co innego, i wiele firm woli, by potwierdzał ją człowiek. Wywoływanie funkcji wyjaśnia, jak narzędzia są opisywane modelowi.
Co dzieje się z dźwiękiem i tekstem
Każdy etap obsługuje dane osobowe. Dźwięk zawiera głos; transkrypcja zawiera to, co powiedziano, często w tym imiona i nazwiska, adresy i powody rozmowy. Zanim wdrożysz, dowiedz się, gdzie działa każdy etap, co jest przechowywane, jak długo i kto może to czytać. Zdecyduj, czy dane wrażliwe, takie jak płatności lub informacje zdrowotne, w ogóle powinny być zbierane przez agenta, czy przekazywane człowiekowi. Projektowanie głosowej AI z myślą o prywatności omawia to szerzej.
Utrzymaj wąskie zadanie agenta. Agent, który odpowiada na częste pytania, przyjmuje wiadomość i przekazuje rozmowę, łatwiej testować, łatwiej wyjaśnić rozmówcom i łatwiej utrzymać w granicach obietnic prywatności niż taki, który próbuje robić wszystko.
Czego spodziewać się w praktyce
Spodziewaj się dobrego wyniku w prostych, przewidywalnych rozmowach: godziny otwarcia, dojazd, podstawowe pytania, przyjmowanie wiadomości. Spodziewaj się większych trudności w rozmowach długich, emocjonalnych lub niejednoznacznych, przy silnych akcentach, złych liniach i prośbach wymagających oceny. Rozsądne wdrożenie zaczyna się od niewielkiego zestawu rodzajów rozmów, na początku słucha każdej rozmowy, a potem poszerza zakres w miarę wzrostu pewności. Warto pamiętać, że agent jest zaprojektowany do pomocy w określonych zadaniach, a nie do zastępowania osądu.
Gdzie coś idzie nie tak
- Źle usłyszane słowa lub liczby prowadzą do błędnych odpowiedzi.
- Model wymyśla odpowiedź zamiast przyznać, że nie wie.
- Opóźnienia sprawiają, że rozmówcy powtarzają się lub się rozłączają.
- Hałas w tle lub rozmowy nakładające się są brane za mowę.
- Rozmówca chce czegoś spoza zakresu agenta i nie może się wydostać.
Projektuj z myślą o tym. Spraw, by łatwo było dotrzeć do człowieka, utrzymuj krótkie odpowiedzi, potwierdzaj ważne szczegóły, takie jak liczby i daty, i regularnie przeglądaj prawdziwe rozmowy. Testowanie agenta głosowego oraz metryki oceny wyjaśniają, jak.
Jak to zrobić w Call
W Call agent AI jest zbudowany z persony i promptu, głosu, języka i źródeł wiedzy, a następnie testowany na ekranie i przez telefon, zanim zostanie włączony dla linii. Call pozwala wybierać spośród głosów, dostrajać wymowę słownikiem, regulować sposób rozpoznawania mowy i aktualizować źródła. Agent jest zaprojektowany tak, by łączyć rozmówców z człowiekiem na prośbę, i może przyjąć wiadomość. Dopóki nie włączysz agenta dla linii, rozmowy dzwonią do Twojego zespołu. Zawsze najpierw testuj na własnych rozmowach. Konfiguracja agenta AI w Call prowadzi przez kroki.
Najczęstsze pytania
Jakie są trzy części głosowego agenta AI?
Zamiana mowy na tekst, aby słyszeć rozmówcę, model językowy, aby decydować, co powiedzieć, i synteza mowy, aby wypowiedzieć odpowiedź. Niektóre nowsze systemy łączą je w jedno.
Dlaczego AI czasem robi pauzę przed odpowiedzią?
Każdy etap zajmuje czas, a system musi uznać, że rozmówca skończył mówić. Strumieniowanie i dostrajanie mogą skrócić przerwę, ale jej nie usuną.
Czy AI może coś zmyślać?
Tak. Model językowy może tworzyć wiarygodnie brzmiące, ale błędne odpowiedzi. Daj mu dobrą wiedzę, jasne granice i instrukcję, by proponował człowieka, gdy nie jest pewien.
Czy agent głosowy może umawiać wizyty?
Może przyjąć prośbę i przekazać ją dalej. Wiele firm woli, by potwierdzał ją człowiek, więc zdecyduj, co agent może obiecywać.
Czy rozmówcy muszą wiedzieć, że to AI?
W wielu miejscach ludzie tego oczekują lub mają do tego prawo. Powiedz to wyraźnie na początku rozmowy i sprawdź obowiązujące Cię zasady.
Jak sprawdzić, że to działa?
Testuj na prawdziwych rozmowach z różnymi akcentami i poziomami hałasu, słuchaj wyników i prowadź listę pytań, którą uruchamiasz ponownie po każdej zmianie.