Technologia głosowej AI

Modele speech-to-speech a kaskadowe potoki głosowe – porównanie

Dwa sposoby budowy telefonicznego agenta głosowego: modele speech-to-speech i potoki kaskadowe. Mocne i słabe strony obu oraz jak wybierać na podstawie testów.

Redakcja Call · Opublikowano · Czas czytania: 5 min

Gdy słyszysz, jak mówi agent głosowy, zwykle stoi za nim jeden z dwóch projektów. W pierwszym oprogramowanie zamienia mowę dzwoniącego na tekst, model językowy pisze tekstową odpowiedź, a silnik głosowy odczytuje ją na głos. W drugim jeden model słucha dźwięku i odpowiada dźwiękiem. Dostawcy spierają się, co jest lepsze. Uczciwa odpowiedź brzmi: każde podejście coś poświęca.

Inżynierowie porównują przebiegi fal dźwiękowych na ekranie laptopa
Obraz poglądowy

Ten przewodnik porównuje oba prostym językiem, aby przy wyborze platformy łatwiej było zadawać właściwe pytania. Szersze wprowadzenie znajdziesz w artykule Jak działa głosowa AI podczas rozmowy telefonicznej.

Potok kaskadowy

Potok kaskadowy, czasem opisywany jako mowa na tekst, potem model, potem tekst na mowę, od lat jest standardowym podejściem. Każdy etap to osobny komponent, a między nimi przekazywany jest tekst.

Potok kaskadowy

  1. Rozpoznawanie mowyZamienia dźwięk wypowiedzi dzwoniącego na tekst.
  2. Model językowyCzyta tekst wraz z instrukcjami i źródłami i pisze odpowiedź.
  3. Synteza mowyZamienia tekst odpowiedzi na mowę.
  4. TelefoniaPrzenosi dźwięk do dzwoniącego i od niego.

Ponieważ w środku systemu jest zwykły tekst, możesz go czytać, przeszukiwać, przechowywać, sprawdzać pod kątem reguł i wymieniać dowolny etap. Możesz podmienić system rozpoznawania mowy na lepiej radzący sobie z akcentami Twoich dzwoniących albo głos lepiej pasujący do marki.

Podejście speech-to-speech

Model speech-to-speech, określany też jako model end-to-end lub natywnie audio, przetwarza dźwięk bezpośrednio. Słucha samego dźwięku i generuje dźwięk jako wynik, choć wiele takich systemów tworzy też tekst do celów rejestrowania.

Speech-to-speech

  1. Dźwięk na wejściuGłos dzwoniącego trafia prosto do modelu.
  2. Jeden modelInterpretuje znaczenie, ton i wyczucie czasu oraz planuje odpowiedź.
  3. Dźwięk na wyjściuBezpośrednio generuje odpowiedź mówioną.
  4. TelefoniaDźwięk płynie do dzwoniącego i od niego.

Atutem jest to, że między etapami nic nie ginie. Pauza, śmiech, wahanie czy westchnienie mogą wpłynąć na odpowiedź, a model może zacząć mówić wcześniej, bo nie czeka na trzy osobne kroki.

Obok siebie

Kaskada a speech-to-speech

KaskadaSpeech-to-speech
NaturalnośćZależy od każdego etapu; może brzmieć skokowoCzęsto płynniejsza, z zachowanym tempem i tonem
Czas odpowiedziSuma trzech etapów, którą można dostroićPotencjalnie krótszy dzięki mniejszej liczbie przekazań
KontrolaWysoka: reguły można stosować do tekstu na każdym krokuNiższa: trudniej zajrzeć do środka
Transkrypcje i dziennikiNaturalny produkt ubocznyZwykle generowane osobno i mogą różnić się od tego, co powiedziano
Wymiana elementówŁatwa: można zmienić sam system rozpoznawania lub głosOgraniczona do tego, co oferuje model
Wybór głosuSzeroki wybór głosówCzęsto mniejszy zestaw
DojrzałośćDługa historia stosowaniaNowsze, szybko się zmieniają

Do zapewnień o bezwzględnej przewadze podchodź ostrożnie. Jakość różni się między produktami w obrębie każdej kategorii, a wyniki z czystego demo mogą się nie utrzymać przy zaszumionym połączeniu komórkowym.

Co ma znaczenie w rozmowach telefonicznych

Dźwięk telefoniczny jest wąskopasmowy i zaszumiony

Dźwięk telefoniczny jest skompresowany i często zaszumiony. Niezależnie od wybranego projektu sprawdź, jak działa na prawdziwym dźwięku telefonicznym, a nie tylko na nagraniach studyjnych. Ten efekt wyjaśnia artykuł Dlaczego dźwięk telefoniczny utrudnia rozpoznawanie mowy.

Kontrola i audytowalność

Jeśli musisz wykazać, co agent powiedział i dlaczego, tekst na każdym etapie pomaga. Projekt kaskadowy pozwala wstawić kontrolę między odpowiedzią modelu a głosem. W modelu end-to-end bardziej polegasz na mechanizmach kontroli dostawcy i na testach. Przejrzyj artykuł Zabezpieczenia agentów głosowej AI i zdecyduj, co musisz egzekwować.

Przerywanie i wyczucie czasu

Modele natywnie audio często płynniej radzą sobie z nakładaniem się wypowiedzi i przerywaniem, bo słyszą dzwoniącego nieprzerwanie. Systemy kaskadowe opierają się na wykrywaniu mowy i ciszy, by zdecydować, kiedy przestać, a kiedy zacząć mówić; zobacz Wykrywanie aktywności głosowej oraz Zabieranie głosu przez agentów głosowych. Lepsza inżynieria może zmniejszyć tę różnicę, a różnica może się dalej zmieniać.

Języki i akcenty

Sprawdzaj ważne dla Ciebie języki i akcenty w testach, zamiast przyjmować listę z broszury. Model mocny w jednym języku może być słabszy w innym, a to samo dotyczy poszczególnych etapów potoku.

Wybór pod Twoją sytuację

Kilka hipotetycznych scenariuszy pokazuje, jak priorytety ciągną w różne strony.

Pytania do dostawcy

  • Z jakich etapów korzysta system i czy mogę je zmieniać?
  • Czy dostaję transkrypcję każdego połączenia i czy jest to, co usłyszał model?
  • Jak egzekwowane są reguły i limity?
  • Jak system zachowuje się na liniach komórkowych i zaszumionych?
  • Jakie są typowe czasy odpowiedzi w prawdziwych rozmowach telefonicznych?
  • Jak obsługiwane jest przerywanie?
  • Co dzieje się później z dźwiękiem i tekstem?

Gdzie granica się zaciera

Te kategorie nie są tak ostre, jak sugeruje marketing. Wiele produktów speech-to-speech nadal tworzy transkrypcję obok dźwięku, a wiele produktów kaskadowych przesyła wyniki częściowe strumieniowo między etapami, by mowa zaczynała się, zanim model skończy pisać. Niektóre systemy używają modelu natywnie audio do rozmowy i kroku tekstowego do odczytów lub kontroli reguł. Gdy dostawca mówi, że jego produkt jest end-to-end, zapytaj, co dokładnie jest end-to-end i gdzie wciąż pojawia się tekst.

Ma to znaczenie, bo praktyczne pytania się nie zmieniają. Gdzie można przeczytać, co zostało powiedziane? Gdzie można egzekwować regułę? Jak wychwytywana jest błędna odpowiedź? Rozwiązanie hybrydowe, które daje wiarygodną transkrypcję i naturalny głos, może być rozsądnym środkiem, pod warunkiem że możesz zweryfikować obie części.

Uczciwe testowanie

Porównania łatwo nieświadomie zmanipulować. Dla każdego kandydata używaj tego samego scenariusza, tego samego typu linii telefonicznej i tego samego hałasu w tle. Testuj z telefonu komórkowego w samochodzie lub na ulicy, a nie tylko z cichego pokoju. Uwzględnij niezręczne momenty, które zdarzają się prawdziwym dzwoniącym: poprawkę w połowie zdania, przeliterowane nazwisko, pytanie spoza zakresu i prośbę o człowieka.

Oceniaj każde połączenie w kilku prostych punktach: czy odpowiedź była poprawna, czy agent poczekał na dzwoniącego, jak długa była przerwa przed każdą odpowiedzią i jak zakończyła się rozmowa. Skromny zestaw połączeń ocenianych konsekwentnie powie Ci więcej niż dopracowane demo.

Jak podchodzi do tego Call

Praktyczny wniosek jest taki, że architektura ma mniejsze znaczenie niż zachowanie w Twoich rozmowach. W Call agent AI zaczyna mówić, gdy tylko gotowa jest pierwsza część odpowiedzi, przy połączeniach wychodzących przygotowuje powitania z wyprzedzeniem i utrzymuje krótkie odpowiedzi. Ustawiasz głos i opcje transkrypcji, testujesz, dzwoniąc na własny telefon, i czytasz potem rozmowę w historii połączeń. Niezależnie od technologii stosuj ten sam standard: czy odpowiada dokładnie, czy uprzejmie przekazuje rozmowę i czy brzmi akceptowalnie dla Twoich dzwoniących? Miary z artykułu Jak oceniać rozmowy agenta głosowego dotyczą obu podejść.

Najczęstsze pytania

Czym jest model speech-to-speech?

To model, który przyjmuje mowę jako dane wejściowe i tworzy mowę jako wynik, bez osobnego etapu tekstowego między rozpoznawaniem a mową.

Czym jest kaskadowy potok głosowy?

To łańcuch złożony z rozpoznawania mowy, modelu językowego i syntezy mowy, w którym między etapami przekazywany jest tekst.

Które podejście jest bardziej naturalne?

Systemy speech-to-speech często opisuje się jako płynniejsze, ale jakość różni się między produktami. Oceniaj, słuchając rozmów podobnych do Twoich.

Które łatwiej audytować?

Potoki kaskadowe tworzą tekst na każdym kroku, więc dzienniki, kontrole i reguły są prostsze. W przypadku modeli end-to-end dowiedz się, co rejestruje dostawca i jak wiarygodne są te zapisy.

Czy mogę łączyć oba podejścia?

Niektóre platformy je łączą, np. stosując projekt kaskadowy dla określonych połączeń. Zapytaj, jak system obsługuje transkrypcje i reguły w każdym trybie.

Czy wybór wpływa na koszty?

Może, ale ceny i modele się zmieniają, więc poproś dostawcę o aktualne warunki i porównuj je ze zmierzonymi wynikami, a nie z hasłami reklamowymi.

Przetestuj agenta AI na własnej linii telefonicznej w Call

W konsoli demo możesz wypróbować połączenia przychodzące w symulacji.

Powiązane poradniki