Technologia głosowej AI

Dlaczego dźwięk telefoniczny utrudnia rozpoznawanie mowy

Dlaczego wąskopasmowy, skompresowany i zaszumiony dźwięk telefoniczny myli rozpoznawanie mowy, jak rozpoznać objawy i co poprawić w konfiguracji i scenariuszu.

Redakcja Call · Opublikowano · Czas czytania: 5 min

Asystent głosowy, który w demo działa bez zarzutu, w prawdziwej rozmowie może się potykać. Przyczyną rzadko jest model językowy. Zwykle jest nią dźwięk. Linia telefoniczna to nieprzyjazne środowisko dla rozpoznawania mowy, a zrozumienie dlaczego pomaga ustalić realistyczne oczekiwania i usunąć problemy, które da się usunąć.

Osoba rozmawia przez telefon komórkowy na ruchliwej ulicy
Obraz poglądowy

Ten przewodnik śledzi dźwięk od ust dzwoniącego do systemu rozpoznawania i pokazuje, gdzie traci się jakość. Uzupełnia artykuły Rozpoznawanie mowy w rozmowach telefonicznych oraz Wykrywanie aktywności głosowej.

Droga dźwięku w rozmowie telefonicznej

Gdzie dźwięk może ulec uszkodzeniu

  1. MikrofonTelefon lub zestaw słuchawkowy rejestruje głos razem z otoczeniem.
  2. Przetwarzanie w telefonieTłumienie szumów i regulacja wzmocnienia przekształcają dźwięk.
  3. SiećDźwięk jest kompresowany i przesyłany w pakietach przez łącza komórkowe i internetowe.
  4. Platforma telefonicznaPołączenie jest mostkowane, konwertowane, a czasem miksowane.
  5. System rozpoznawaniaDźwięk jest zamieniany na tekst – z jakością, jaka pozostała.

Każdy etap może jakość tylko zachować lub stracić; żaden nie przywróci tego, co już przepadło. Dlatego słaby pierwszy odcinek, np. tryb głośnomówiący w samochodzie, ogranicza wszystko, co następuje dalej.

Dźwięk wąskopasmowy: podstawowe ograniczenie

Tradycyjny dźwięk telefoniczny jest wąskopasmowy: przenosi ograniczony zakres częstotliwości, znacznie mniejszy niż rejestruje mikrofon studyjny. W efekcie słabną dźwięki wysokie, które odróżniają głoski takie jak s, f czy sz. Między s a f albo p a t telefon zostawia niewiele wskazówek. Ludzie radzą sobie dzięki kontekstowi. Oprogramowanie, zwłaszcza przy pojedynczych słowach, takich jak przeliterowane nazwisko, ma mniej kontekstu, na którym może się oprzeć.

Niektóre połączenia korzystają z kodeków szerokopasmowych, które przenoszą więcej szczegółów, co pomaga. To, czy dane połączenie na tym skorzysta, zależy od tego, czy obsługuje to każde ogniwo łańcucha, a połączenia między różnymi sieciami często wracają do najniższego wspólnego formatu.

Dźwięki, które cierpią najbardziej

  • Litery w literowanych słowachB, D, P, T, S i F zlewają się ze sobą, co czyni literowanie głosem zawodnym.
  • Cyfry„Sześć” i „sześćdziesiąt” czy „trzy” i „trzydzieści” mogą się mylić bez dobrego dźwięku.
  • Miękkie spółgłoskiCiche dźwięki na końcach słów giną w szumie.
  • Krótkie słowaMało kontekstu oznacza więcej błędów, jak przy „tak” i „nie” w hałaśliwym otoczeniu.

Inne przyczyny słabego dźwięku

Kompresja i utrata pakietów

Aby oszczędzać pasmo, dźwięk jest kompresowany. Jeśli pakiety sieciowe są opóźnione lub giną, pojawiają się krótkie przerwy lub zniekształcone fragmenty. Człowiek uzupełni brakującą sylabę; system rozpoznawania może podać złe słowo albo żadne.

Hałas w tle i przetwarzanie

Ludzie dzwonią z ulic, kuchni, pojazdów i sklepów. Tłumienie szumów w telefonie może usunąć hałas, ale też uciąć początek słowa lub spłaszczyć cichą mowę. Efektem może być mowa, która dla człowieka brzmi czysto, a dla oprogramowania jest trudniejsza.

Echo i tryb głośnomówiący

Gdy głośnik dzwoniącego wpada do jego mikrofonu, własny głos agenta może wracać jako echo, co może mylić zarówno rozpoznawanie, jak i wykrywanie, kto mówi. Pomaga zachęcanie dzwoniących, by w ważnych sprawach używali słuchawki lub zestawu słuchawkowego.

Niedopasowanie danych treningowych

Wiele systemów rozpoznawania trenowano głównie na czystszych lub szerokopasmowych nagraniach. Dźwięk telefoniczny brzmi inaczej, więc dokładność spada. Niektórzy dostawcy oferują modele dostosowane do telefonii; zapytaj o nie i przetestuj.

Jak to wygląda w transkrypcji

ObjawMożliwa przyczyna w dźwięku
Błędne litery w literowanych nazwiskachWąskopasmowe zlewanie się podobnie brzmiących liter
Zamienione lub pominięte cyfryUtrata pakietów, szum lub szybka mowa
Brakujące słowa na początkuTłumienie szumów w telefonie ucinające początek
Dziwne słowa, które nie padłyEcho lub mowa w tle
Dobra dokładność na telefonach biurkowych, słaba na komórkachSzum i kompresja w sieci komórkowej
Długie przerwy bez tekstuWykrywanie ciszy zawodzi przy cichym głosie

Patrz na nagranie, nie tylko na transkrypcję. Odsłuch pokazuje, czy problemem jest dźwięk, czy rozpoznawanie. Jeśli słyszysz wyraźnie, a system rozpoznawania nie dał rady, to on jest słabym ogniwem; jeśli Ty też masz trudność, popraw dźwięk.

Zmierz problem, zanim go naprawisz

Kuszące jest obwinianie systemu rozpoznawania za każdy błąd. Bardziej wiarygodnym nawykiem jest posortowanie próbki problematycznych połączeń według przyczyny. Weź dwadzieścia połączeń, w których agent coś źle zrozumiał. Przy każdym odsłuchaj nagranie i rozstrzygnij: czy dźwięk był słaby, czy dzwoniący mówił nietypowo szybko lub cicho, czy system rozpoznawania po prostu pomylił się przy wyraźnej mowie, czy może nieporozumienie powstało w modelu językowym mimo poprawnego tekstu?

Często podział zaskakuje. Firma z wieloma dzwoniącymi z komórek może odkryć, że większość błędów to dźwięk; firma ze specjalistycznym słownictwem, np. kodami produktów, może odkryć, że słabym punktem jest rozpoznawanie. Każda przyczyna ma inne lekarstwo, a naprawianie niewłaściwej marnuje tygodnie.

Szukaj też wzorców według pory i trasy połączenia. Jeśli błędy skupiają się o określonej godzinie, przyczyną może być przeciążenie sieci po Twojej stronie. Jeśli skupiają się na połączeniach z jednego regionu lub od jednego operatora, winna może być ścieżka dźwięku. Zanotuj wzorzec, zanim zmienisz jakiekolwiek ustawienie, by później ocenić, czy zmiana zadziałała.

Dbaj o uczciwość próbki, włączając do niej połączenia, które poszły dobrze. Jeśli przeglądasz tylko porażki, nie dowiesz się, czy zmiana, która je naprawia, po cichu nie zepsuła połączeń, które wcześniej działały. Porównanie przed i po na tym samym mieszanym zestawie to najprostsze zabezpieczenie.

Co możesz z tym zrobić

Projektuj rozmowę z myślą o słabym dźwięku

Techniki dotyczące imion i numerów omawia artykuł Jak poprawnie zapisywać imiona, numery i adresy z głosu.

Popraw to, na co masz wpływ

Dźwięk i rozpoznawanie w Call

W Call każdy agent AI ma ustawienia transkrypcji: język, w jakim słucha (może to być automatyczne wykrywanie), próg ciszy i suwak czułości na szum. Dla pracowników korzystających z telefonu w przeglądarce transkrypcja na żywo może zapisywać obie strony rozmowy w trakcie jej trwania, z etykietami „Ty” i „rozmówca”, i zapisać ją wraz z połączeniem. Wymaga to połączenia z operatorem i publicznego adresu, a bez nich panel wyjaśnia przyczynę. Transkrypcje są przechowywane przez ograniczony czas. Używaj ich jako narzędzia diagnostycznego: jeśli tekst na żywo jest słaby przy danym połączeniu, odtwórz nagranie i rozstrzygnij, czy winny jest dźwięk, czy rozpoznawanie. Samo dzwonienie przez przeglądarkę wyjaśnia artykuł Jak działa dzwonienie przez przeglądarkę: WebRTC w praktyce.

Najczęstsze pytania

Dlaczego dźwięk w rozmowie telefonicznej jest gorszy niż wiadomość głosowa na smartfonie?

Połączenia telefoniczne korzystają z wąskiego, skompresowanego dźwięku zaprojektowanego z myślą o zrozumiałości dla ludzi, a nie dla oprogramowania. Aplikacja do wiadomości głosowych zwykle nagrywa bogatszy dźwięk bezpośrednio na urządzeniu.

Czy rozpoznawanie mowy przez telefon może być kiedyś idealne?

Nie. Nawet ludzie mylą się na słabych liniach. Celem jest ograniczenie błędów i zaprojektowanie rozmowy tak, by pomyłki wychwytywało potwierdzenie.

Czy lepszy mikrofon pomaga agentowi AI?

Tak w przypadku Twoich pracowników i dzwoniących używających zestawów słuchawkowych, ale nie masz wpływu na sprzęt dzwoniących. Projektuj z myślą o najgorszym realistycznym dźwięku.

Dlaczego literowane nazwiska są tak trudne?

Na wąskiej linii wiele liter brzmi podobnie, a pojedyncza litera nie ma kontekstu, który by pomógł. Zaproponowanie innego sposobu podania danych lub odczytywanie liter ogranicza błędy.

Czy dostosowywać rozpoznawanie do telefonii?

Jeśli Twoja platforma oferuje modele dostosowane do telefonii lub ustawienia szumu, przetestuj je na prawdziwych połączeniach. Porównuj wyniki, bo właściwe ustawienie zależy od Twoich dzwoniących.

Jak odróżnić błąd dźwięku od błędu rozpoznawania?

Odsłuchaj nagranie. Jeśli człowiek wyraźnie słyszy słowa, a transkrypcja jest błędna, podejrzewaj rozpoznawanie. Jeśli dźwięk jest słaby także dla człowieka, popraw ścieżkę dźwięku.

Sprawdzaj transkrypcje i dźwięk połączeń w Call

W konsoli demo możesz wypróbować połączenia przychodzące w symulacji.

Powiązane poradniki