Teknolohiya ng voice AI

Bakit Mahirap ang Phone Audio para sa Speech Recognition

Bakit nahihirapan ang speech recognition sa narrowband, compressed at maingay na phone audio, paano makita ang mga sintomas at ano ang maaayos sa setup at script.

Editorial team ng Call · Nailathala · 6 min na pagbabasa

Maaaring matisod sa totoong tawag ang voice assistant na perpektong gumagana sa demo. Bihirang ang language model ang dahilan. Kadalasan, ang audio. Mapanganib na lugar para sa speech recognition ang linya ng telepono, at nakakatulong ang pag-alam kung bakit para magtakda ng makatotohanang inaasahan at ayusin ang mga problemang kaya ninyong ayusin.

Isang caller na nagsasalita sa mobile phone sa abalang kalye
Larawang pang-ilustrasyon

Sinusundan ng gabay na ito ang tunog mula sa bibig ng caller hanggang sa recognizer at ipinapakita kung saan nawawala ang kalidad. Kasama ito ng Speech Recognition sa mga Tawag sa Telepono at Voice Activity Detection.

Ang paglalakbay ng audio ng tawag sa telepono

Kung saan maaaring masira ang tunog

  1. MikroponoKinukuha ng telepono o headset ang boses, kasama ang tunog ng kuwarto.
  2. Processing sa handsetBinabago ng noise suppression at gain control ang tunog.
  3. NetworkKino-compress ang audio at ipinapadala nang pa-packet sa mobile at internet.
  4. Telephony platformBina-bridge, kino-convert at minsang hinahalo ang tawag.
  5. RecognizerGinagawang teksto ang audio, sa anumang kalidad na natitira.

Kaya lang ng bawat yugto na panatilihin o mawalan ng kalidad; walang makakabalik sa nawala na. Kaya nililimitahan ng mahinang unang bahagi, tulad ng speakerphone sa kotse, ang lahat ng kasunod nito.

Narrowband audio: ang pangunahing limitasyon

Narrowband ang tradisyonal na audio ng telepono: limitadong saklaw ng frequency ang dala nito, mas kaunti nang malayo kaysa sa nakukuha ng studio microphone. Bunga nito, humihina ang matataas na frequency na tunog, na nagpapaiba sa mga letrang tulad ng s, f at th. Sa pagitan ng s at f, o p at t, kaunti lang ang naiiwang mapagbabatayan ng telepono. Kinakaya ito ng mga tao sa paggamit ng konteksto. Mas kaunti ang kontekstong masasandalan ng software, lalo na sa hiwalay na salita tulad ng binaybay na pangalan.

May mga tawag na gumagamit ng wideband codec na mas maraming detalye ang dala, na nakakatulong. Nakadepende kung makikinabang ang isang tawag sa pagsuporta rito ng bawat link sa kadena, at madalas bumabalik sa pinakamababang karaniwang format ang mga tawag sa pagitan ng magkakaibang network.

Mga tunog na pinakanaaapektuhan

  • Mga letra sa binaybay na salitaNaghahalo ang B, D, P, T, S at F, kaya hindi maaasahan ang pagbaybay sa boses.
  • Mga digitMaaaring mapagkamalan ang five at nine, o six at sixty kapag sa Ingles binigkas, kung walang magandang audio.
  • Malalambot na katinigNaglalaho sa ingay ang mahihinang tunog sa dulo ng mga salita.
  • Maiikling salitaMas maraming mali kapag kaunti ang konteksto, tulad ng oo at hindi sa maingay na lugar.

Iba pang sanhi ng mahinang audio

Compression at packet loss

Para makatipid ng bandwidth, kino-compress ang audio. Kung naantala o nawala ang mga network packet, lumilitaw ang maiikling puwang o magulong tunog. Pinupunan ng tao ang nawawalang pantig; maaaring maglabas ang recognizer ng maling salita o wala.

Ingay sa background at processing

Tumatawag ang mga caller mula sa kalye, kusina, sasakyan at tindahan. Maaaring alisin ng noise suppression sa handset ang ingay pero maputol din ang simula ng salita o mapatag ang mahinang pananalita. Maaaring bunga nito ang pananalitang malinis sa pandinig ng tao pero mas mahirap para sa software.

Echo at speakerphone

Kapag pumapasok sa mikropono ng caller ang tunog ng speaker nila, maaaring bumalik bilang echo ang sariling boses ng agent, na maaaring makalito sa recognition at sa pagtukoy kung sino ang nagsasalita. Nakakatulong ang paghimok sa mga caller na gumamit ng handset o headset kapag mahalaga.

Hindi pagtutugma sa training

Maraming recognizer ang sinanay kadalasan sa mas malinis o mas wideband na recording. Iba ang tunog ng phone audio, kaya bumababa ang katumpakan. May mga provider na nag-aalok ng model na naka-tune para sa telephony; itanong ang tungkol dito, at i-test.

Ang itsura nito sa transcript

SintomasPosibleng sanhi sa audio
Maling letra sa binaybay na pangalanPaglabo ng narrowband sa pagitan ng magkakatunog na letra
Nagkapalit o nawalang digitPacket loss, ingay o mabilis na pagsasalita
Nawawalang salita sa simulaNoise suppression ng handset na pumuputol sa simula
Kakaibang salitang hindi sinabiEcho o pananalita sa background
Mahusay na katumpakan sa desk phone, mahina sa mobileIngay at compression sa mobile
Mahahabang puwang na walang tekstoPumapalyang silence detection sa mahinang boses

Tingnan ang recording, hindi lang ang transcript. Ipinapakita ng pakikinig kung ang problema ay ang audio o ang recognition. Kung malinaw ninyong naririnig pero hindi nakuha ng recognizer, ang recognizer ang mahinang bahagi; kung nahihirapan din kayo, ayusin ang audio.

Pagsukat sa problema bago ito ayusin

Nakakatuksong sisihin ang recognizer sa bawat mali. Mas maaasahang gawi ang ayusin ayon sa sanhi ang sample ng mga problemang tawag. Kumuha ng dalawampung tawag kung saan may hindi naintindihan ang agent. Para sa bawat isa, pakinggan ang recording at pagpasyahan: mahina ba ang audio, hindi pangkaraniwan bang mabilis o mahina ang pagsasalita ng caller, mali lang ba ang recognizer sa malinaw na pananalita, o nasa language model ba ang hindi pagkakaintindihan kahit tama ang teksto?

Kadalasang nakakagulat ang hatian. Maaaring matuklasan ng negosyong maraming mobile caller na audio ang karamihan ng mali; maaaring matuklasan naman ng may espesyal na bokabularyo, tulad ng product code, na ang recognizer ang mahinang punto. Magkakaiba ang lunas sa bawat sanhi, at sayang ang ilang linggo kapag mali ang inayos.

Tingnan din ang mga pattern ayon sa oras at ruta. Kung nagkukumpol ang mga mali sa isang oras, maaaring network congestion sa panig ninyo ang sanhi. Kung nagkukumpol ang mga ito sa mga tawag mula sa isang rehiyon o carrier, maaaring ang daan ng audio ang may problema. Itala ang pattern bago baguhin ang anumang setting para malaman ninyo pagkatapos kung gumana ang pagbabago.

Panatilihing tapat ang sample sa pagsasama ng mga tawag na naging maayos. Kung mga kabiguan lang ang susuriin ninyo, hindi ninyo malalaman kung tahimik na sinira ng pagbabagong nag-aayos sa mga ito ang mga tawag na dating gumagana. Ang paghahambing ng bago at pagkatapos sa parehong halo-halong hanay ang pinakasimpleng proteksyon.

Ano ang magagawa ninyo

Idisenyo ang usapan para sa mahinang audio

Tinatalakay sa Pagkuha nang Tama ng Pangalan, Numero at Address sa Boses ang mga teknik para sa pangalan at numero.

Ayusin ang kontrolado ninyo

Audio at recognition sa Call

Sa Call, may transcriber settings ang bawat AI agent: ang wikang pinakikinggan nito, na maaaring awtomatikong pagtukoy, silence threshold at noise sensitivity slider. Para sa staff na gumagamit ng browser phone, maisusulat ng live transcript ang dalawang panig ng tawag habang nangyayari ito, may label na kayo at sila, at ise-save ito kasama ang tawag. Kailangan nito ng carrier connection at pampublikong address, at kung wala ang mga ito, sinasabi ng panel kung bakit. Itinatago lang nang limitadong panahon ang mga transcript. Gamitin ang mga ito bilang diagnostic: kung mahina ang live na teksto sa isang tawag, i-play ang recording at pagpasyahan kung ang audio o ang recognizer ang may problema. Ipinapaliwanag ang mismong browser calling sa Paano Gumagana ang Browser Calling: Paliwanag sa WebRTC.

Mga madalas itanong

Bakit mas pangit ang phone audio kaysa sa voice message sa smartphone ko?

Gumagamit ang mga tawag sa telepono ng makitid at compressed na audio na idinisenyo para maintindihan ng tao, hindi ng software. Karaniwang nagre-record ng mas mayamang audio nang direkta sa device ang voice message app.

Maaari bang maging perpekto ang speech recognition sa telepono?

Hindi. Kahit tao ay namamali ng dinig sa pangit na linya. Ang layunin ay bawasan ang mga mali at idisenyo ang usapan para mahuli ng pagkumpirma ang mga pagkakamali.

Nakakatulong ba sa AI agent ang mas magandang mikropono?

Oo para sa sarili ninyong staff at sa mga caller na gumagamit ng headset, pero hindi ninyo makokontrol ang kagamitan ng mga caller. Magdisenyo para sa pinakamasamang makatotohanang audio.

Bakit napakahirap ng binaybay na pangalan?

Maraming letra ang magkakatunog sa makitid na linya, at walang kontekstong makakatulong sa iisang letra. Nababawasan ang mali sa pag-aalok ng ibang paraan ng pagkuha sa detalye, o pagbasa pabalik ng mga letra.

Dapat ko bang i-tune ang recognition para sa telephony?

Kung nag-aalok ang platform ninyo ng model na naka-tune para sa telepono o noise settings, i-test ang mga ito sa totoong tawag. Paghambingin ang resulta, dahil nakadepende sa mga caller ninyo ang tamang setting.

Paano ko malalaman kung audio o recognition ang mali?

Pakinggan ang recording. Kung malinaw na naririnig ng tao ang mga salita at mali ang transcript, paghinalaan ang recognition. Kung pangit din ang audio para sa tao, ayusin ang daan ng audio.

Suriin ang mga transcript at audio ng tawag sa Call

Sa demo console, masusubukan mo ang mga papasok na tawag sa isang simulation.

Mga kaugnay na gabay