音声AI技術

電話の音声が音声認識に難しい理由と改善策

狭帯域で圧縮され、ノイズも多い電話の音声が音声認識を妨げる理由、症状の見分け方、設定とスクリプトで改善できる点を解説します。

Call 編集部 · 公開 · 約7分で読めます

デモでは完璧に動く音声アシスタントが、実際の通話でつまずくことがあります。原因は、言語モデルであることはまれです。たいていは音声です。電話回線は、音声認識にとって過酷な環境で、その理由を知っておくと、現実的な期待を持ち、直せる問題を直せます。

にぎやかな通りで携帯電話で話すお客様
イメージ画像

このガイドでは、お客様の口から認識エンジンまで音を追い、どこで品質が失われるかを示します。電話での音声認識と音声区間検出の副読本です。

電話の音声が通る道のり

音が損なわれる可能性のある場所

  1. マイク電話機やヘッドセットが、部屋の音とともに声を拾います。
  2. 端末の処理ノイズ抑制や自動ゲイン調整が、音を変えます。
  3. ネットワーク音声は圧縮され、携帯電話やインターネット回線をパケットで送られます。
  4. 電話プラットフォーム通話がブリッジされ、変換され、ときには混合されます。
  5. 認識エンジン残った品質のまま、音声がテキストに変換されます。

各段階は、品質を保つか失うかのどちらかで、すでに失われたものを取り戻せる段階はありません。だからこそ、車内のスピーカーフォンのような最初の区間が悪いと、その後のすべてが制限されます。

狭帯域音声:基本的な限界

従来の電話の音声は狭帯域です。運べる周波数の範囲が限られ、スタジオ用マイクが拾う範囲よりはるかに狭くなっています。その結果、s、f、thのような文字を区別する高周波の音が弱まります。sとf、pとtの間では、電話はほとんど手がかりを残しません。人間は文脈で補います。ソフトウェアは、特につづりを伝える名前のような単独の単語では、頼れる文脈が少なくなります。

より詳細を運ぶ広帯域コーデックを使う通話もあり、役立ちます。個々の通話がその恩恵を受けるかどうかは、経路のすべてのリンクが対応しているかによります。異なるネットワークをまたぐ通話は、最も低い共通形式に戻ることがよくあります。

特に影響を受ける音

  • つづりを伝える文字B、D、P、T、S、Fが混ざって聞こえ、音声でのつづり確認は信頼できません。
  • 数字音声が良くないと、5と9、6と60が紛らわしいことがあります。
  • やわらかい子音単語の終わりの小さな音が、ノイズに埋もれます。
  • 短い単語文脈が少なく、騒がしい場所での「はい」と「いいえ」のように間違いが増えます。

音声が悪くなるその他の原因

圧縮とパケット損失

帯域を節約するため、音声は圧縮されます。ネットワークのパケットが遅れたり失われたりすると、短い途切れや、歪んだ音が現れます。人間は欠けた音節を補いますが、認識エンジンは誤った単語を出したり、何も出さなかったりします。

背景ノイズと処理

お客様は、路上、台所、乗り物、店内から電話をかけます。端末のノイズ抑制はノイズを消せますが、単語の頭を切ったり、小さな声を平らにしたりすることもあります。その結果、人にはきれいに聞こえても、ソフトウェアには難しい音声になることがあります。

エコーとスピーカーフォン

お客様のスピーカーの音がマイクに入ると、エージェント自身の声がエコーとして戻り、認識と、誰が話しているかの検出の両方を混乱させます。重要な場面では、受話器やヘッドセットを使うよう促すと役立ちます。

学習とのミスマッチ

多くの認識エンジンは、よりきれいな、または帯域の広い録音で主に学習されています。電話の音声は音が異なるため、精度が下がります。電話向けに調整されたモデルを提供するプロバイダーもあります。尋ねたうえで、テストしてください。

文字起こしでの現れ方

症状考えられる音声の原因
つづりを伝えた名前の文字が違う似た音の文字が、狭帯域でにじんでいる
数字が入れ替わる、または抜けるパケット損失、ノイズ、早口
単語の最初が抜ける端末のノイズ抑制が冒頭を切っている
言っていない変な単語エコーまたは背景の話し声
卓上電話では精度がよいが、携帯電話では悪い携帯電話のノイズと圧縮
長い間、テキストが出ない小さな声で無音検出が失敗している

文字起こしだけでなく、録音も見てください。聞けば、問題が音声にあるのか認識にあるのかがわかります。はっきり聞こえるのに認識エンジンがだめだったなら、認識エンジンが弱点です。自分も聞き取りにくいなら、音声を改善しましょう。

直す前に問題を測る

認識エンジンのせいにしたくなるものですが、より確実な習慣は、問題のあった通話を原因ごとに分類することです。エージェントが何かを誤解した通話を20件取ります。それぞれの録音を聞いて判断します。音声が悪かったか、お客様が極端に速い、または小さな声で話したか、はっきりした発話で認識エンジンが単に間違えたか、正しいテキストの後で言語モデルが誤解したか。

内訳が意外なことはよくあります。携帯電話からのお客様が多い事業者では、ほとんどのエラーが音声由来で、商品コードのような専門的な語彙がある事業者では、認識エンジンが弱点かもしれません。原因ごとに対処が違うので、間違ったほうを直すと数週間が無駄になります。

時間帯や経路ごとのパターンも見ましょう。エラーが特定の時間帯に集中するなら、自社側のネットワークの混雑が原因かもしれません。特定の地域や通信事業者からの通話に集中するなら、音声経路が原因かもしれません。設定を変える前にパターンを記録しておけば、変更が効いたかどうかが後でわかります。

うまくいった通話も含めて、公平なサンプルにしてください。失敗だけを見直すと、それを直す変更が、以前は問題なかった通話を静かに壊していないかわかりません。同じ混合セットでの前後比較が、最も簡単な安全策です。

できること

悪い音声を想定して会話を設計する

名前と番号の技法は音声で名前・番号・住所を正確に聞き取るで説明しています。

自分で制御できることを直す

Callでの音声と認識

Callでは、各AIエージェントに文字起こしの設定があります。聞き取る言語(自動検出も可能)、無音しきい値、ノイズ感度のスライダーです。ブラウザの電話を使うスタッフは、ライブ文字起こしで、通話の両側をリアルタイムで「自分」と「相手」のラベル付きで書き起こし、通話とともに保存できます。通信事業者への接続と公開アドレスが必要で、ない場合は、パネルにその理由が表示されます。文字起こしは限られた期間保存されます。診断に活用してください。特定の通話でライブのテキストが悪い場合は、録音を再生して、音声と認識エンジンのどちらに原因があるかを判断します。ブラウザ通話そのものはブラウザ通話のしくみ:WebRTCの解説で説明しています。

よくある質問

電話の音声が、スマートフォンのボイスメッセージより悪いのはなぜですか。

電話の通話は、ソフトウェアではなく人が聞き取りやすいように設計された、狭くて圧縮された音声を使います。ボイスメッセージのアプリは、通常、端末上で直接、よりリッチな音声を録音します。

電話では、音声認識が完璧になることはありますか。

ありません。回線が悪ければ人間でも聞き間違えます。目標は、エラーを減らし、確認によって間違いが見つかるように会話を設計することです。

より良いマイクはAIエージェントの役に立ちますか。

自社スタッフや、ヘッドセットを使うお客様には役立ちますが、お客様の機器は制御できません。現実的に最悪の音声を想定して設計してください。

つづりを伝えた名前がこれほど難しいのはなぜですか。

狭い回線では、多くの文字が似た音に聞こえ、1文字には助けになる文脈がありません。情報を別の方法で取得したり、文字を読み返したりすると、エラーが減ります。

電話向けに認識を調整すべきですか。

プラットフォームが電話向けのモデルやノイズ設定を提供しているなら、実際の通話でテストしてください。適した設定はお客様によって異なるので、結果を比べましょう。

エラーが音声由来か認識由来かは、どう見分けますか。

録音を聞きます。人間にはっきり聞こえる言葉なのに文字起こしが間違っているなら、認識を疑います。人間にも音声が悪く聞こえるなら、音声経路を直します。

Callで通話の文字起こしと音声を確認する

デモコンソールでは、着信をシミュレーションで体験できます。

関連記事