音声AI技術

音声AIとアクセント・方言:実際のお客様のためのテストと調整

音声エージェントが特定のアクセントを聞き取りやすい理由、調整できる点、実際の声を使った公平なテストの作り方を解説します。話し方でお客様を取りこぼさないために。

Call 編集部 · 公開 · 約7分で読めます

誰にでもアクセントがあります。しかし音声エージェントは、特定の声の組み合わせで学習しており、最もよく聞いた声を最もよく理解する傾向があります。幅広い層にサービスを提供する事業者にとって、これは小さな技術的な話ではありません。お客様が助けを得られるか、いらだつかを左右します。

さまざまな背景を持つ同僚たちが、テーブルを囲んで話している様子
イメージ画像

このガイドでは、アクセントや方言が音声AIに影響する理由、調整できる点、公平なテストの方法を説明します。言語と音声の側面を扱う多言語対応の音声AIと電話の音声が音声認識に難しい理由も、あわせてお読みください。

アクセントが認識エンジンにとって重要な理由

音声認識エンジンは、テキストと対になった録音からパターンを学びます。学習用の録音に、ある地域のアクセント、年齢層、非ネイティブの話者が少ないと、その声のパターンは弱くなります。認識エンジンに人間的な意味での偏見があるわけではなく、単に根拠が少ないだけです。しかし、結果として不平等なサービスになることがあります。

話者によって異なること

  • 発音母音や子音は、地域や母語によって異なります。
  • リズムとアクセントどの音節に重みがあるか、言葉がどのくらい速くつながるか。
  • 語彙日常の物、地名、俗語に対する地域の言葉。
  • 文法のパターン教科書的な言語とは異なる方言の形や文の形。
  • コードスイッチング1つの文の中で2つの言語を行き来すること。

文字起こしを読む言語モデルにも、同様の問題があります。ある方言では自然な言い回しが、学習した文章ではまれで、意味を取り違えることがあります。

1つの言語の中の方言

言語は1つのものだという考えは、よくある誤解です。国によって話される英語は、音も言葉も大きく異なり、日本語の地域ごとの方言、スペイン語、アラビア語、中国語など、多くの言語も同様です。標準的な形に合わせて調整されたシステムは、地域の話し方には部分的にしか対応できないことがあります。

地域の語彙は特に難しい問題です。通りの名前、郊外の地名、商品の愛称、名字は、一般的な辞書に載っていないことがよくあります。お客様が日常的に口にするなら、認識エンジンはそれを、似た音の一般的な単語に変えてしまう可能性が高くなります。

調整できること

言語と地域を慎重に選ぶ

多くの認識エンジンには、地域ごとの言語バリアントがあります。お客様に最も近いバリアントを選ぶと、助けになります。自動の言語検出は、さまざまなお客様がいる場合に便利ですが、通話の早い段階で判断を下すので、短い発話やアクセントのある話し方でどう動くかをテストしてください。Callでは、文字起こしの設定で言語を選ぶか、自動検出にでき、エージェントは、お客様が別の言語を求めない限り、最初に認識した言語を通話の最後まで保ちます。

大事な言葉を追加する

プラットフォームがカスタム語彙やヒントに対応しているなら、事業者名、商品名、スタッフの名前、地域の地名を追加します。対応していなくても、それらの言葉を声に出して確認し、エージェントのソースに想定される名前の短いリストを入れておけば、少し違った聞こえ方にも対応でき、被害を減らせます。

わかりやすく書く

短く平易な質問は、長く慣用的な質問より、答えやすく認識しやすくなります。エージェント自身の発話ではスラングを避け、地域の表現に頼るユーモアも避けます。

お客様に余裕を与える

非ネイティブの話者や、自信のない人は、間をおいたり、ゆっくり話したりすることがあります。長めの無音しきい値が役立ちます。音声区間検出をご覧ください。

実際の声でテストする

似た背景の同僚数人から、公平性を判断することはできません。お客様に近いテストパネルを作りましょう。

公平なテスト計画

  1. お客様をリストアップする地域、言語、年齢層、一般的な電話の種類。
  2. テスターを集めるそのお客様と同じように話す志願者に、同意を得て依頼します。
  3. スクリプトを書く名前、番号、地域の場所を含む、実際のタスク。
  4. 電話をかける通常の携帯電話と、現実的なノイズを使います。
  5. 結果を比べるエラーが目立って多いグループを探します。
指標わかること
正しく認識された単語認識エンジンが各グループをどれだけうまく扱えたか
完了したタスクお客様が必要なものを得られたか
繰り返しと訂正エージェントが聞き返した頻度
引き継ぎ率お客様があきらめて担当者を求めた頻度
お客様の心地よさ体験についてテスターが語ったこと

同じ指標でグループを比べます。全体の平均が問題なさそうでも、グループ間でのタスク完了率の差は、調べるべきサインです。テスターのプライバシーを守り、録音は必要な期間だけ保管してください。

2つの架空の例

海辺の町の小さな動物病院には、通りや浜辺を愛称で呼ぶ地元の人たちから電話がかかってきます。認識エンジンは、ある愛称を、無関係の一般的な単語に変え続けます。病院は地元の名前をエージェントのソースに追加し、場所をエージェントに復唱させるようにすると、エラーが減りました。モデルは何も変えていません。解決策は、言葉のリストでした。

地方銀行の支店には、大人になってから言語を学んだお客様が電話をかけ、ゆっくりと、長い間をおいて話します。エージェントは、話し終える前に返答してしまいます。無音しきい値を上げ、エージェントの質問を短くして余裕を持たせたところ、繰り返しの率が下がりました。この場合も、解決策は設定とスクリプトであり、新しい技術ではありません。

どちらの話にも共通するパターンがあります。失敗に耳を傾け、関わった具体的な言葉やタイミングを特定し、小さな変更を加えます。精度についての大きな主張よりも、自社の回線で何がうまくいかず、何で直ったかを書いたノートのほうが役に立ちます。

公開後もノートを更新し続けてください。お客様は変わり、新しい地域や商品が現れ、今日の対策も古くなります。最も頻繁に訂正された言葉を月に1度見直すのは、エージェントを最新に保つ軽い習慣です。

システムを壁にしない

どれほど調整しても、理解できないお客様は出てきます。それを前提に設計しましょう。ある情報を2回聞き取れなかったら、エージェントはループせず、方法を変えるか引き継ぐべきです。伝言を受ける、折り返しを手配する、スタッフがいる時間なら担当者につなぐ、といった選択肢を提案します。

公平性のチェックリスト

  • お客様の主要なグループすべての話者でテストした
  • 言語と地域の設定がお客様に合っている
  • 地域の名前や用語を追加した、または声に出して確認している
  • 無音の設定が、ゆっくりした話し方を許容している
  • 重要な情報は、使う前に読み返している
  • 2回聞き取れなかったら、担当者に連絡できる
  • 引き継ぎ率と繰り返し率をグループごとに見直している

Callで取り組む

Callでは、エージェントの言語設定を選び、無音しきい値とノイズ感度を設定し、冒頭メッセージとエラーメッセージをやさしい言葉で書きます。そのうえで、テスト通話で自分の電話でエージェントを聞き、アクセントの異なる同僚にも同じことをしてもらいましょう。その後、通話履歴で各通話を開いて会話を順に読み、何度も聞き違えられた言葉を文字起こしから検索します。ソースを直し、言葉遣いが重要な場所には正確な回答を追加して、ヘルプデスクを通じて人につながるルートを開けておいてください。

よくある質問

音声AIは、すべてのアクセントを同じように理解しますか。

いいえ。システムが学習した声によって、アクセントや方言ごとに精度が異なることが多くあります。一般的な主張に頼らず、自社のお客様でテストしてください。

エージェントに、どのアクセントを想定するか伝えられますか。

認識エンジンの言語バリアントを選べることが多く、システムによっては語彙も追加できます。プラットフォームの対応状況を確認し、結果をテストしてください。

エージェントが地域の地名を聞き違えるのはなぜですか。

一般的な辞書には、地域の名前がすべて載っているわけではないため、認識エンジンは似た一般的な単語を選びます。名前は声に出して確認し、可能なら想定される名前を与えてください。

エージェントは自動で言語を切り替えるべきですか。

さまざまなお客様がいる場合には役立ちますが、短い発話やアクセントのある話し方でテストしてください。Callでは、お客様が別の言語を求めない限り、最初に認識した言語が通話の間保たれます。

エージェントが一部のお客様に不公平かどうかは、どうやってわかりますか。

話し方の異なるテスター群で、タスク完了率、繰り返し、引き継ぎ率を比べます。大きな差があれば、設定、ソース、スクリプトを調整すべきサインです。

お客様をまったく理解できなかったらどうなりますか。

別の方法をすぐに案内します。伝言、折り返しの依頼、担当者などです。理解できないシステムに、お客様が閉じ込められてはいけません。

Callで、さまざまな声でAIエージェントをテストする

デモコンソールでは、着信をシミュレーションで体験できます。

関連記事