音声AI技術

音声から音声へのモデルとカスケード型パイプラインの比較

電話の音声エージェントを作る2つの方式、音声から音声へ変換するモデルとカスケード型パイプラインを比較します。それぞれの強みと弱み、テストでの選び方を解説します。

Call 編集部 · 公開 · 約7分で読めます

音声エージェントが話すのを聞いたとき、その裏にはたいてい2つの設計のどちらかがあります。1つ目は、ソフトウェアがお客様の音声をテキストにし、言語モデルがテキストの返答を書き、音声エンジンがそれを読み上げる方式。2つ目は、1つのモデルが音声を聞き、音声で答える方式です。ベンダーは、どちらが優れているかを論じています。正直なところ、どちらも何かを引き換えにしています。

ノートパソコンの画面で音声波形を比べているエンジニアたち
イメージ画像

このガイドでは、2つをわかりやすい言葉で比べ、プラットフォームを選ぶときにより良い質問ができるようにします。より広い入門は電話の通話で音声AIはどう動くかから始めてください。

カスケード型パイプライン

カスケード型パイプラインは、音声からテキスト、モデル、テキストから音声という順で、長年標準的な方式でした。各段階は別々の部品で、その間をテキストが渡ります。

カスケード型パイプライン

  1. 音声認識お客様の音声をテキストに変換します。
  2. 言語モデル指示やソースとともにテキストを読み、返答を書きます。
  3. 音声合成返答のテキストを音声にします。
  4. 電話回線お客様との間で音声を運びます。

システムの中間がプレーンテキストなので、それを読み、検索し、保存し、ルールと照合し、どの段階も置き換えられます。お客様のアクセントにより強い認識エンジンや、ブランドに合う声に入れ替えることもできます。

音声から音声への方式

音声から音声へのモデルは、エンドツーエンドやネイティブ音声モデルとも呼ばれ、音声を直接扱います。音そのものを聞き、出力として音を生成します。ただし、多くのシステムはログ用にテキストも作ります。

音声から音声へ

  1. 音声入力お客様の声がそのままモデルに入ります。
  2. 1つのモデル意味、声の調子、タイミングを解釈して、返答を計画します。
  3. 音声出力話し言葉の返答を直接生成します。
  4. 電話回線音声がお客様との間を行き来します。

魅力は、段階の間で何も失われないことです。間、笑い、ためらい、ため息が返答に影響することもあり、3つの別々のステップを待たないので、モデルがより早く話し始められます。

並べて比べる

カスケード型と音声から音声へ

カスケード型音声から音声へ
自然さ各段階に依存し、ステップを踏んだ印象になることもタイミングや調子が保たれ、よりなめらかなことが多い
応答時間3つの段階の合計で、調整できる受け渡しが少ないため、短くなる可能性がある
制御高い:各ステップでテキストにルールを適用できる低め:内部で何が起きているか確認しにくい
文字起こしとログ自然に得られる副産物通常は別に生成され、実際の発話と異なることがある
部品の入れ替え簡単:認識エンジンや声だけを変更できるモデルが提供するものに限られる
声の選択声の選択肢が豊富選択肢が少ないことが多い
成熟度長い実績がある新しく、急速に変化している

絶対的な優位性をうたう主張には、慎重になりましょう。品質は各カテゴリー内の製品によって異なり、きれいなデモの結果が、騒がしい携帯電話の通話で再現されるとは限りません。

電話で重要なこと

電話の音声は狭帯域でノイズが多い

電話の音声は圧縮されていて、ノイズが多いことがよくあります。どちらの設計を選んでも、スタジオ録音だけでなく、実際の電話音声でどう動くかを確認してください。影響は電話の音声が音声認識に難しい理由で説明しています。

制御と監査可能性

エージェントが何を言ったか、なぜかを示す必要があるなら、各段階のテキストが役立ちます。カスケード型の設計では、モデルの返答と音声の間にチェックを入れられます。エンドツーエンドのモデルでは、ベンダーの制御とテストにより頼ることになります。音声AIエージェントのガードレールを確認し、何を強制する必要があるか決めましょう。

割り込みとタイミング

ネイティブ音声モデルは、お客様の声を連続して聞いているため、重なりや割り込みをよりなめらかに扱えることが多くあります。カスケード型は、発話と無音の検出に頼って、止まるタイミングと始めるタイミングを決めます。音声区間検出と音声エージェントのターン制御をご覧ください。優れたエンジニアリングで差を縮められますし、その差は変わり続けるかもしれません。

言語とアクセント

自社にとって重要な言語とアクセントは、パンフレットの一覧を受け入れるのではなく、テストで確認してください。ある言語で強いモデルが別の言語で弱いこともあり、パイプラインの個々の段階にも同じことが言えます。

状況に応じて選ぶ

いくつかの架空のシナリオから、優先順位によって選択が変わる様子がわかります。

ベンダーに尋ねる質問

  • システムはどの段階を使っているか。変更できるか。
  • すべての通話の文字起こしを得られるか。それはモデルが聞いたとおりのものか。
  • ルールや制限はどう強制されるか。
  • 携帯電話や騒がしい回線ではどう動くか。
  • 実際の電話での一般的な応答時間はどのくらいか。
  • 割り込みはどう扱われるか。
  • その後、音声とテキストはどうなるか。

境目があいまいなところ

この2つのカテゴリーは、マーケティングが示すほど明確ではありません。音声から音声への製品の多くは、音声と並行して文字起こしも生成します。カスケード型の製品の多くも、段階の間で部分的な結果をストリーミングして、モデルが書き終える前に発話を始めます。会話にはネイティブ音声モデルを使い、照会やルールのチェックにはテキストの段階を使うシステムもあります。ベンダーが製品はエンドツーエンドだと言うときは、具体的に何がエンドツーエンドで、どこにテキストが残るのかを尋ねましょう。

実務的な疑問は変わらないので、これは重要です。話された内容はどこで読めるか。ルールはどこで強制できるか。誤った回答はどう見つけるか。信頼できる文字起こしと自然な声を両方得られるハイブリッドが、両方の部分を検証できる限り、賢明な中間の道かもしれません。

公平にテストする

比較は、うっかり偏らせてしまいがちです。候補ごとに、同じスクリプト、同じ種類の電話回線、同じ背景ノイズを使います。静かな部屋だけでなく、車内や路上の携帯電話からもテストしてください。文の途中での言い直し、つづりを伝える名前、範囲外の質問、担当者の希望など、実際のお客様がつくる難しい場面を含めます。

各通話をいくつかの簡単な観点で採点します。回答は正しかったか、エージェントはお客様を待ったか、各返答の前の間はどのくらいか、通話はどう終わったか。控えめな件数でも一貫して採点すれば、磨かれたデモよりも多くのことがわかります。

Callの考え方

実務上の教訓は、アーキテクチャよりも、自社の通話での振る舞いのほうが重要だということです。CallのAIエージェントは、答えの最初の部分が準備できた時点で話し始め、発信通話では挨拶を事前に用意し、返答を短く保ちます。声と文字起こしのオプションを設定し、自分の電話を鳴らしてテストし、通話履歴で会話を読み返します。基盤となる技術が何であれ、同じ基準で判断しましょう。正確に答えるか、丁寧に引き継ぐか、お客様にとって受け入れられる聞こえ方か。音声エージェントの会話を評価する方法の指標は、どちらにも当てはまります。

よくある質問

音声から音声へのモデルとは何ですか。

話し言葉の音声を入力として受け取り、話し言葉の音声を出力として生成するモデルです。認識と音声の間に、別のテキストの段階を持ちません。

カスケード型の音声パイプラインとは何ですか。

音声認識、言語モデル、音声合成を連鎖させ、段階の間でテキストを渡す方式です。

どちらが自然ですか。

音声から音声へのシステムは、よりなめらかだと説明されることが多いですが、品質は製品によって異なります。自社に近い通話を聞いて判断してください。

どちらが監査しやすいですか。

カスケード型は各ステップでテキストが得られるため、ログ、チェック、ルールがより簡単です。エンドツーエンドのモデルでは、ベンダーが何を記録し、それがどのくらい信頼できるかを確認してください。

両方の方式を組み合わせられますか。

通話の種類によってカスケード型を使うなど、組み合わせているプラットフォームもあります。どちらのモードでも、文字起こしとルールをどう扱うかを尋ねてください。

選択はコストに影響しますか。

影響する可能性はありますが、料金とモデルは変わるため、ベンダーに最新の条件を確認し、見出しの主張ではなく、測定した結果と比較してください。

Callで、自社の電話回線でAIエージェントを試す

デモコンソールでは、着信をシミュレーションで体験できます。

関連記事