音声AI技術

音声エージェントの会話を評価する方法:指標とレビュー

電話の音声エージェントを評価する実践的な方法です。追跡すべき指標、通話のサンプリングと採点、結果を改善につなげる方法を解説します。

Call 編集部 · 公開 · 約7分で読めます

音声エージェントが実際の通話に応答し始めると、問いは「動くか」から「うまく動いているか」に変わります。多くのチームは、数件の通話から得た漠然とした印象で答えています。少し構造を持たせれば、はるかに良い情報が得られ、次に何を直すべきかもわかります。

同僚と通話品質のメモを見直しているチームリーダー
イメージ画像

このガイドでは、電話の音声エージェントに対するシンプルな評価の進め方を紹介します。追跡する指標、通話を手作業で見直す方法、結果を改善につなげる方法です。音声AIエージェントのテストと、コールセンターKPIの一般的な指標を土台にしています。

自社にとっての「良い」から始める

レストランにとっての良い通話は、クリニックにとっての良い通話とは違います。指標を選ぶ前に、想定する通話の種類ごとに、成功した通話がどういうものかを1〜2文で書き出しましょう。お客様の質問に答えた、正しい情報で伝言を受けた、お客様が適切な担当者に届いた、などです。それ以外はすべて、この定義から導かれます。

あらゆる評価で問う5つの質問

  • お客様は理解されたか。エージェントは質問と詳細を正しく聞き取ったか。
  • 回答は正しかったか。正確で、承認済みの情報の範囲内で、作り話がなかったか。
  • 通話は有用な終わりを迎えたか。タスクが完了したか、伝言を受けたか、引き継ぎができたか。
  • 体験は許容できるものだったか。お客様にとってのペース、トーン、繰り返し、手間。
  • 安全だったか。エージェントは制限を守り、必要なときに引き継いだか。

追跡する価値のある指標

指標わかること取得方法
タスク完了お客様の目的が達成された通話の割合サンプルの人による見直しと通話結果
回答の正確さ発言が承認済みの情報と一致していたかソースと照らした人による見直し
引き継ぎ率お客様が担当者を求める、または必要とする頻度通話結果とヘルプデスクの依頼
繰り返し率エージェントがお客様にもう一度言うよう求めた頻度文字起こしの見直し
応答の間お客様の発話の終わりからエージェントの返答までの時間通話履歴の発話ごとのタイミング
放棄率結果が出る前に電話を切ったお客様通話ログ
お客様の感想通話について人々がどう感じたか短いアンケートやフォローアップのコメント

有用な指標のほとんどには、人による判断が必要なことに注意してください。ログの件数は、どのくらいあったかを教えてくれますが、通話がうまくいったかどうかは、会話を読んだ人にしかわかりません。両方を組み合わせて行いましょう。あらゆる種類の通話に当てはまる指標は初回解決率と応答率と放棄率をご覧ください。

通話を手作業で見直す

たまに大規模に見直すより、小さくても定期的なサンプルのほうが優れています。通話をランダムに選び、非常に短い、または長いもの、引き継ぎで終わったもの、お客様が電話を切って終わったものなど、変わった通話も加えます。

通話レビューの手順

  1. サンプリング毎週一定の件数の通話を、ランダムなものと変わったものを混ぜて選びます。
  2. 聞いて読む録音を再生し、文字起こしと一緒に読みます。
  3. 採点基準に照らして、簡単な尺度で各通話を評価します。
  4. 原因を記録問題があった場合、その理由を書きます。
  5. 直して再テストソース、プロンプト、設定を変更し、同じケースで再テストします。

採点はシンプルに

良い、許容範囲、悪い、の3段階で十分です。個々の発言については、正確、一部正確、誤りの3段階です。細かい尺度は、洞察を増やさず議論を生みます。ときどき、2人が同じ通話を少数採点してみましょう。意見がよく分かれるなら、基準の言葉をもっと明確にする必要があります。

文字起こしは間違っていることがある

文字起こしは、認識エンジンの推測であって、真実ではありません。文字起こしが変なら、エージェントを責める前に、音声を聞きましょう。電話の音声が音声認識に難しい理由をご覧ください。

速さとリズムを測る

お客様は、ほかのほとんどの要素より、遅延に気づきます。各返答の前の間を記録し、平均だけでなく最悪のケースも見てください。いくつかの非常に長い間が、印象を損ないます。間が長い場合は、時間がどこにかかっているかを分解します。方法は音声AIの遅延にあります。割り込みにも注意を払いましょう。エージェントがお客様に重ねて話したのは何回で、お客様を待たせたのは何回でしたか。

人による確認と自動採点

方法を選ぶ

手作業のレビュー自動採点
強みニュアンス、トーン、文脈を理解できるすべての通話を素早くカバーできる
弱み遅い。サンプルのみ微妙な問題を見逃したり、誤判定したりする
最適な用途正確さ、安全性、お客様の体験人が見るべき通話にフラグを立てる

他のモデルを採点するモデルを含む自動採点は、優先順位づけに役立ちます。問題の兆候で通話を順位づけし、人が適切な通話を先に見られるようにします。特に正確さと安全性については、人によるサンプリングの代わりにしてはいけません。どんな自動チェックを使う場合も、自分で見直した通話のセットで、その判定を自分の判断と比べてテストしてください。

数字を賢く読む

サンプルが小さいと誤解を招きます。10件の通話を見直して2件がうまくいかなかったからといって、5件に1件がうまくいかないとは言えません。直す価値のある問題が2つ見つかった、と言えるだけです。サンプルが十分に大きくランダムでない限り、サンプルは割合を発表するためでなく、原因を見つけるために使いましょう。

エージェントと状況を切り分けます。サービス障害があった週にタスク完了率が下がっても、それはプロンプトに対する判決ではありません。指標の隣に出来事を記録しておきましょう。新しい営業時間、新しい質問を持ったお客様を呼び込んだキャンペーン、ソースの変更などです。変更の簡単なログがあれば、傾向を説明できます。

最後に、それぞれの結果で何をするかを事前に決めておきます。繰り返しの増加は、無音の設定を見直すきっかけになり、ある話題で引き継ぎが増えたら、その正確な回答を追加することになるかもしれません。行動に結びつかない指標は、ただの飾りです。

結果は、マネージャーだけでなく、電話に出るスタッフとも共有してください。スタッフはパターンが存在する理由を知っていることが多く、エージェントが引き継いだ通話を受けるのも彼らです。うまくいった通話をいくつか含む、例つきの短い月次の振り返りで、作業を現実の会話に結びつけておけます。

Callで評価する

Callでは、AI通話履歴に、期間内の通話が結果と、わかっている場合は感情とともに一覧表示され、会話全体を発話ごとに開けます。マネージャーは通話を開いて、各発話の長さを確認できます。自動レビューの領域では、最近の通話をトピックごとにまとめ、人が見直していない最近の通話をシグナルで順位づけし、AI要約のサンプルを提示します。それを「正確」「一部正確」「誤り」とマークでき、要約の正確さの推移を把握できます。会話AIでは、保存されたすべての文字起こしからフレーズを検索することもできます。これらを合わせれば、必要な件数とサンプリングが得られます。編集履歴で、エージェントの発言に加えた修正を確認できます。

週次評価のチェックリスト

  • ランダムなものと変わったものを含む、一定数の通話を読む
  • タスク完了と正確さを採点する
  • 引き継ぎを数え、理由を記録する
  • 最も長い応答の間を確認する
  • 文字起こしから、混乱を示すフレーズを検索する
  • 各問題と、行った修正を記録する
  • 修正したケースは、完了とする前に再テストする

よくある質問

音声エージェントにとって、最も有用な指標は1つだけですか。

1つだけというものはありません。タスク完了で、お客様が必要なものを得られたかはわかりますが、理由を知るには、正確さ、引き継ぎの質、タイミングも必要です。

何件の通話を見直すべきですか。

たまに大量に見直すより、続けられる一定の週次サンプルのほうが優れています。控えめな件数から始め、公開後の変更や問題が現れたときに増やします。

自動採点だけに頼ってもよいですか。

正確さや安全性については、だめです。通話の順位づけとフラグ付けに使い、フラグが付いた通話とランダムなサンプルを人が見直してください。

文字起こしが録音と食い違うことがあるのはなぜですか。

文字起こしは音声認識で作られており、誤りを含むことがあります。エージェントを評価する前に、音声を聞いてください。

変更によって良くなったかどうかは、どうすればわかりますか。

固定のテストケースと定期的な見直しの手順を保ち、同じ基準で、変更の前後の結果を比較します。

お客様にアンケートを取るべきですか。

通話後の短い質問は有益な情報になりますが、短くし、連絡に関するルールを守ってください。会話の自分での見直しと組み合わせます。

Callの通話履歴で、AIの会話を見直す

デモコンソールでは、着信をシミュレーションで体験できます。

関連記事