Callの使い方

練習通話:AIエージェントを本番前にテストする

シミュレーションによる練習通話で、難しいケースを先にAI電話エージェントにテストさせる方法。採点と学びの読み方、結果を改善につなげる手順を解説します。

Call 編集部 · 公開 · 約7分で読めます

新人を研修したことのあるチームなら、電話に出る最初の週が最も危ういことをご存じでしょう。新人は方針を知っていても、方針を遮って話すお客様、文の途中で話題を変えるお客様、誰かのせいにしたいだけのお客様には、まだ出会っていません。優れたチームは、本番の前に、ロールプレイでこうした場面を練習します。

公開前に、モニターで通話のスコアと文字起こしを確認するチームリーダー
イメージ画像

AI電話エージェントにも同じリハーサルが必要で、はるかに多く、はるかに速くできます。このガイドでは、練習の設計方法、結果の読み方、学びを反映する方法を説明します。AIエージェントの設定と効果のあるプロンプトの書き方を土台にしています。

本番前に練習する理由

最初の本番の通話は、サービス全体へのお客様の見方を決めます。名前を聞き間違える、お客様の話を遮る、答えをでっち上げるエージェントは、不在着信よりも高くつきます。お客様に語る話ができてしまうからです。練習なら、観客が自分たちのチームだけのうちに、これらの問題を見つけられます。

練習は証明ではありません。シミュレーションの発信者で高いスコアが出ても、実際のお客様が同じように振る舞うとは限りませんし、実際の音声の挙動はシミュレーションと異なることがあります。良い結果は、慎重に実際の通話を試す許可と考え、証明書とは考えないでください。

何をテストするか

バッチの価値は、カバーする状況で決まります。簡単なケースと難しいケースを、意図して混ぜましょう。

弱点を明らかにするシナリオ

  • 割り込みエージェントの話を遮って話すお客様。エージェントは止まって聞くか、それとも話し続けるか。
  • 言語の切り替えある言語で始め、別の言語に移るお客様。エージェントはついていけるか。
  • 担当者の希望お客様が「誰かと話させてください」と言う。引き継ぎは明確で、すばやいか。
  • 価格の質問お客様が料金を尋ねる。エージェントは知っていることだけを答え、推測を避けるか。
  • 苦情怒っているお客様。エージェントは落ち着いて、次のステップを提示するか。
  • 日常的な質問エージェント自身のナレッジベースから取った質問。答えは正しく、短いか。

バランスが重要です。難しいケースだけのバッチは、常に悪く見えて、日常のパフォーマンスについてはほとんど教えてくれません。簡単な質問だけのバッチは、プレッシャーのもとでは失敗するエージェントをよく見せてしまいます。両方を混ぜたものが、たいてい最も有益な出発点になります。

Callで練習バッチを実行する

Callの練習は、「AIエージェント」の「学習した内容」にある「練習通話」タブにあります。AIの発信者が、シミュレーションの中であなたのAIエージェントに、日本語と英語で電話をかけ、すべての通話が採点されます。エージェント(一度に最大10件。まだ通話に応答できないエージェントはグレー表示)、各エージェントに行う日本語と英語の通話数(それぞれ0〜25件)、シナリオの組み合わせを選びます。

シナリオの組み合わせカバーする内容使うとき
バランス型難しいケースを1回ずつ行い、残りはエージェントのナレッジベースから取った質問新しいエージェントを初めてテストするとき
ナレッジベースエージェントが知っていることから取った質問のみナレッジを変更し、正確さを確認したいとき
難しいケース難しいケースのみ行動ルールやプロンプトを変更したとき

バッチを実行する

  1. 練習通話を開く「AIエージェント」の「学習した内容」の「練習通話」に移動します。
  2. エージェントと件数を選ぶエージェントにチェックを入れ、各言語の通話数を設定します。
  3. 組み合わせを選ぶバランス型、ナレッジベース、難しいケースのいずれか。
  4. バッチを開始するボタンの横の数字は合計です。エージェント数に、両言語の通話数を掛けたものです。
  5. 進み具合を見る一覧は自動で更新されます。バッチを開くと、スコアと通話の結果を見られます。

通話数が0件のとき、または合計が300件を超えるときは、開始ボタンがグレー表示のままになるため、大規模なテストは分けて実行します。待機中または実行中のバッチは、キャンセルもできます。まだ始まっていない通話はキャンセルされ、進行中の通話は最後まで行われます。バッチで音声をオンにすると、各ターンに再生ボタンが付き、音声は押したときだけ作られます。

結果の読み方

完了したバッチを開き、個別の文字起こしではなく、サマリーから始めます。合計には、完了した通話、平均スコア、修正した応答、回答が必要な質問、話し方のヒントが表示されます。その下に、基準別スコア、エージェントごとの平均つきの主な問題、シナリオ、言語、スコア、フラグが付いた通話の表が続きます。

  1. 基準別スコアを見て、最も弱い部分を見つける。
  2. 主な問題を読む。複数のエージェントにまたがって現れるものは、共通のプロンプトかルールの問題の可能性が高い。
  3. 通話をスコア順に並べ、最も悪い3件の文字起こしを全文読む。
  4. 最終的な採点だけでなく、各応答への採点者のメモを読む。
  5. 言語を比較する。差があれば、一方の言語には専用の文言が必要かもしれない。

学びを反映する

練習からは学びが得られ、エージェントを自動で変更するのではなく、レビューを待ちます。1件ずつ適用するか、対象外にできます。修正した応答と回答が必要な質問は、「提案」にも表示されます。これは意図的な仕様で、エージェントが何を学ぶかは人が決めます。

学びをレビューする

  • その学びは、自社の方針とトーンに合っているか
  • 修正された応答は、もっともらしいだけでなく、実際に正しいか
  • すべての発信者に当てはまるか、それともこのシナリオだけか
  • 2つの学びが互いに矛盾していないか
  • プロンプトの変更ではなく、ナレッジの新しい項目が必要か

変更を適用したあとは、小さなバッチをもう一度実行して比較します。可能なら変更は一度に1つにしてください。そうでないと、どの変更が効いたのか分かりません。事実に基づく回答の置き場所については、ナレッジソースをご覧ください。

現実的な練習の頻度

練習が最も効果を発揮するのは、単発のイベントではなく習慣にしたときです。バッチは、何かが変わるタイミングに結びつけましょう。

タイミング実行するもの見るところ
新しいエージェントの本番前対応する各言語でバランス型のバッチ弱い基準、引き継ぎの挙動
プロンプトやルールを変更したあと難しいケースのバッチ変更で問題が直り、別の問題を壊していないか
ナレッジを追加したあとナレッジベースのバッチ短く正しい答えで、事実をでっち上げていないか
繁忙期の前最も忙しくなる回線でバランス型のバッチふだんの質問の組み合わせでの安定性
実際の通話で問題が起きたあとその失敗を再現するバッチ修正が有効か

短い記録をつけておきましょう。日付、変更した内容、実行したバッチ、主な結果です。数か月たつと、この履歴から、どの変更が役立ったかが分かり、すでに失敗した実験の繰り返しを防げます。

仮のクリニックなら、新しい回線を開く前に受付エージェントのバランス型バッチを、緊急の症状に関するルールを加えたあとに難しいケースのバッチを、営業時間やサービスが変わるたびにナレッジベースのバッチを実行するかもしれません。適切なタイミングで行う3回の小さなバッチは、一度だけ行う巨大なテストより多くを教えてくれます。

シミュレーションの先へ

シミュレーションはリハーサルです。本番前に、自分の電話に実際のテスト通話をかけて、お客様の立場で聞いてみてください。慎重に公開しましょう。リスクの低い回線や限られた時間帯から始め、担当者に手軽につなぐ方法を残し(通話を担当者に引き継ぐを参照)、最初の実際の通話を毎日聞きます。人間の担当者にも同じ考え方が当てはまります。人とのリハーサルとフィードバックについては、コーチングのフレームワークをご覧ください。

よくある質問

練習通話は、実際の電話の通話ですか?

AIの発信者がAIエージェントに電話をかける、シミュレーションの通話です。実際の回線でエージェントの声を聞くには、自分の電話への別のテスト通話を使ってください。

複数の言語で練習できますか?

練習ツールでは、日本語と英語のシミュレーション通話を実行できます。エージェントごとに、それぞれの件数を設定してください。

何件の通話を実行すべきですか?

少なく始め、エージェントごとにシナリオごと数件にして、結果を丁寧に読みましょう。言語をまたいで変更をテストするなど、理由があるときだけ増やします。

学びは、エージェントを自動で変更しますか?

いいえ。学びはレビューを待ちます。同意するものを適用し、残りは対象外にしてください。

採点から何が分かりますか?

基準に照らして、シミュレーションの通話がどうだったかが、各応答への採点者のメモとともに分かります。これは根拠ですが、実際のお客様は異なる振る舞いをすることがあります。

エージェントがグレー表示のときは?

まだ通話に応答できないエージェントには、応答できない旨が表示され、選択できません。先にそのエージェントの設定を完了してください。

Callで、AIエージェントの練習バッチを開始しましょう

デモコンソールでは、着信をシミュレーションで体験できます。

関連記事