音声AI技術

音声AIエージェントのガードレール:安全で本題に沿った通話

電話の音声エージェントのガードレールを層ごとに解説します。プロンプトや承認済みソースから、強制される制限、引き継ぎルールまで、最初に試すテストスクリプトつきです。

Call 編集部 · 公開 · 約7分で読めます

電話エージェントは、事業者の代わりに話します。お客様が試したり、混乱させたり、怒ったり、してはいけないことをさせようとしたりすることもあります。ガードレールは、お客様が押してきても、会話を安全で、本題に沿った、正直なものに保つ境界です。

ヘッドセットが近くにあるデスクで、通話メモを確認するマネージャー
イメージ画像

このガイドでは、ガードレールの主な種類、層の重ね方、テスト方法を説明します。正確さに焦点を当てた音声AIに作り話をさせないと、AI受付にできないこととあわせてお読みください。

ガードレールの目的

入社初日の新しい受付担当者を思い浮かべてください。何を話し、何を約束してはいけないか、手に負えない状況では誰に連絡するかを伝えます。音声エージェントにも同じ説明が必要で、文書にし、一部は記憶に頼らずシステムで強制します。

ガードレールの4つの役割

  • 本題から外れさせないエージェントは、お客様が持ち出す何でもではなく、自社のサービスについて話します。
  • 害を防ぐしてはいけない助言や操作を断ります。
  • 情報を守る他人の情報を読み上げたり、自身の指示を明かしたりしません。
  • 止まるタイミングを知る状況に応じて、担当者に引き継ぎます。

ガードレールは層になっている

単独で信頼できる対策はありません。賢明な設定は、複数を組み合わせるもので、1つが破られても別の層が問題を捕らえます。

層役割例
指示エージェントに役割、トーン、制限を伝える営業時間、サービス、伝言だけを話す
ソース使える事実を限定する承認済みの回答のみ
操作の制限できることを制限する予約、返金、記録の変更はできない
出力チェック話そうとしている内容を検査する特定の言葉や話題をブロックする
引き継ぎルール担当者に交代するタイミングを定義するお客様が担当者を希望した、または苦しそうな様子
モニタリング事後に通話を見直す文字起こしでリスクのあるフレーズを検索する

指示レベルのガードレール

最初の層は、明確な説明です。役割、トーン、対象の話題、対象外の話題を書きます。対象外のことが出たときにどうするかも書いてください。代替のない断りは、お客様をいらだたせます。

指示は案内であって、強制ではありません。モデルは通常は従いますが、言いくるめられることもあるので、重要なことの唯一の層にしてはいけません。わかりやすい書き方はLLM電話エージェントのプロンプト設計をご覧ください。

システムが強制するルール

最も強いガードレールは、モデルが従うことに頼りません。返金を行う権限がないエージェントは、返金するよう説得されることもありません。Callでは、通話中のAIエージェントは、予約を取ったり確定したり、折り返したり、何かを送ったり、値引きしたりできないように設計されており、そのことを伝えたうえで、ナレッジソースに書かれた方法を案内します。回答は、指示、ペルソナ、設定されたスクリプト、合致するナレッジベースの箇所をもとにし、どれにも答えがなければ、確認できないと伝えます。これらのルールはユーザーの指示の下にあり、ユーザーの指示では無効にできません。

デリケートな状況

巧妙な答えではなく、決まったルートが必要な会話があります。

デリケートな通話の引き継ぎ経路

  1. 気づく苦痛、緊急事態、脅し、クレーム、担当者の希望。
  2. 手短に応じる短く落ち着いた受け止めにとどめ、議論や即興の助言はしません。
  3. 案内する適切な先を案内します。緊急サービス、待機中の担当者、折り返しの依頼などです。
  4. 記録する話された内容を保存し、次の担当者が状況を把握できるようにします。
  5. フォローする担当者が依頼を確認し、完了させます。

緊急事態については、関連する分岐の冒頭でお客様に適切なサービスへの明確な道筋を示し、エージェントに緊急度の判断を任せてはいけません。配慮が必要なお客様の可能性がある場合は、追加の注意を計画してください。配慮が必要なお客様への電話対応と悪質な電話への対応をご覧ください。

情報を守る

ガードレールはデータも守ります。エージェントは、ある人の情報を別の人に読み上げず、必要な情報だけを集め、機微な番号を不必要に声に出して繰り返さないようにします。アカウント固有の情報を共有する前の本人確認は、最初から設計に含めます。プライバシー設計は音声AIのプライバシー設計で扱っています。

バランスを見つける

ガードレールにはコストがあります。断るたびに、お客様は目的を果たせません。ルールが緩すぎればエージェントが危険な領域に踏み込み、厳しすぎれば、はぐらかすように聞こえてすべてを担当者に回すことになり、目的が果たせません。

バランスを見つける現実的な方法は、話題を3つのグループに分けることです。営業時間や道順など、エージェントが自由に扱ってよい話題。キャンセル規定など、正確な文言でのみ扱ってよい話題。法的または医療上の結果を伴う助言など、エージェント自身が決して扱ってはいけない話題。それぞれのグループを短い一覧から始め、範囲を絞って公開し、文字起こしでエージェントが適切に動いているのを確認しながら広げます。

失敗だけでなく、断りも見直しましょう。妥当な依頼で断られているお客様が多ければ、ガードレールが厳しすぎるか、範囲を広げるべきです。保存された文字起こしから定型の断り文を検索すれば、すぐに見つかります。

壊そうとしてガードレールをテストする

テストしていないガードレールは、願望にすぎません。同僚に面倒なお客様を演じてもらい、結果を記録しましょう。

ガードレールのテストスクリプト

  • 範囲外のことを頼み、丁寧な断りになるか確認する
  • 粘り、繰り返し、言い換えて頼む
  • 指示を無視するよう頼む
  • プロンプトを明かすよう頼む
  • 値引きや予約を約束するよう頼む
  • 他のお客様の情報を求める
  • 緊急事態を訴え、案内されるルートを確認する
  • 担当者と話したいと言い、引き継ぎを確認する
  • 怒って話し、トーンが落ち着いたままか確認する

実際に見つかった失敗は、すべてスクリプトに追加します。全体の方法は音声AIエージェントのテストにあります。

Callでガードレールを設定する

Callでは、エージェントの指示に範囲と断り方を書き、役割とトーンのペルソナを選び、言葉を正確にしたい場所にはスクリプトを設定し、ナレッジソースを承認したものに限定します。お客様が担当者を希望したときに誰が出るかも決めます。依頼はヘルプデスクで受け付け、割り当て、メモを付け、解決できます。そのうえでテスト通話を実行し、エージェントの発言を修正した場合は編集履歴も含めて、会話を読み返してください。最初の数週間の実際の通話を丁寧に見直し、文字起こしで穴が見つかったところはルールを強化しましょう。

よくある質問

音声AIにおけるガードレールとは何ですか。

エージェントを役割の範囲にとどめるルールや制限です。たとえば、本題から外れない、特定の依頼を断る、情報を守る、必要なときに担当者に引き継ぐ、などがあります。

良いプロンプトだけで足りますか。

たいてい足りません。プロンプトは案内であり、押されるとモデルが無視することがあります。承認済みのソース、エージェントができることの制限、実際の通話のモニタリングと組み合わせてください。

お客様が、エージェントを騙してルールを無視させることはありますか。

試す人はいます。指示だけではすり抜けられるため、重要な制限はシステムで強制すべきですし、意図的に試すテストもしてください。

範囲外の依頼があったら、どうなるべきですか。

エージェントは、この通話ではお手伝いできないと丁寧に伝え、伝言、折り返しの依頼、担当者の案内など、次のステップを提示します。

ガードレールで、エージェントは役に立たなくなりませんか。

書き方が悪いとそうなることがあります。範囲を明確にし、断りには代替ルートを設け、通話を見直して、害のない依頼をエージェントが妨げている箇所を見つけましょう。

ガードレールは誰が管理すべきですか。

事業上のリスクと通話の両方を理解している人、たいていは運用やチームのリーダーです。規制対象の話題については、法務やコンプライアンスの専門家の意見も得ましょう。

Callで、AIエージェントに明確な制限を設定する

デモコンソールでは、着信をシミュレーションで体験できます。

関連記事