何件の通話をレビューすべきか:QAサンプリングの実践ガイド
品質管理でレビューする通話の件数の決め方。ランダムとターゲットのサンプル、担当者ごとの最低件数、小規模チーム向けの近道、サンプルの偏りの避け方を解説します。
「何件の通話をレビューすべきか」は、新しく品質管理の取り組みを始めるときに誰もが最初に抱く問いです。正直な答えは、何を知りたいか、どれだけ時間があるかによる、です。ごく一部の通話しかレビューしないと本当の問題を見逃すおそれがありますが、多すぎると、誰もコーチングに生かす時間のない未処理の山ができます。このガイドでは、統計学の知識がなくても実践できるサンプリングの考え方を解説します。

これは「通話の品質管理」で紹介している、より広い品質管理の習慣の一部です。選んだサンプルは、「オペレーターの通話コーチングのためのシンプルなフレームワーク」の面談に生かしましょう。
サンプルの目的から始める
目的が違えば、必要なサンプルも違います。次のどれを目指しているのかを決めましょう。
サンプルの目的は?
- 担当者への公平なフィードバック各担当者が、定期的に、比較可能なレビュー済みの通話を持てる。
- 組織的な問題の発見お客様が何を尋ね、どこでプロセスがうまくいっていないかを幅広く把握する。
- リスクとコンプライアンスミスが最も影響する通話を、狙いを定めてレビューする。
- 研修と称賛共有して学べる優れた通話を見つける。
一つのサンプルで4つすべてを満たすことはまれです。通常は、公平さのための小さなランダムサンプルと、リスクのためのターゲットの通話を組み合わせます。
ランダムサンプリングとターゲットサンプリング
通話の2つの選び方
| ランダム | ターゲット | |
|---|---|---|
| 通話の選び方 | 期間内のすべての通話から無作為に選ぶ | 長さ、感情、結果、キーワードなどのシグナルで選ぶ |
| 強み | 典型的な通話を偏りなく把握できる | 問題やリスクを早く見つけられる |
| 弱み | まれだが深刻な問題を見逃すことがある | 単独で使うと、偏った見方になる |
| 適した用途 | 担当者のスコアと傾向 | コンプライアンス、苦情、コーチングのヒント |
両方を使いましょう。よくある形は、期間ごとに担当者1人あたりランダムな通話を2〜3件と、チーム全体でレビューするターゲットの通話を数件です。レポートでは2種類を分けておきましょう。ターゲットの通話を担当者の総合スコアの計算に使うと、最も難しい電話を受けた担当者を罰することになります。
件数を決める実践的な方法
使える時間から逆算しましょう。通話を丁寧にレビューするには、聞く、採点する、コメントを書くといった作業があるため、通常は通話そのものより長い時間がかかります。正直に見積もりましょう。
サンプル数の決め方
- レビュー時間を見積もるたとえば、10分の通話のレビューとコメントには15〜20分かかることがあります。
- 週のレビューの予算を決めるコーチングの時間を除いて、レビュー担当が毎週何時間を使えるか。
- レビュー時間で割るこれで、きちんとレビューできる通話の件数がわかります。
- 担当者に配分する各担当者に最低件数を割り当て、残りはリスクと必要性に応じて配分します。
- 1か月後に確認するレビューがたまったり、早く終わったりしたら調整します。
担当者ごとの最低件数
多くのチームでは、フィードバックが定期的になるよう、担当者1人あたり月数件といった下限を設けています。新しい担当者や育成計画中の担当者は多めに、結果が安定した経験者は少なめにすることもあります。ある担当者のサンプルが多いからといって、その担当者が劣っているわけではありません。単に追加の支援を意味することもあります。
小さなチーム
担当者が5〜10人なら、通話のかなりの割合をレビューできるかもしれません。統計的な厳密さは気にしなくて構いません。担当者1人あたり月数件など、無理のない件数を選び、しっかりレビューして、コーチングに生かしましょう。大切なのは、毎月それを続けることです。
サンプルの偏りを避ける
慎重に選ばないと、サンプルは誤解を招くことがあります。次の落とし穴に注意しましょう。
- 短い通話ばかりレビューする のは早く終わるからです。本当の難しさは、長い通話に隠れていることがよくあります。
- 同じ担当者ばかりレビューする のは目につきやすいからです。えこひいきか、つるし上げのように見えます。
- 苦情だけをレビューする。 暗い全体像しか得られず、よい実践を見逃します。
- いつも同じシフトをレビューする。 時間帯によって、かけてくる人もプレッシャーも異なります。
- 担当者にすべての通話を選ばせる。 最もよい通話を選ぶでしょう。組み合わせるほうがうまくいきます。コーチングのフレームワークをご覧ください。
選び方のルールは文書にし、見えるようにしましょう。通話の選び方を知っていれば、担当者は結果を受け入れやすくなります。また、インバウンド、アウトバウンド、各キューなど、扱うすべてのチャネルと通話の種類をサンプルがカバーしているかも確認します。
担当者への公平さ
担当者は、プロセスが公平だと信じられればレビューを受け入れます。サンプルの選び方を説明し、ほかの全員と同じ形式で本人の結果を示し、レビュー担当が書いたコメントを見られるようにしましょう。パートタイムの担当者、夜間のスタッフ、異なる種類の通話を受ける人の扱いには特に気を配ります。比較できないサンプルは、不公平なスコアを生むからです。
- 同じ種類の通話には、すべての担当者に同じ評価表を使います。
- 異なる種類の通話を受ける担当者どうしのスコアを、その違いに触れずに比べてはいけません。
- 担当者がスコアに疑問を示せるよう、別の人の意見を求めるシンプルな経路を用意します。
- スコアのデータは、本人、そのリーダー、レビュー担当だけが見られるようにします。
サンプル全体で繰り返し見られる弱点を見つけたら、まずはチームの問題として扱いましょう。不明確なプロセス、足りない情報、使いにくいツールなどです。個人へのコーチングは、仕組みを確認した後に行います。
ターゲットのレビューに役立つシグナル
シグナルを使えば、すべてを聞かなくても、詳しく見るべき通話を見つけられます。
| シグナル | 役立つ理由 | 使い方の例 |
|---|---|---|
| 非常に長い通話 | 混乱、難しい問題、非効率を示している可能性がある | プロセスの抜けを探すためにレビュー |
| 最後にお客様が否定的 | 失敗や満たされないニーズの可能性 | サービスリカバリーの観点でレビュー |
| 転送と再度の問い合わせ | 誤った振り分けや不完全な回答の可能性 | 振り分けとナレッジの観点でレビュー |
| 検出された語句 | コンプライアンスや配慮の要件 | ルールと照らし合わせて確認 |
| 非常に短い通話 | 途中で切れた、間違い電話、唐突な終わり方 | 始め方と対応を確認 |
| とてもよいお客様の声 | 学ぶべきよい実践 | よい通話のライブラリに追加 |
サンプルを上手に活用する
何も続かなければ、サンプルには価値がありません。担当者が通話を覚えているうちに、結果をすばやく共有しましょう。担当者をまたいで集計して繰り返し見られる弱い項目を見つけ、個人を責めるのではなく、研修、スクリプト、ナレッジの更新で改善します。レビュー担当が一貫して採点できるよう、キャリブレーションを行いましょう。「QAキャリブレーションセッションの進め方」をご覧ください。
シンプルなサンプリング計画
- レビューの目的を明記した
- 期間ごとの担当者1人あたりのランダムな通話数
- 期間ごとのターゲットの通話数と、使うシグナル
- 新しい担当者や育成計画中の担当者の最低件数
- 選び方のルールを文書にし、共有した
- 週ごとのレビュー時間を確保した
- キャリブレーションを予定した
- 結果を数日以内に共有している
Callでのサンプリング
Callの「レビューとコーチング」では、レビュー待ちの一覧にレビューを待つ通話が長いものと否定的なものから順に並び、一度に最大12件が表示されるため、レビュー担当は最も注意が必要そうな通話から始められます。担当者ごとの結果には、評価数、平均スコア、不合格の通話、使用中の抽出計画が表示されます。「不適切な販売の可能性」や「特別な配慮が必要な顧客」のセクションには、フレーズのルールで検出された通話と一致した語句が表示されます。ただし、表示されるのは検出があったときだけです。
AIエージェントが通話に応答している場合、「会話AI」の「自動レビュー」タブで、人がまだレビューしていない最近の通話を採点し、理由を示してリスクの高い順に並べられます。また、お客様が使った言葉から通話を話題ごとにまとめます。AIの要約を抽出し、それぞれを「正確」「一部正しい」「誤り」と評価することもできます。これらのツールは通話を選ぶために使い、最終的な判断には人が関わるようにしましょう。
よくある質問
レビューすべき通話の標準的な割合はありますか?
ありません。チームが一貫してレビューし、コーチングに生かせる件数を選びましょう。丁寧にレビューした小さなサンプルのほうが、読まれないままの大きなサンプルより役立ちます。
担当者1人あたり、月に何件が妥当ですか?
多くのチームは担当者ごとに数件から始め、調整しています。新しい担当者には多めにすることがよくあります。大切なのは、すべての担当者が定期的にレビューを受けることです。
どの通話がレビューされるか、担当者は知るべきですか?
選び方のルールと、通話がレビューされる可能性があることは知っておくべきです。どの通話かを事前に知る必要はありませんが、プロセスの透明性は信頼に役立ちます。
ソフトウェアにサンプルを選ばせてもよいですか?
ソフトウェアは、感情、長さ、フラグなどのシグナルで通話を並べられるため、時間を節約できます。それはターゲットのレビューに使い、全体像が公平に保たれるよう、ランダムな通話もいくつか残しましょう。
レビュー担当の偏りを防ぐには?
選び方のルールを文書にし、レビュー担当を交代させ、キャリブレーションセッションを行い、サンプルがすべてのシフトと通話の種類をカバーするようにしましょう。
十分な件数をレビューできない場合は?
評価表を最も重要な項目に絞り、少ない通話をより丁寧にレビューし、ターゲットのシグナルを使いましょう。自動化は、ルールが明確で信頼できる部分にだけ加えます。