採点の公平さを保つQAキャリブレーションセッションの進め方
レビュー担当が同じ基準で通話を採点できるようにするキャリブレーションの進め方。通話の選び方、独立採点、差の議論、評価表の改善、一致度の追跡を解説します。
2人のレビュー担当が同じ通話を聞き、一方はとてもよいと採点し、もう一方は不合格とするなら、担当者はすぐにスコアを信頼しなくなります。これを防ぐ習慣がキャリブレーションです。レビュー担当が同じ通話を別々に採点し、メモを比べ、差を解消することで、誰がつけてもスコアが同じ意味を持つようにします。

このガイドでは、小さなチームでのキャリブレーションセッションの進め方を紹介します。「通話の品質管理」の内容を土台とし、「オペレーターの通話コーチングのためのシンプルなフレームワーク」のフィードバックのサイクルを支えるものです。
キャリブレーションが大切な理由
評価表は言葉で書かれており、言葉は人によって読み方が異なります。「共感を示した」「問題を解決した」は、レビュー担当によって、あるいは同じレビュー担当でも日によって、意味が異なります。キャリブレーションをしなければ、3つの問題が生じます。担当者間で不公平なスコア、意見に基づくコーチング、そして時期やチームをまたいで比較できないレポートです。
キャリブレーションが必要なサイン
- 担当者がスコアに異議を唱える別のレビュー担当なら、同じ通話を合格にしただろうと言う。
- レビュー担当の平均が異なるあるレビュー担当が、ほかの担当より一貫して厳しい、または甘い。
- 新しいレビュー担当で基準がずれる誰かが加わったり代わりを務めたりすると、スコアが変わる。
- 評価表の項目があいまい人によって説明が異なる。
セッションの準備
よいセッションには、少しの準備が必要です。進行役は、評価表をよく理解していて中立を保てる人がよく、QAリーダーや上級のチームリーダーが務めることが多いです。
セッションの前に
- 通話を3〜4件選ぶ明らかな合格、明らかな不合格、そして少なくとも1件の判断が分かれそうな通話を含めます。
- 個人を特定できる情報を除く担当者の名前を伏せ、議論が通話そのものに向くようにします。
- 評価表を共有する全員が、定義付きの最新版を使います。
- 独立した採点を依頼する各レビュー担当は会議の前に採点し、ほかの人とそれについて話さないようにします。
最良の素材は実際の通話です。意見の相違が潜んでいるのは判断が分かれそうな通話なので、通常のレビューからそうした通話を選びましょう。社内のルールに照らして録音をレビュー担当と共有できるかを確認し、個人データは慎重に扱います。録音の側面については「通話録音の同意」をご覧ください。
セッションの進め方
意見ではなく、スコアから始めましょう。全員の項目ごとの結果を共有画面に表示し、差が最も大きい項目を探します。それらから順に取り組みます。
- ばらつきを示す。通話ごとに、各レビュー担当の合計スコアと、項目単位の差を示します。
- 意見の分かれた項目について、判断の根拠となった通話の場面を挙げながら、各レビュー担当に説明してもらいます。
- 評価表の文言に立ち返ります。何をもって合格とするかが、はっきり書かれているでしょうか。
- この通話についての答えに合意し、その理由を書き留めます。
- 文言に問題があるなら、変更点をメモします。混乱を招くような形で、その場で直さないようにします。
基本ルール
- 人ではなく、通話と評価表について話し合う。
- 進行役が意見を述べる前に、全員が発言する。
- 意見の相違は想定内であり、役に立つ。
- 新しい情報がない限り次のセッションで蒸し返さないよう、決定を記録する。
仮のセッションの実例
レビュー担当が3人いる、6人のチームを想像してください。4件の通話を選び、それぞれ一人で採点します。3件目の通話で、お客様の情報を確認する項目について、あるレビュー担当は合格、別の担当は不合格をつけました。進行役は、それぞれが根拠とした場面を再生してもらいます。すると、担当者は郵便番号は確認したものの名前は確認しておらず、評価表には単に「情報を確認する」としか書かれていないことがわかりました。チームは、この項目でどの2つの情報を確認すべきかを正確に記載することに合意し、文言を書き直し、決定を記録します。
この小さな変更によって、今後のすべてのレビューから不公平なスコアの原因が一つ取り除かれます。探すべきパターンはこれです。通話についての意見の相違は、たいてい評価表に抜けがあるサインです。
担当者への共有も忘れずに行いましょう。文言の何がなぜ変わったかを伝え、過去の通話を採点し直すのではなく、明示した日付から変更を適用します。古い文言のせいで過去のスコアが明らかに不公平だった場合は、訂正することをオープンにしましょう。
意見の相違を、よりよい評価表に変える
セッションの最も価値ある成果は、たいていより明確な評価表です。ある項目でレビュー担当の意見が分かれるなら、その項目はおそらくあいまいです。具体的にしましょう。
| あいまいな項目 | より明確な文言 |
|---|---|
| 共感を示した | 解決策を示す前に、お客様の問題をお客様自身の言葉で受け止めた。 |
| 問題を解決した | 完全な答えを示した、または時期を添えて明確な次のステップを決めた。 |
| プロフェッショナルなトーン | さえぎらない、皮肉を言わない、丁寧な始め方と終わり方をした。 |
| 手順に従った | 最新の手順に定められたステップで、お客様の本人確認を行った。 |
各項目に、合格と不合格の例となるフレーズを1〜2つ加えましょう。通話の種類に当てはまらない項目には、推測せず、意図的に「該当なし」を使います。通話全体を不合格にしうる重大項目はごく少数にとどめ、あいまいさのないものにします。妥当な合格ラインはチームで決めることです。担当者に伝えずに変更しないようにしましょう。
一致度を継続的に測る
複雑な統計は必要ありません。シンプルな指標は、キャリブレーションを行った各通話の、合計スコアの最高値と最低値の差(ばらつき)です。月ごとの平均のばらつきを追跡し、最も意見が分かれる項目を確認しましょう。
ばらつきの読み方
| ばらつきが小さい | ばらつきが大きい | |
|---|---|---|
| 示唆すること | レビュー担当が評価表を同じように読んでいる | レビュー担当が評価表を異なる形で読んでいる |
| すべきこと | 習慣を続け、通話を入れ替える | 項目を書き直し、例を加え、近いうちにもう一度セッションを行う |
| リスク | 慢心、共通の盲点 | 不公平なスコアと不信感 |
目安として、100点満点で約20点を超えるばらつきは、レビュー担当が評価表を異なる形で使っているサインであり、文言について一緒に合意する価値があります。こうした数字は、標準ではなく、自社チームのための目安として扱いましょう。
決定の記録をつけましょう。日付、通話、意見の分かれた項目、合意した読み方を記したシンプルな共有文書で十分です。新しいレビュー担当はそれを読んでチームの評価表の使い方を学べ、同じ議論が毎月繰り返されるのを防げます。評価表を改訂するときに記録を見直し、新しい文言で不要になった項目は削除します。
頻度と参加者
- 頻度: 最初は2〜4週間ごとに、ばらつきが小さくなったら毎月に。
- 参加者: すべてのレビュー担当と、チームリーダー1〜2人。新しく研修を受けたレビュー担当も含めます。
- 時間: 3〜4件の通話なら、通常45分で十分です。
- 担当者: 採点の仕組みを知ってもらうため、ときには匿名化した通話を使って担当者を招くことも検討しましょう。
レビュー担当がさまざまな担当者や通話の種類に触れられるよう、キャリブレーションをサンプリングの計画と組み合わせましょう。「何件の通話をレビューすべきか」をご覧ください。AIツールが事前に通話を採点している場合は、その結果もいくつかキャリブレーションに含め、いつ信頼し、いつ上書きすべきかを学べるようにします。
Callでのキャリブレーション
Callの「レビューとコーチング」には「キャリブレーション」のセクションがあり、複数のレビュー担当が採点した通話と、そのスコアの差が一覧表示されます。管理者とマネージャーはレビュー待ちの一覧から、評価表の各項目を「合格」「不合格」「該当なし」で採点し、重大項目が不合格になるとスコアは0になります。Callのガイダンスでは、20点を超える差は、レビュー担当が評価表を異なる形で読んでいることを意味するため、一緒に合意すべきだとしています。
Callでは、項目を「言った・言わなかった」語句として記述すれば、「自動採点」のルールを使って一部の項目を自動で採点することもできます。これらのルールは狭く、正確に保ちましょう。推測で作ったルールより、空欄のほうがましです。レビュー待ちの一覧と評価表を使うにはワークスペースで有効な評価表が必要なため、それを軸にキャリブレーションを計画する前に設定しておきましょう。
よくある質問
キャリブレーションは、通常の品質レビューとどう違うのですか?
通常のレビューでは、一人のレビュー担当が通話を採点します。キャリブレーションでは、複数のレビュー担当が同じ通話を独立して採点し、比べます。目的は担当者を評価することではなく、レビュー担当の評価をそろえることです。
レビュー担当は同じスコアをつけなければなりませんか?
いいえ。小さな差は普通です。目標は、各項目で何を合格とするかに合意し、全体のばらつきを小さく保つことです。
各セッションでは、何件の通話を使うべきですか?
通常は3〜4件で十分です。通話が多すぎると、会議が長く浅いものになります。意見の相違が表れる通話を選びましょう。
担当者はキャリブレーションの結果を見るべきですか?
担当者は、評価表の定義と、キャリブレーションによる変更を見るべきです。通話ごとの比較を共有するかどうかはチームで決めることですが、オープンにすれば信頼が築かれます。
いつも厳しいレビュー担当がいる場合は?
どの項目が差を生んでいるかを確認し、セッションで話し合いましょう。多くの場合、評価表の文言が不明確です。差が続くなら、そのレビュー担当に追加の指針と例を渡します。
評価表は、どのくらいの頻度で更新すべきですか?
キャリブレーションで繰り返し混乱が見られるとき、プロセスや商品が変わったとき、お客様のニーズが変わったときに更新しましょう。変更は担当者に知らせます。