品質管理・チーム運営

採点の公平さを保つQAキャリブレーションセッションの進め方

レビュー担当が同じ基準で通話を採点できるようにするキャリブレーションの進め方。通話の選び方、独立採点、差の議論、評価表の改善、一致度の追跡を解説します。

Call 編集部 · 公開 · 約8分で読めます

2人のレビュー担当が同じ通話を聞き、一方はとてもよいと採点し、もう一方は不合格とするなら、担当者はすぐにスコアを信頼しなくなります。これを防ぐ習慣がキャリブレーションです。レビュー担当が同じ通話を別々に採点し、メモを比べ、差を解消することで、誰がつけてもスコアが同じ意味を持つようにします。

会議テーブルを囲み、印刷した評価表について話し合う品質レビュー担当の小グループ
イメージ画像

このガイドでは、小さなチームでのキャリブレーションセッションの進め方を紹介します。「通話の品質管理」の内容を土台とし、「オペレーターの通話コーチングのためのシンプルなフレームワーク」のフィードバックのサイクルを支えるものです。

キャリブレーションが大切な理由

評価表は言葉で書かれており、言葉は人によって読み方が異なります。「共感を示した」「問題を解決した」は、レビュー担当によって、あるいは同じレビュー担当でも日によって、意味が異なります。キャリブレーションをしなければ、3つの問題が生じます。担当者間で不公平なスコア、意見に基づくコーチング、そして時期やチームをまたいで比較できないレポートです。

キャリブレーションが必要なサイン

  • 担当者がスコアに異議を唱える別のレビュー担当なら、同じ通話を合格にしただろうと言う。
  • レビュー担当の平均が異なるあるレビュー担当が、ほかの担当より一貫して厳しい、または甘い。
  • 新しいレビュー担当で基準がずれる誰かが加わったり代わりを務めたりすると、スコアが変わる。
  • 評価表の項目があいまい人によって説明が異なる。

セッションの準備

よいセッションには、少しの準備が必要です。進行役は、評価表をよく理解していて中立を保てる人がよく、QAリーダーや上級のチームリーダーが務めることが多いです。

セッションの前に

  1. 通話を3〜4件選ぶ明らかな合格、明らかな不合格、そして少なくとも1件の判断が分かれそうな通話を含めます。
  2. 個人を特定できる情報を除く担当者の名前を伏せ、議論が通話そのものに向くようにします。
  3. 評価表を共有する全員が、定義付きの最新版を使います。
  4. 独立した採点を依頼する各レビュー担当は会議の前に採点し、ほかの人とそれについて話さないようにします。

最良の素材は実際の通話です。意見の相違が潜んでいるのは判断が分かれそうな通話なので、通常のレビューからそうした通話を選びましょう。社内のルールに照らして録音をレビュー担当と共有できるかを確認し、個人データは慎重に扱います。録音の側面については「通話録音の同意」をご覧ください。

セッションの進め方

意見ではなく、スコアから始めましょう。全員の項目ごとの結果を共有画面に表示し、差が最も大きい項目を探します。それらから順に取り組みます。

  1. ばらつきを示す。通話ごとに、各レビュー担当の合計スコアと、項目単位の差を示します。
  2. 意見の分かれた項目について、判断の根拠となった通話の場面を挙げながら、各レビュー担当に説明してもらいます。
  3. 評価表の文言に立ち返ります。何をもって合格とするかが、はっきり書かれているでしょうか。
  4. この通話についての答えに合意し、その理由を書き留めます。
  5. 文言に問題があるなら、変更点をメモします。混乱を招くような形で、その場で直さないようにします。

基本ルール

仮のセッションの実例

レビュー担当が3人いる、6人のチームを想像してください。4件の通話を選び、それぞれ一人で採点します。3件目の通話で、お客様の情報を確認する項目について、あるレビュー担当は合格、別の担当は不合格をつけました。進行役は、それぞれが根拠とした場面を再生してもらいます。すると、担当者は郵便番号は確認したものの名前は確認しておらず、評価表には単に「情報を確認する」としか書かれていないことがわかりました。チームは、この項目でどの2つの情報を確認すべきかを正確に記載することに合意し、文言を書き直し、決定を記録します。

この小さな変更によって、今後のすべてのレビューから不公平なスコアの原因が一つ取り除かれます。探すべきパターンはこれです。通話についての意見の相違は、たいてい評価表に抜けがあるサインです。

担当者への共有も忘れずに行いましょう。文言の何がなぜ変わったかを伝え、過去の通話を採点し直すのではなく、明示した日付から変更を適用します。古い文言のせいで過去のスコアが明らかに不公平だった場合は、訂正することをオープンにしましょう。

意見の相違を、よりよい評価表に変える

セッションの最も価値ある成果は、たいていより明確な評価表です。ある項目でレビュー担当の意見が分かれるなら、その項目はおそらくあいまいです。具体的にしましょう。

あいまいな項目より明確な文言
共感を示した解決策を示す前に、お客様の問題をお客様自身の言葉で受け止めた。
問題を解決した完全な答えを示した、または時期を添えて明確な次のステップを決めた。
プロフェッショナルなトーンさえぎらない、皮肉を言わない、丁寧な始め方と終わり方をした。
手順に従った最新の手順に定められたステップで、お客様の本人確認を行った。

各項目に、合格と不合格の例となるフレーズを1〜2つ加えましょう。通話の種類に当てはまらない項目には、推測せず、意図的に「該当なし」を使います。通話全体を不合格にしうる重大項目はごく少数にとどめ、あいまいさのないものにします。妥当な合格ラインはチームで決めることです。担当者に伝えずに変更しないようにしましょう。

一致度を継続的に測る

複雑な統計は必要ありません。シンプルな指標は、キャリブレーションを行った各通話の、合計スコアの最高値と最低値の差(ばらつき)です。月ごとの平均のばらつきを追跡し、最も意見が分かれる項目を確認しましょう。

ばらつきの読み方

ばらつきが小さいばらつきが大きい
示唆することレビュー担当が評価表を同じように読んでいるレビュー担当が評価表を異なる形で読んでいる
すべきこと習慣を続け、通話を入れ替える項目を書き直し、例を加え、近いうちにもう一度セッションを行う
リスク慢心、共通の盲点不公平なスコアと不信感

目安として、100点満点で約20点を超えるばらつきは、レビュー担当が評価表を異なる形で使っているサインであり、文言について一緒に合意する価値があります。こうした数字は、標準ではなく、自社チームのための目安として扱いましょう。

決定の記録をつけましょう。日付、通話、意見の分かれた項目、合意した読み方を記したシンプルな共有文書で十分です。新しいレビュー担当はそれを読んでチームの評価表の使い方を学べ、同じ議論が毎月繰り返されるのを防げます。評価表を改訂するときに記録を見直し、新しい文言で不要になった項目は削除します。

頻度と参加者

レビュー担当がさまざまな担当者や通話の種類に触れられるよう、キャリブレーションをサンプリングの計画と組み合わせましょう。「何件の通話をレビューすべきか」をご覧ください。AIツールが事前に通話を採点している場合は、その結果もいくつかキャリブレーションに含め、いつ信頼し、いつ上書きすべきかを学べるようにします。

Callでのキャリブレーション

Callの「レビューとコーチング」には「キャリブレーション」のセクションがあり、複数のレビュー担当が採点した通話と、そのスコアの差が一覧表示されます。管理者とマネージャーはレビュー待ちの一覧から、評価表の各項目を「合格」「不合格」「該当なし」で採点し、重大項目が不合格になるとスコアは0になります。Callのガイダンスでは、20点を超える差は、レビュー担当が評価表を異なる形で読んでいることを意味するため、一緒に合意すべきだとしています。

Callでは、項目を「言った・言わなかった」語句として記述すれば、「自動採点」のルールを使って一部の項目を自動で採点することもできます。これらのルールは狭く、正確に保ちましょう。推測で作ったルールより、空欄のほうがましです。レビュー待ちの一覧と評価表を使うにはワークスペースで有効な評価表が必要なため、それを軸にキャリブレーションを計画する前に設定しておきましょう。

よくある質問

キャリブレーションは、通常の品質レビューとどう違うのですか?

通常のレビューでは、一人のレビュー担当が通話を採点します。キャリブレーションでは、複数のレビュー担当が同じ通話を独立して採点し、比べます。目的は担当者を評価することではなく、レビュー担当の評価をそろえることです。

レビュー担当は同じスコアをつけなければなりませんか?

いいえ。小さな差は普通です。目標は、各項目で何を合格とするかに合意し、全体のばらつきを小さく保つことです。

各セッションでは、何件の通話を使うべきですか?

通常は3〜4件で十分です。通話が多すぎると、会議が長く浅いものになります。意見の相違が表れる通話を選びましょう。

担当者はキャリブレーションの結果を見るべきですか?

担当者は、評価表の定義と、キャリブレーションによる変更を見るべきです。通話ごとの比較を共有するかどうかはチームで決めることですが、オープンにすれば信頼が築かれます。

いつも厳しいレビュー担当がいる場合は?

どの項目が差を生んでいるかを確認し、セッションで話し合いましょう。多くの場合、評価表の文言が不明確です。差が続くなら、そのレビュー担当に追加の指針と例を渡します。

評価表は、どのくらいの頻度で更新すべきですか?

キャリブレーションで繰り返し混乱が見られるとき、プロセスや商品が変わったとき、お客様のニーズが変わったときに更新しましょう。変更は担当者に知らせます。

Callで同じ通話のレビュー担当ごとのスコアを比べましょう

デモコンソールでは、着信をシミュレーションで体験できます。

関連記事

品質管理・チーム運営

コンタクトセンターのオペレーターの燃え尽きを防ぐ実践ガイド

オペレーターの燃え尽きの警告サイン、電話業務によくある原因、シフト、業務量、回復の時間、支援によって燃え尽きを減らす実践的な方法を解説します。

Call 編集部 ·
品質管理・チーム運営

新人オペレーターのための30日間のオンボーディング計画

新しいサポート担当者を一人前に育てる週ごとの計画。準備、同席、支援付きの通話、フィードバック、30日目の振り返りと、チームリーダー用のチェックリストを紹介します。

Call 編集部 ·
品質管理・チーム運営

オペレーターの通話コーチングのためのシンプルなフレームワーク

チームリーダーが繰り返し使えるコーチングの型。通話を選び、重点を一つ決め、短い面談を行い、行動に合意し、その後の通話の改善を確かめます。

Call 編集部 ·