Menjalankan Sesi Kalibrasi QA agar Penilaian Tetap Adil
Cara menjalankan sesi kalibrasi agar peninjau menilai panggilan dengan cara yang sama: pilih panggilan, nilai secara terpisah, bahas selisih, dan pantau kesepakatan.
Jika dua peninjau mendengarkan panggilan yang sama, lalu satu memberi nilai sangat baik sementara yang lain menyatakannya gagal, agen akan cepat berhenti memercayai skor. Kalibrasi adalah kebiasaan yang mencegah hal ini. Para peninjau menilai panggilan yang sama secara terpisah, membandingkan catatan, dan menyelesaikan perbedaannya, sehingga sebuah skor punya arti yang sama siapa pun yang memberikannya.

Panduan ini menunjukkan cara menjalankan sesi kalibrasi di tim kecil. Panduan ini melanjutkan Manajemen Kualitas Panggilan dan mendukung siklus umpan balik dalam Kerangka Sederhana untuk Coaching Agen dalam Panggilan.
Mengapa kalibrasi penting
Scorecard ditulis dengan kata-kata, dan kata-kata bisa dibaca secara berbeda. "Menunjukkan empati" atau "menyelesaikan masalah" bisa berarti lain bagi peninjau yang berbeda, atau bagi peninjau yang sama di hari yang berbeda. Tanpa kalibrasi, muncul tiga masalah: skor yang tidak adil antaragen, coaching yang didasarkan pada opini, dan laporan yang tidak bisa dibandingkan antarwaktu atau antartim.
Tanda bahwa Anda membutuhkan kalibrasi
- Agen membantah skorMereka bilang peninjau lain akan meluluskan panggilan yang sama.
- Rata-rata peninjau berbedaSatu peninjau selalu lebih ketat atau lebih longgar daripada yang lain.
- Peninjau baru bergeserSkor berubah ketika ada orang baru yang bergabung atau menggantikan.
- Item scorecard samarOrang yang berbeda menjelaskannya secara berbeda.
Mempersiapkan sesi
Sesi yang baik memerlukan sedikit persiapan. Fasilitatornya sebaiknya orang yang memahami scorecard dengan baik dan bisa bersikap netral, sering kali QA lead atau team lead senior.
Sebelum sesi
- Pilih tiga atau empat panggilanSertakan satu yang jelas lulus, satu yang jelas gagal, dan setidaknya satu panggilan yang berada di batas.
- Hapus detail identitasSembunyikan nama agen agar diskusi tetap tentang panggilannya.
- Bagikan scorecardSemua orang memakai versi terbaru, lengkap dengan definisinya.
- Minta penilaian mandiriSetiap peninjau menilai sebelum pertemuan dan tidak membicarakannya dengan yang lain.
Panggilan sungguhan adalah bahan terbaik. Ambil panggilan yang berada di batas dari tinjauan rutin Anda, karena di situlah perbedaan pendapat tersembunyi. Pastikan rekaman boleh dibagikan kepada para peninjau sesuai aturan internal Anda, dan tangani data pribadi dengan hati-hati; lihat Persetujuan Perekaman Panggilan untuk sisi perekamannya.
Menjalankan sesi
Mulailah dengan skor, bukan opini. Tampilkan hasil per item dari semua orang di layar bersama dan cari item dengan selisih terlebar. Bahas item-item itu lebih dulu.
- Sampaikan selisihnya. Untuk setiap panggilan, tunjukkan skor total dari setiap peninjau dan perbedaan di tingkat item.
- Minta setiap peninjau menjelaskan item yang diperdebatkan, dengan mengutip momen dalam panggilan yang mendasari keputusannya.
- Kembali ke kalimat scorecard. Apakah sudah jelas menyebutkan apa yang dianggap lulus?
- Sepakati jawaban untuk panggilan ini, lalu tuliskan alasannya.
- Jika masalahnya ada pada kalimat, catat perubahan yang perlu dibuat; jangan memperbaikinya secara langsung dengan cara yang membingungkan orang.
Aturan dasar
- Bahas panggilan dan scorecard, bukan orangnya.
- Semua orang berbicara sebelum fasilitator menyampaikan pendapat.
- Perbedaan pendapat wajar dan berguna.
- Keputusan dicatat agar sesi berikutnya tidak membukanya kembali tanpa informasi baru.
Contoh sesi dalam praktik
Bayangkan tim beranggotakan enam orang dengan tiga peninjau. Mereka memilih empat panggilan dan menilainya sendiri-sendiri. Pada panggilan ketiga, satu peninjau meluluskan item tentang konfirmasi data pelanggan, sementara yang lain menggagalkannya. Fasilitator meminta masing-masing memutar momen yang mereka jadikan dasar. Ternyata agen mengonfirmasi kode pos tetapi tidak menanyakan nama, sementara scorecard hanya menyebutkan konfirmasi data. Tim sepakat bahwa item itu harus mencantumkan dengan tepat dua data mana yang dihitung, lalu menulis ulang item tersebut dan mencatat keputusannya.
Perubahan kecil itu menghilangkan sumber skor yang tidak adil di setiap tinjauan berikutnya. Inilah pola yang perlu dicari: perbedaan pendapat tentang sebuah panggilan biasanya menandakan ada celah di scorecard.
Jangan lupa menuntaskannya bersama agen. Beri tahu mereka apa yang berubah pada kalimatnya dan mengapa, dan terapkan perubahan sejak tanggal yang ditentukan, alih-alih menilai ulang panggilan lama. Jika skor sebelumnya jelas tidak adil karena kalimat lama, bersikaplah terbuka untuk mengoreksinya.
Mengubah perbedaan pendapat menjadi scorecard yang lebih baik
Hasil paling berharga dari sebuah sesi biasanya adalah scorecard yang lebih jelas. Jika peninjau berbeda pendapat tentang suatu item, kemungkinan besar item itu samar. Buat lebih konkret.
| Item yang samar | Versi yang lebih jelas |
|---|---|
| Menunjukkan empati | Mengakui masalah pelanggan dengan kata-kata pelanggan sendiri sebelum menawarkan solusi. |
| Menyelesaikan masalah | Memberi jawaban lengkap atau menetapkan langkah berikutnya yang jelas beserta waktunya. |
| Nada profesional | Tidak memotong pembicaraan, tidak sarkastis, serta pembuka dan penutup yang sopan. |
| Mengikuti proses | Memverifikasi pelanggan dengan langkah-langkah dalam prosedur yang berlaku. |
Tambahkan satu atau dua contoh kalimat yang lulus dan yang gagal untuk setiap item. Gunakan "N/A" secara sengaja untuk item yang tidak berlaku pada jenis panggilan tertentu, alih-alih menebak. Batasi item kritis, yaitu item yang bisa menggagalkan seluruh panggilan, pada daftar yang sangat pendek, dan buat tidak ambigu. Batas nilai lulus yang wajar adalah keputusan tim Anda; hindari mengubahnya tanpa memberi tahu agen.
Mengukur kesepakatan dari waktu ke waktu
Anda tidak memerlukan statistik yang rumit. Ukuran sederhananya adalah selisih antara skor total tertinggi dan terendah untuk setiap panggilan yang dikalibrasi. Pantau rata-rata selisihnya per bulan, dan perhatikan item yang paling banyak menimbulkan perbedaan pendapat.
Membaca selisih
| Selisih kecil | Selisih besar | |
|---|---|---|
| Artinya | Peninjau membaca scorecard dengan cara serupa | Peninjau membacanya secara berbeda |
| Yang perlu dilakukan | Pertahankan rutinitas dan rotasi panggilan | Tulis ulang item, tambahkan contoh, segera adakan sesi lagi |
| Risiko | Rasa puas diri, titik buta yang sama | Skor yang tidak adil dan hilangnya kepercayaan |
Sebagai patokan kasar, selisih di atas sekitar dua puluh poin pada skala seratus menandakan bahwa peninjau memakai scorecard secara berbeda, dan sebaiknya kalimatnya disepakati bersama. Perlakukan angka seperti ini sebagai pedoman untuk tim Anda sendiri, bukan standar.
Simpan log keputusan. Dokumen bersama sederhana berisi tanggal, panggilan, item yang diperdebatkan, dan tafsiran yang disepakati sudah cukup. Peninjau baru bisa membacanya untuk mempelajari cara tim menerapkan scorecard, dan log ini mencegah perdebatan yang sama muncul setiap bulan. Tinjau log saat Anda merevisi scorecard, dan hapus entri yang tidak lagi diperlukan karena kalimat barunya.
Frekuensi dan siapa yang ikut serta
- Frekuensi: setiap dua sampai empat minggu di awal, lalu sebulan sekali setelah selisihnya kecil.
- Peserta: semua peninjau, ditambah satu atau dua team lead. Sertakan peninjau yang baru dilatih.
- Durasi: empat puluh lima menit biasanya cukup untuk tiga atau empat panggilan.
- Agen: pertimbangkan untuk sesekali mengundang agen, dengan panggilan yang dianonimkan, agar mereka melihat cara penilaian bekerja.
Padukan kalibrasi dengan rencana pengambilan sampel agar peninjau melihat campuran agen dan jenis panggilan; lihat Berapa Banyak Panggilan yang Perlu Ditinjau?. Jika ada alat AI yang memberi skor awal pada panggilan, sertakan juga beberapa hasilnya dalam kalibrasi, agar orang belajar kapan bisa memercayainya dan kapan harus mengoreksinya.
Kalibrasi di Call
Area Tinjauan dan pendampingan di Call memiliki bagian "Kalibrasi" yang mencantumkan panggilan yang dinilai oleh lebih dari satu peninjau, beserta selisih skor mereka. Admin dan manajer menilai panggilan dari antrean tinjauan dengan Lulus, Gagal, atau N/A untuk setiap item scorecard, dan item kritis membuat skor menjadi nol jika gagal. Panduan Call menyebutkan bahwa selisih di atas 20 poin berarti peninjau membaca scorecard secara berbeda, sehingga sebaiknya mereka menyepakatinya bersama.
Call juga dapat menilai sebagian item secara mandiri jika Anda mendeskripsikannya sebagai kata-kata yang diucapkan atau tidak diucapkan, menggunakan aturan "Penilaian otomatis". Buat aturan ini sempit dan akurat; aturan yang kosong lebih baik daripada aturan hasil tebakan. Antrean tinjauan dan scorecard memerlukan scorecard yang aktif di workspace Anda, jadi siapkan itu sebelum merencanakan kalibrasi di atasnya.
Pertanyaan yang sering diajukan
Apa bedanya kalibrasi dengan tinjauan kualitas biasa?
Dalam tinjauan biasa, satu peninjau menilai satu panggilan. Dalam kalibrasi, beberapa peninjau menilai panggilan yang sama secara terpisah, lalu membandingkannya. Tujuannya menyelaraskan para peninjau, bukan menilai agen.
Apakah skor para peninjau harus identik?
Tidak. Perbedaan kecil itu wajar. Tujuannya adalah menyepakati apa yang dianggap lulus untuk setiap item dan menjaga selisih keseluruhan tetap kecil.
Berapa banyak panggilan yang sebaiknya dipakai di setiap sesi?
Tiga atau empat biasanya cukup. Terlalu banyak panggilan membuat rapat panjang dan dangkal. Pilih panggilan yang memperlihatkan perbedaan pendapat.
Apakah agen perlu melihat hasil kalibrasi?
Agen sebaiknya melihat definisi scorecard dan setiap perubahan yang dihasilkan kalibrasi. Apakah perbandingan per panggilan juga dibagikan adalah keputusan tim, tetapi keterbukaan membangun kepercayaan.
Bagaimana jika ada satu peninjau yang selalu lebih ketat?
Lihat item mana yang menyebabkan selisihnya dan bahas dalam sesi. Sering kali kalimat scorecard-nya kurang jelas. Jika selisih tetap ada, berikan panduan dan contoh tambahan kepada peninjau tersebut.
Seberapa sering scorecard perlu diperbarui?
Perbarui ketika kalibrasi menunjukkan kebingungan yang berulang, ketika proses atau produk Anda berubah, atau ketika kebutuhan pelanggan berubah. Umumkan perubahannya kepada agen.