Kualitas dan tim

Menjalankan Sesi Kalibrasi QA agar Penilaian Tetap Adil

Cara menjalankan sesi kalibrasi agar peninjau menilai panggilan dengan cara yang sama: pilih panggilan, nilai secara terpisah, bahas selisih, dan pantau kesepakatan.

Tim redaksi Call · Dipublikasikan · Baca 5 menit

Jika dua peninjau mendengarkan panggilan yang sama, lalu satu memberi nilai sangat baik sementara yang lain menyatakannya gagal, agen akan cepat berhenti memercayai skor. Kalibrasi adalah kebiasaan yang mencegah hal ini. Para peninjau menilai panggilan yang sama secara terpisah, membandingkan catatan, dan menyelesaikan perbedaannya, sehingga sebuah skor punya arti yang sama siapa pun yang memberikannya.

Sekelompok kecil peninjau kualitas mendiskusikan scorecard cetak di sekitar meja rapat
Gambar ilustrasi

Panduan ini menunjukkan cara menjalankan sesi kalibrasi di tim kecil. Panduan ini melanjutkan Manajemen Kualitas Panggilan dan mendukung siklus umpan balik dalam Kerangka Sederhana untuk Coaching Agen dalam Panggilan.

Mengapa kalibrasi penting

Scorecard ditulis dengan kata-kata, dan kata-kata bisa dibaca secara berbeda. "Menunjukkan empati" atau "menyelesaikan masalah" bisa berarti lain bagi peninjau yang berbeda, atau bagi peninjau yang sama di hari yang berbeda. Tanpa kalibrasi, muncul tiga masalah: skor yang tidak adil antaragen, coaching yang didasarkan pada opini, dan laporan yang tidak bisa dibandingkan antarwaktu atau antartim.

Tanda bahwa Anda membutuhkan kalibrasi

  • Agen membantah skorMereka bilang peninjau lain akan meluluskan panggilan yang sama.
  • Rata-rata peninjau berbedaSatu peninjau selalu lebih ketat atau lebih longgar daripada yang lain.
  • Peninjau baru bergeserSkor berubah ketika ada orang baru yang bergabung atau menggantikan.
  • Item scorecard samarOrang yang berbeda menjelaskannya secara berbeda.

Mempersiapkan sesi

Sesi yang baik memerlukan sedikit persiapan. Fasilitatornya sebaiknya orang yang memahami scorecard dengan baik dan bisa bersikap netral, sering kali QA lead atau team lead senior.

Sebelum sesi

  1. Pilih tiga atau empat panggilanSertakan satu yang jelas lulus, satu yang jelas gagal, dan setidaknya satu panggilan yang berada di batas.
  2. Hapus detail identitasSembunyikan nama agen agar diskusi tetap tentang panggilannya.
  3. Bagikan scorecardSemua orang memakai versi terbaru, lengkap dengan definisinya.
  4. Minta penilaian mandiriSetiap peninjau menilai sebelum pertemuan dan tidak membicarakannya dengan yang lain.

Panggilan sungguhan adalah bahan terbaik. Ambil panggilan yang berada di batas dari tinjauan rutin Anda, karena di situlah perbedaan pendapat tersembunyi. Pastikan rekaman boleh dibagikan kepada para peninjau sesuai aturan internal Anda, dan tangani data pribadi dengan hati-hati; lihat Persetujuan Perekaman Panggilan untuk sisi perekamannya.

Menjalankan sesi

Mulailah dengan skor, bukan opini. Tampilkan hasil per item dari semua orang di layar bersama dan cari item dengan selisih terlebar. Bahas item-item itu lebih dulu.

  1. Sampaikan selisihnya. Untuk setiap panggilan, tunjukkan skor total dari setiap peninjau dan perbedaan di tingkat item.
  2. Minta setiap peninjau menjelaskan item yang diperdebatkan, dengan mengutip momen dalam panggilan yang mendasari keputusannya.
  3. Kembali ke kalimat scorecard. Apakah sudah jelas menyebutkan apa yang dianggap lulus?
  4. Sepakati jawaban untuk panggilan ini, lalu tuliskan alasannya.
  5. Jika masalahnya ada pada kalimat, catat perubahan yang perlu dibuat; jangan memperbaikinya secara langsung dengan cara yang membingungkan orang.

Aturan dasar

Contoh sesi dalam praktik

Bayangkan tim beranggotakan enam orang dengan tiga peninjau. Mereka memilih empat panggilan dan menilainya sendiri-sendiri. Pada panggilan ketiga, satu peninjau meluluskan item tentang konfirmasi data pelanggan, sementara yang lain menggagalkannya. Fasilitator meminta masing-masing memutar momen yang mereka jadikan dasar. Ternyata agen mengonfirmasi kode pos tetapi tidak menanyakan nama, sementara scorecard hanya menyebutkan konfirmasi data. Tim sepakat bahwa item itu harus mencantumkan dengan tepat dua data mana yang dihitung, lalu menulis ulang item tersebut dan mencatat keputusannya.

Perubahan kecil itu menghilangkan sumber skor yang tidak adil di setiap tinjauan berikutnya. Inilah pola yang perlu dicari: perbedaan pendapat tentang sebuah panggilan biasanya menandakan ada celah di scorecard.

Jangan lupa menuntaskannya bersama agen. Beri tahu mereka apa yang berubah pada kalimatnya dan mengapa, dan terapkan perubahan sejak tanggal yang ditentukan, alih-alih menilai ulang panggilan lama. Jika skor sebelumnya jelas tidak adil karena kalimat lama, bersikaplah terbuka untuk mengoreksinya.

Mengubah perbedaan pendapat menjadi scorecard yang lebih baik

Hasil paling berharga dari sebuah sesi biasanya adalah scorecard yang lebih jelas. Jika peninjau berbeda pendapat tentang suatu item, kemungkinan besar item itu samar. Buat lebih konkret.

Item yang samarVersi yang lebih jelas
Menunjukkan empatiMengakui masalah pelanggan dengan kata-kata pelanggan sendiri sebelum menawarkan solusi.
Menyelesaikan masalahMemberi jawaban lengkap atau menetapkan langkah berikutnya yang jelas beserta waktunya.
Nada profesionalTidak memotong pembicaraan, tidak sarkastis, serta pembuka dan penutup yang sopan.
Mengikuti prosesMemverifikasi pelanggan dengan langkah-langkah dalam prosedur yang berlaku.

Tambahkan satu atau dua contoh kalimat yang lulus dan yang gagal untuk setiap item. Gunakan "N/A" secara sengaja untuk item yang tidak berlaku pada jenis panggilan tertentu, alih-alih menebak. Batasi item kritis, yaitu item yang bisa menggagalkan seluruh panggilan, pada daftar yang sangat pendek, dan buat tidak ambigu. Batas nilai lulus yang wajar adalah keputusan tim Anda; hindari mengubahnya tanpa memberi tahu agen.

Mengukur kesepakatan dari waktu ke waktu

Anda tidak memerlukan statistik yang rumit. Ukuran sederhananya adalah selisih antara skor total tertinggi dan terendah untuk setiap panggilan yang dikalibrasi. Pantau rata-rata selisihnya per bulan, dan perhatikan item yang paling banyak menimbulkan perbedaan pendapat.

Membaca selisih

Selisih kecilSelisih besar
ArtinyaPeninjau membaca scorecard dengan cara serupaPeninjau membacanya secara berbeda
Yang perlu dilakukanPertahankan rutinitas dan rotasi panggilanTulis ulang item, tambahkan contoh, segera adakan sesi lagi
RisikoRasa puas diri, titik buta yang samaSkor yang tidak adil dan hilangnya kepercayaan

Sebagai patokan kasar, selisih di atas sekitar dua puluh poin pada skala seratus menandakan bahwa peninjau memakai scorecard secara berbeda, dan sebaiknya kalimatnya disepakati bersama. Perlakukan angka seperti ini sebagai pedoman untuk tim Anda sendiri, bukan standar.

Simpan log keputusan. Dokumen bersama sederhana berisi tanggal, panggilan, item yang diperdebatkan, dan tafsiran yang disepakati sudah cukup. Peninjau baru bisa membacanya untuk mempelajari cara tim menerapkan scorecard, dan log ini mencegah perdebatan yang sama muncul setiap bulan. Tinjau log saat Anda merevisi scorecard, dan hapus entri yang tidak lagi diperlukan karena kalimat barunya.

Frekuensi dan siapa yang ikut serta

Padukan kalibrasi dengan rencana pengambilan sampel agar peninjau melihat campuran agen dan jenis panggilan; lihat Berapa Banyak Panggilan yang Perlu Ditinjau?. Jika ada alat AI yang memberi skor awal pada panggilan, sertakan juga beberapa hasilnya dalam kalibrasi, agar orang belajar kapan bisa memercayainya dan kapan harus mengoreksinya.

Kalibrasi di Call

Area Tinjauan dan pendampingan di Call memiliki bagian "Kalibrasi" yang mencantumkan panggilan yang dinilai oleh lebih dari satu peninjau, beserta selisih skor mereka. Admin dan manajer menilai panggilan dari antrean tinjauan dengan Lulus, Gagal, atau N/A untuk setiap item scorecard, dan item kritis membuat skor menjadi nol jika gagal. Panduan Call menyebutkan bahwa selisih di atas 20 poin berarti peninjau membaca scorecard secara berbeda, sehingga sebaiknya mereka menyepakatinya bersama.

Call juga dapat menilai sebagian item secara mandiri jika Anda mendeskripsikannya sebagai kata-kata yang diucapkan atau tidak diucapkan, menggunakan aturan "Penilaian otomatis". Buat aturan ini sempit dan akurat; aturan yang kosong lebih baik daripada aturan hasil tebakan. Antrean tinjauan dan scorecard memerlukan scorecard yang aktif di workspace Anda, jadi siapkan itu sebelum merencanakan kalibrasi di atasnya.

Pertanyaan yang sering diajukan

Apa bedanya kalibrasi dengan tinjauan kualitas biasa?

Dalam tinjauan biasa, satu peninjau menilai satu panggilan. Dalam kalibrasi, beberapa peninjau menilai panggilan yang sama secara terpisah, lalu membandingkannya. Tujuannya menyelaraskan para peninjau, bukan menilai agen.

Apakah skor para peninjau harus identik?

Tidak. Perbedaan kecil itu wajar. Tujuannya adalah menyepakati apa yang dianggap lulus untuk setiap item dan menjaga selisih keseluruhan tetap kecil.

Berapa banyak panggilan yang sebaiknya dipakai di setiap sesi?

Tiga atau empat biasanya cukup. Terlalu banyak panggilan membuat rapat panjang dan dangkal. Pilih panggilan yang memperlihatkan perbedaan pendapat.

Apakah agen perlu melihat hasil kalibrasi?

Agen sebaiknya melihat definisi scorecard dan setiap perubahan yang dihasilkan kalibrasi. Apakah perbandingan per panggilan juga dibagikan adalah keputusan tim, tetapi keterbukaan membangun kepercayaan.

Bagaimana jika ada satu peninjau yang selalu lebih ketat?

Lihat item mana yang menyebabkan selisihnya dan bahas dalam sesi. Sering kali kalimat scorecard-nya kurang jelas. Jika selisih tetap ada, berikan panduan dan contoh tambahan kepada peninjau tersebut.

Seberapa sering scorecard perlu diperbarui?

Perbarui ketika kalibrasi menunjukkan kebingungan yang berulang, ketika proses atau produk Anda berubah, atau ketika kebutuhan pelanggan berubah. Umumkan perubahannya kepada agen.

Bandingkan skor peninjau untuk panggilan yang sama di Call

Di konsol demo, Anda bisa mencoba panggilan masuk dalam simulasi.

Panduan terkait