Kualiti dan pasukan

Menjalankan Sesi Kalibrasi QA supaya Pemarkahan Kekal Adil

Cara menjalankan sesi kalibrasi supaya penilai memberi markah dengan cara yang sama: pilih panggilan, nilai berasingan, bincang jurang, perhalusi kad skor.

Pasukan editorial Call · Diterbitkan · Bacaan 5 min

Jika dua penilai mendengar panggilan yang sama dan seorang menilainya sangat baik manakala seorang lagi menggagalkannya, ejen akan cepat hilang kepercayaan terhadap markah. Kalibrasi ialah tabiat yang menghentikan perkara ini. Penilai memberi markah kepada panggilan yang sama secara berasingan, membandingkan catatan dan menyelesaikan perbezaan, supaya sesuatu markah membawa maksud yang sama tidak kira siapa yang memberinya.

Sekumpulan kecil penilai kualiti membincangkan kad skor bercetak di sekeliling meja mesyuarat
Imej ilustrasi

Panduan ini menunjukkan cara menjalankan sesi kalibrasi dalam pasukan kecil. Ia dibina berasaskan Asas Pengurusan Kualiti Panggilan (QA) dan menyokong kitaran maklum balas dalam Rangka Kerja Mudah untuk Membimbing Ejen dalam Panggilan.

Mengapa kalibrasi penting

Kad skor ditulis dengan perkataan, dan perkataan ditafsir secara berbeza. "Menunjukkan empati" atau "menyelesaikan isu" membawa maksud berbeza kepada penilai berbeza, malah kepada penilai yang sama pada hari berbeza. Tanpa kalibrasi, anda mendapat tiga masalah: markah yang tidak adil antara ejen, bimbingan berdasarkan pendapat, dan laporan yang tidak boleh dibandingkan merentas masa atau pasukan.

Tanda anda memerlukan kalibrasi

  • Ejen mempertikaikan markahMereka berkata penilai lain akan meluluskan panggilan yang sama.
  • Purata penilai berbezaSeorang penilai sentiasa lebih tegas atau lebih longgar daripada yang lain.
  • Penilai baharu tersasarMarkah berubah apabila seseorang menyertai pasukan atau menggantikan orang lain.
  • Item kad skor kaburOrang yang berbeza menerangkannya secara berbeza.

Menyediakan sesi

Sesi yang baik memerlukan sedikit persediaan. Fasilitator patut seseorang yang memahami kad skor dengan baik dan boleh kekal neutral, selalunya ketua QA atau ketua pasukan kanan.

Sebelum sesi

  1. Pilih tiga atau empat panggilanSertakan satu yang jelas lulus, satu yang jelas gagal dan sekurang-kurangnya satu panggilan sempadan.
  2. Buang butiran pengenalanSembunyikan nama ejen, supaya perbincangan kekal tentang panggilan itu.
  3. Kongsi kad skorSemua orang menggunakan versi semasa, berserta takrifannya.
  4. Minta pemarkahan berasinganSetiap penilai memberi markah sebelum mesyuarat, tanpa berbincang dengan yang lain.

Panggilan sebenar memberi bahan terbaik. Ambil panggilan sempadan daripada semakan biasa anda, kerana di situlah perselisihan tersembunyi. Pastikan rakaman boleh dikongsi dengan penilai mengikut peraturan dalaman anda, dan kendalikan data peribadi dengan teliti; lihat Notis Rakaman Panggilan untuk aspek rakaman.

Menjalankan sesi

Mulakan dengan markah, bukan pendapat. Paparkan keputusan setiap orang item demi item pada skrin kongsi dan cari item dengan jurang paling luas. Selesaikan item itu dahulu.

  1. Nyatakan sebarannya. Bagi setiap panggilan, tunjukkan jumlah markah setiap penilai dan perbezaan pada peringkat item.
  2. Minta setiap penilai menerangkan item yang dipertikaikan, dengan merujuk detik dalam panggilan yang mendorong keputusan mereka.
  3. Kembali kepada kata-kata kad skor. Adakah ia menyatakan dengan jelas apa yang dikira lulus?
  4. Sepakati jawapan bagi panggilan ini, dan tuliskan alasannya.
  5. Jika kata-kata itu masalahnya, catat perubahan yang perlu dibuat; jangan membetulkannya secara langsung dengan cara yang mengelirukan orang.

Peraturan asas

Contoh sesi hipotetikal

Bayangkan pasukan enam orang dengan tiga penilai. Mereka memilih empat panggilan dan menilainya secara bersendirian. Pada panggilan ketiga, seorang penilai memberi lulus pada item tentang mengesahkan butiran pelanggan dan seorang lagi memberi gagal. Fasilitator meminta setiap seorang memainkan detik yang mereka jadikan sandaran. Ternyata ejen mengesahkan poskod tetapi bukan nama, dan kad skor hanya menyebut sahkan butiran. Pasukan bersetuju bahawa item itu patut menyenaraikan dengan tepat dua butiran yang dikira, menulisnya semula dan merekodkan keputusan itu.

Perubahan kecil itu menghapuskan satu punca markah tidak adil dalam setiap semakan akan datang. Inilah corak yang perlu dicari: perselisihan tentang sesuatu panggilan biasanya petanda jurang dalam kad skor.

Ingat untuk melengkapkan kitaran dengan ejen. Beritahu mereka apa yang berubah dalam kata-kata dan mengapa, dan gunakan perubahan itu mulai tarikh yang dinyatakan, dan bukannya menilai semula panggilan lama. Jika markah lampau jelas tidak adil kerana kata-kata lama, bersikap terbuka tentang membetulkannya.

Menjadikan perselisihan sebagai kad skor yang lebih baik

Hasil paling berharga daripada sesuatu sesi biasanya kad skor yang lebih jelas. Jika penilai tidak sependapat tentang sesuatu item, item itu mungkin kabur. Jadikannya konkrit.

Item kaburVersi lebih jelas
Menunjukkan empatiMengakui masalah pelanggan dengan perkataan mereka sendiri sebelum menawarkan penyelesaian.
Menyelesaikan isuMemberi jawapan lengkap atau menetapkan langkah seterusnya yang jelas berserta masa.
Nada profesionalTiada mencelah, tiada sindiran, dan pembukaan serta penutup yang sopan.
Mengikut prosesMengesahkan pelanggan menggunakan langkah dalam prosedur semasa.

Tambahkan satu atau dua contoh frasa lulus dan gagal pada setiap item. Gunakan "N/A" dengan sengaja bagi item yang tidak berkenaan dengan sesuatu jenis panggilan, dan bukannya meneka. Hadkan item kritikal, iaitu item yang boleh menggagalkan seluruh panggilan, kepada senarai yang sangat kecil, dan jadikannya tidak samar. Markah lulus yang munasabah ialah keputusan pasukan anda; elakkan mengubahnya tanpa memberitahu ejen.

Mengukur persetujuan dari semasa ke semasa

Anda tidak memerlukan statistik yang rumit. Ukuran mudah ialah sebaran antara jumlah markah tertinggi dan terendah bagi setiap panggilan yang dikalibrasi. Jejaki purata sebaran setiap bulan, dan lihat item yang paling banyak menimbulkan perselisihan.

Membaca sebaran

Sebaran kecilSebaran besar
Apa yang dibayangkanPenilai mentafsir kad skor dengan cara yang serupaPenilai mentafsirnya secara berbeza
Apa yang perlu dilakukanTeruskan rutin dan gilirkan panggilanTulis semula item, tambah contoh, jalankan sesi lain tidak lama lagi
RisikoLeka, titik buta yang samaMarkah tidak adil dan hilang kepercayaan

Sebagai panduan kasar, sebaran melebihi kira-kira dua puluh mata pada skala seratus mata ialah tanda bahawa penilai menggunakan kad skor secara berbeza, dan wajar menyepakati kata-katanya bersama. Anggap angka sebegini sebagai panduan untuk pasukan anda sendiri, bukan standard.

Simpan log keputusan. Dokumen kongsi ringkas dengan tarikh, panggilan, item yang dipertikaikan dan tafsiran yang dipersetujui sudah memadai. Penilai baharu boleh membacanya untuk mempelajari cara pasukan menggunakan kad skor, dan ia menghalang hujah yang sama kembali setiap bulan. Semak log apabila anda menyemak semula kad skor, dan buang entri yang tidak lagi diperlukan dengan kata-kata baharu.

Kekerapan dan siapa yang terlibat

Gandingkan kalibrasi dengan pelan persampelan anda supaya penilai melihat gabungan ejen dan jenis panggilan; lihat Berapa Banyak Panggilan Perlu Disemak?. Jika alat AI memberi markah awal kepada panggilan, sertakan juga beberapa hasilnya dalam kalibrasi, supaya orang belajar bila boleh mempercayainya dan bila perlu mengatasinya.

Kalibrasi dalam Call

Bahagian Semakan dan bimbingan dalam Call merangkumi seksyen "Penentukuran" yang menyenaraikan panggilan yang dinilai oleh lebih daripada seorang penilai, berserta sebaran antara markah mereka. Pentadbir dan pengurus memberi markah kepada panggilan daripada baris gilir semakan menggunakan Lulus, Gagal atau N/A bagi setiap item kad skor, dan item kritikal menjadikan markah sifar jika gagal. Panduan Call ialah sebaran melebihi 20 mata bermakna penilai mentafsir kad skor secara berbeza, jadi mereka patut menyepakatinya bersama.

Call juga boleh memberi markah kepada sesetengah item dengan sendirinya apabila anda menggambarkannya sebagai perkataan yang disebut atau tidak disebut, menggunakan peraturan "Pemarkahan automatik". Pastikan peraturan ini sempit dan benar; peraturan kosong lebih baik daripada peraturan yang diteka. Baris gilir semakan dan kad skor memerlukan kad skor aktif dalam ruang kerja anda, jadi sediakannya sebelum merancang kalibrasi di sekitarnya.

Soalan lazim

Apakah beza kalibrasi dengan semakan kualiti biasa?

Dalam semakan biasa, seorang penilai memberi markah kepada sesuatu panggilan. Dalam kalibrasi, beberapa penilai memberi markah kepada panggilan yang sama secara berasingan, kemudian membandingkannya. Tujuannya ialah menyelaraskan penilai, bukan menilai ejen.

Adakah penilai mesti mendapat markah yang sama?

Tidak. Perbezaan kecil adalah biasa. Matlamatnya ialah bersetuju tentang apa yang dikira lulus bagi setiap item dan memastikan sebaran keseluruhan kekal kecil.

Berapa banyak panggilan patut digunakan dalam setiap sesi?

Tiga atau empat biasanya memadai. Lebih banyak panggilan menjadikan mesyuarat panjang dan cetek. Pilih panggilan yang mendedahkan perselisihan.

Patutkah ejen melihat keputusan kalibrasi?

Ejen patut melihat takrifan kad skor dan sebarang perubahan hasil daripada kalibrasi. Sama ada anda berkongsi perbandingan panggilan demi panggilan ialah keputusan pasukan, tetapi keterbukaan membina kepercayaan.

Bagaimana jika seorang penilai sentiasa lebih tegas?

Lihat item mana yang menyebabkan jurang itu dan bincangkannya dalam sesi. Selalunya kata-kata kad skor tidak jelas. Jika jurang berterusan, berikan penilai itu panduan dan contoh tambahan.

Berapa kerap kad skor patut dikemas kini?

Kemas kininya apabila kalibrasi menunjukkan kekeliruan berulang, apabila proses atau produk anda berubah, atau apabila keperluan pelanggan berubah. Umumkan perubahan kepada ejen.

Bandingkan markah penilai bagi panggilan yang sama dalam Call

Dalam konsol demo, anda boleh mencuba panggilan masuk secara simulasi.

Panduan berkaitan