Cara Mengevaluasi Percakapan Agen Suara: Metrik dan Tinjauan
Cara praktis menilai agen suara telepon: metrik yang layak dipantau, cara mengambil sampel dan menilai panggilan, serta cara mengubah temuan menjadi perbaikan.
Setelah agen suara menjawab panggilan nyata, pertanyaannya berubah dari apakah ia berfungsi menjadi apakah ia berfungsi dengan baik. Banyak tim menjawabnya dengan kesan samar dari beberapa panggilan saja. Sedikit struktur memberi informasi yang jauh lebih baik dan memberi tahu apa yang perlu diperbaiki berikutnya.

Panduan ini menawarkan pendekatan evaluasi sederhana untuk agen suara telepon: metrik mana yang dipantau, cara meninjau panggilan secara manual, dan cara mengubah temuan menjadi perbaikan. Panduan ini melanjutkan Cara Menguji Agen Voice AI dan ukuran umum dalam KPI Contact Center.
Mulailah dari arti baik bagi Anda
Panggilan yang baik bagi restoran tidak sama dengan panggilan yang baik bagi klinik. Sebelum memilih metrik, tuliskan dalam satu atau dua kalimat seperti apa panggilan yang berhasil untuk setiap jenis panggilan yang Anda harapkan: pertanyaan penelepon terjawab, pesan tercatat dengan detail yang benar, atau penelepon terhubung ke orang yang tepat. Semua hal lain mengikuti definisi tersebut.
Lima pertanyaan dalam setiap evaluasi
- Apakah penelepon dipahami?Apakah agen mendengar pertanyaan dan detailnya dengan benar?
- Apakah jawabannya benar?Apakah akurat, sesuai informasi yang disetujui, dan bebas karangan?
- Apakah panggilan berakhir dengan hasil yang berguna?Apakah tugas selesai, pesan tercatat, atau pengalihan dilakukan?
- Apakah pengalamannya dapat diterima?Tempo, nada, pengulangan, dan usaha yang dikeluarkan penelepon.
- Apakah aman?Apakah agen menghormati batasannya dan mengalihkan saat seharusnya?
Metrik yang layak dipantau
| Metrik | Yang ditunjukkannya | Cara mendapatkannya |
|---|---|---|
| Penyelesaian tugas | Porsi panggilan yang tujuan penelepon tercapai | Tinjauan manusia atas sampel, ditambah hasil panggilan |
| Akurasi jawaban | Apakah pernyataan sesuai dengan informasi yang disetujui | Tinjauan manusia terhadap sumber Anda |
| Tingkat pengalihan | Seberapa sering penelepon meminta atau membutuhkan petugas | Hasil panggilan dan permintaan di pusat bantuan |
| Tingkat pengulangan | Seberapa sering agen meminta penelepon mengulang ucapannya | Tinjauan transkrip |
| Jeda respons | Waktu antara akhir giliran penelepon dan jawaban agen | Waktu per giliran di riwayat panggilan |
| Tingkat panggilan ditinggalkan | Penelepon yang menutup telepon sebelum ada hasil | Log panggilan |
| Masukan penelepon | Bagaimana perasaan orang tentang panggilannya | Survei singkat atau komentar tindak lanjut |
Perhatikan bahwa sebagian besar ukuran yang berguna memerlukan penilaian manusia. Hitungan dari log memberi tahu berapa banyak, tetapi hanya orang yang membaca percakapan yang bisa menilai apakah panggilan berjalan baik. Bersiaplah melakukan keduanya. Untuk ukuran yang berlaku bagi semua jenis panggilan, lihat First Call Resolution dan Answer Rate dan Abandonment Rate.
Meninjau panggilan secara manual
Sampel kecil yang rutin lebih baik daripada tinjauan besar yang sesekali. Pilih panggilan secara acak, ditambah beberapa yang tampak tidak biasa, seperti yang sangat singkat atau sangat panjang, panggilan yang berakhir dengan pengalihan, dan panggilan yang berakhir karena penelepon menutup telepon.
Rutinitas tinjauan panggilan
- Ambil sampelPilih jumlah panggilan yang tetap setiap minggu, campuran yang acak dan yang tidak biasa.
- Dengarkan dan bacaPutar rekaman dan baca transkripnya bersamaan.
- Beri nilaiNilai setiap panggilan terhadap kriteria Anda dengan skala sederhana.
- Catat penyebabnyaTuliskan mengapa sesuatu berjalan salah.
- Perbaiki dan uji ulangUbah sumber, prompt, atau pengaturan, lalu uji ulang kasus yang sama.
Buat penilaian tetap sederhana
Tiga tingkat sudah cukup: baik, dapat diterima, dan buruk, atau akurat, sebagian, dan salah untuk setiap pernyataan. Skala yang terlalu rinci memicu perdebatan tanpa menambah wawasan. Sesekali, minta dua orang menilai beberapa panggilan yang sama; jika mereka sering tidak sepakat, kriteria Anda perlu dirumuskan lebih tajam.
Ingat bahwa transkrip bisa salah
Transkrip adalah tebakan pengenal ucapan, bukan kebenaran. Jika transkrip terlihat janggal, dengarkan audionya sebelum menyalahkan agen. Lihat Mengapa Audio Telepon Sulit bagi Pengenalan Ucapan.
Mengukur kecepatan dan ritme
Penelepon lebih memperhatikan jeda daripada hampir semua faktor lain. Pantau jeda sebelum setiap jawaban dan lihat kasus terburuknya, bukan hanya rata-ratanya, karena beberapa jeda yang sangat panjang merusak kesan. Jika jedanya panjang, uraikan ke mana waktunya terpakai; Latensi Voice AI menunjukkan caranya. Perhatikan juga interupsi: seberapa sering agen berbicara di atas suara penelepon, dan seberapa sering ia membuat penelepon menunggu?
Tinjauan manual atau penilaian otomatis
Memilih metode
| Tinjauan manual | Penilaian otomatis | |
|---|---|---|
| Kekuatan | Memahami nuansa, nada, dan konteks | Mencakup setiap panggilan dengan cepat |
| Kelemahan | Lambat; hanya sampel | Bisa melewatkan masalah halus atau salah menilai |
| Paling cocok untuk | Akurasi, keamanan, dan pengalaman penelepon | Menandai panggilan yang perlu dilihat manusia |
Penilaian otomatis, termasuk model yang menilai model lain, berguna untuk pemilahan: ia bisa mengurutkan panggilan menurut tanda-tanda masalah agar manusia melihat yang tepat lebih dulu. Penilaian otomatis tidak boleh menggantikan pengambilan sampel oleh manusia, terutama untuk akurasi dan keamanan. Pemeriksaan otomatis apa pun yang Anda pakai, ujilah dengan membandingkan penilaiannya dengan penilaian Anda sendiri pada sekumpulan panggilan yang sudah Anda tinjau.
Membaca angka dengan bijak
Sampel kecil menyesatkan. Jika Anda meninjau sepuluh panggilan dan dua berjalan buruk, Anda tidak bisa mengatakan satu dari lima panggilan berjalan buruk; Anda hanya bisa mengatakan bahwa Anda menemukan dua masalah yang layak diperbaiki. Gunakan sampel untuk menemukan penyebab, bukan untuk mengumumkan persentase, kecuali sampelnya cukup besar dan acak untuk mendukungnya.
Pisahkan agen dari situasinya. Penurunan penyelesaian tugas di minggu ketika ada gangguan layanan bukanlah vonis atas prompt. Catat peristiwa di samping metrik Anda: jam buka baru, kampanye yang mendatangkan penelepon dengan pertanyaan baru, perubahan pada sumber. Log perubahan yang sederhana membuat tren bisa dijelaskan.
Terakhir, tentukan sejak awal apa yang akan Anda lakukan dengan setiap hasil. Kenaikan pengulangan bisa membuat Anda memeriksa pengaturan hening; kenaikan pengalihan pada satu topik bisa membuat Anda menambahkan jawaban persis untuk topik itu. Metrik tanpa tindakan yang terkait hanyalah hiasan.
Bagikan hasilnya kepada orang-orang yang menjawab telepon, bukan hanya kepada manajer. Staf sering tahu mengapa suatu pola muncul, dan merekalah yang akan menerima panggilan yang dialihkan agen. Tinjauan bulanan singkat dengan contoh-contoh, termasuk beberapa panggilan yang berjalan baik, menjaga pekerjaan ini tetap berpijak pada percakapan nyata.
Mengevaluasi di Call
Di Call, riwayat panggilan AI menampilkan panggilan dalam suatu periode, beserta hasilnya dan, jika diketahui, sentimennya, serta membuka seluruh percakapan giliran demi giliran. Manajer bisa membuka panggilan untuk melihat berapa lama setiap giliran bicara berlangsung. Area Tinjauan otomatis mengelompokkan panggilan terbaru menurut topik, mengurutkan panggilan terbaru yang belum ditinjau manusia berdasarkan sinyal di dalamnya, dan menyajikan sampel ringkasan AI untuk Anda tandai sebagai akurat, sebagian, atau salah, yang menjadi dasar gambaran berkelanjutan tentang akurasi ringkasan. Conversation AI juga memungkinkan Anda mencari frasa di semua transkrip yang tersimpan. Bersama-sama, fitur ini memberi Anda hitungan dan sampel yang dibutuhkan. Gunakan riwayat edit untuk melihat koreksi yang dilakukan pada ucapan agen.
Checklist evaluasi mingguan
- Baca sampel panggilan dalam jumlah tetap, acak dan tidak biasa
- Nilai penyelesaian tugas dan akurasi
- Hitung pengalihan dan catat alasannya
- Periksa jeda respons yang paling panjang
- Cari di transkrip frasa yang menandakan kebingungan
- Catat setiap masalah beserta perbaikan yang dilakukan
- Uji ulang kasus yang sudah diperbaiki sebelum menutupnya
Pertanyaan yang sering diajukan
Apa satu metrik yang paling berguna untuk agen suara?
Tidak ada satu pun. Penyelesaian tugas memberi tahu apakah penelepon mendapatkan yang dibutuhkan, tetapi Anda juga perlu akurasi, kualitas pengalihan, dan waktu untuk memahami alasannya.
Berapa banyak panggilan yang perlu saya tinjau?
Sampel mingguan tetap yang bisa Anda pertahankan lebih baik daripada sampel besar yang sesekali. Mulailah dengan jumlah sedang dan tambah setelah ada perubahan peluncuran atau saat masalah muncul.
Bisakah saya hanya mengandalkan penilaian otomatis?
Tidak untuk akurasi atau keamanan. Gunakan untuk mengurutkan dan menandai panggilan, lalu minta orang meninjau panggilan yang ditandai serta sampel acak.
Mengapa transkrip kadang tidak sesuai dengan rekaman?
Transkrip dihasilkan oleh pengenalan ucapan dan bisa mengandung kesalahan. Dengarkan audionya sebelum menilai agen.
Bagaimana saya tahu sebuah perubahan memperbaiki keadaan?
Simpan sekumpulan kasus uji yang tetap dan rutinitas tinjauan yang teratur, lalu bandingkan hasil sebelum dan sesudah perubahan dengan kriteria yang sama.
Haruskah penelepon disurvei?
Satu pertanyaan singkat setelah panggilan bisa menambah informasi yang berguna, tetapi buat tetap singkat dan patuhi aturan tentang menghubungi orang. Padukan dengan tinjauan Anda sendiri atas percakapannya.