Teknologi AI suara

Cara Mengevaluasi Percakapan Agen Suara: Metrik dan Tinjauan

Cara praktis menilai agen suara telepon: metrik yang layak dipantau, cara mengambil sampel dan menilai panggilan, serta cara mengubah temuan menjadi perbaikan.

Tim redaksi Call · Dipublikasikan · Baca 5 menit

Setelah agen suara menjawab panggilan nyata, pertanyaannya berubah dari apakah ia berfungsi menjadi apakah ia berfungsi dengan baik. Banyak tim menjawabnya dengan kesan samar dari beberapa panggilan saja. Sedikit struktur memberi informasi yang jauh lebih baik dan memberi tahu apa yang perlu diperbaiki berikutnya.

Seorang ketua tim meninjau catatan kualitas panggilan bersama rekan kerjanya
Gambar ilustrasi

Panduan ini menawarkan pendekatan evaluasi sederhana untuk agen suara telepon: metrik mana yang dipantau, cara meninjau panggilan secara manual, dan cara mengubah temuan menjadi perbaikan. Panduan ini melanjutkan Cara Menguji Agen Voice AI dan ukuran umum dalam KPI Contact Center.

Mulailah dari arti baik bagi Anda

Panggilan yang baik bagi restoran tidak sama dengan panggilan yang baik bagi klinik. Sebelum memilih metrik, tuliskan dalam satu atau dua kalimat seperti apa panggilan yang berhasil untuk setiap jenis panggilan yang Anda harapkan: pertanyaan penelepon terjawab, pesan tercatat dengan detail yang benar, atau penelepon terhubung ke orang yang tepat. Semua hal lain mengikuti definisi tersebut.

Lima pertanyaan dalam setiap evaluasi

  • Apakah penelepon dipahami?Apakah agen mendengar pertanyaan dan detailnya dengan benar?
  • Apakah jawabannya benar?Apakah akurat, sesuai informasi yang disetujui, dan bebas karangan?
  • Apakah panggilan berakhir dengan hasil yang berguna?Apakah tugas selesai, pesan tercatat, atau pengalihan dilakukan?
  • Apakah pengalamannya dapat diterima?Tempo, nada, pengulangan, dan usaha yang dikeluarkan penelepon.
  • Apakah aman?Apakah agen menghormati batasannya dan mengalihkan saat seharusnya?

Metrik yang layak dipantau

MetrikYang ditunjukkannyaCara mendapatkannya
Penyelesaian tugasPorsi panggilan yang tujuan penelepon tercapaiTinjauan manusia atas sampel, ditambah hasil panggilan
Akurasi jawabanApakah pernyataan sesuai dengan informasi yang disetujuiTinjauan manusia terhadap sumber Anda
Tingkat pengalihanSeberapa sering penelepon meminta atau membutuhkan petugasHasil panggilan dan permintaan di pusat bantuan
Tingkat pengulanganSeberapa sering agen meminta penelepon mengulang ucapannyaTinjauan transkrip
Jeda responsWaktu antara akhir giliran penelepon dan jawaban agenWaktu per giliran di riwayat panggilan
Tingkat panggilan ditinggalkanPenelepon yang menutup telepon sebelum ada hasilLog panggilan
Masukan peneleponBagaimana perasaan orang tentang panggilannyaSurvei singkat atau komentar tindak lanjut

Perhatikan bahwa sebagian besar ukuran yang berguna memerlukan penilaian manusia. Hitungan dari log memberi tahu berapa banyak, tetapi hanya orang yang membaca percakapan yang bisa menilai apakah panggilan berjalan baik. Bersiaplah melakukan keduanya. Untuk ukuran yang berlaku bagi semua jenis panggilan, lihat First Call Resolution dan Answer Rate dan Abandonment Rate.

Meninjau panggilan secara manual

Sampel kecil yang rutin lebih baik daripada tinjauan besar yang sesekali. Pilih panggilan secara acak, ditambah beberapa yang tampak tidak biasa, seperti yang sangat singkat atau sangat panjang, panggilan yang berakhir dengan pengalihan, dan panggilan yang berakhir karena penelepon menutup telepon.

Rutinitas tinjauan panggilan

  1. Ambil sampelPilih jumlah panggilan yang tetap setiap minggu, campuran yang acak dan yang tidak biasa.
  2. Dengarkan dan bacaPutar rekaman dan baca transkripnya bersamaan.
  3. Beri nilaiNilai setiap panggilan terhadap kriteria Anda dengan skala sederhana.
  4. Catat penyebabnyaTuliskan mengapa sesuatu berjalan salah.
  5. Perbaiki dan uji ulangUbah sumber, prompt, atau pengaturan, lalu uji ulang kasus yang sama.

Buat penilaian tetap sederhana

Tiga tingkat sudah cukup: baik, dapat diterima, dan buruk, atau akurat, sebagian, dan salah untuk setiap pernyataan. Skala yang terlalu rinci memicu perdebatan tanpa menambah wawasan. Sesekali, minta dua orang menilai beberapa panggilan yang sama; jika mereka sering tidak sepakat, kriteria Anda perlu dirumuskan lebih tajam.

Ingat bahwa transkrip bisa salah

Transkrip adalah tebakan pengenal ucapan, bukan kebenaran. Jika transkrip terlihat janggal, dengarkan audionya sebelum menyalahkan agen. Lihat Mengapa Audio Telepon Sulit bagi Pengenalan Ucapan.

Mengukur kecepatan dan ritme

Penelepon lebih memperhatikan jeda daripada hampir semua faktor lain. Pantau jeda sebelum setiap jawaban dan lihat kasus terburuknya, bukan hanya rata-ratanya, karena beberapa jeda yang sangat panjang merusak kesan. Jika jedanya panjang, uraikan ke mana waktunya terpakai; Latensi Voice AI menunjukkan caranya. Perhatikan juga interupsi: seberapa sering agen berbicara di atas suara penelepon, dan seberapa sering ia membuat penelepon menunggu?

Tinjauan manual atau penilaian otomatis

Memilih metode

Tinjauan manualPenilaian otomatis
KekuatanMemahami nuansa, nada, dan konteksMencakup setiap panggilan dengan cepat
KelemahanLambat; hanya sampelBisa melewatkan masalah halus atau salah menilai
Paling cocok untukAkurasi, keamanan, dan pengalaman peneleponMenandai panggilan yang perlu dilihat manusia

Penilaian otomatis, termasuk model yang menilai model lain, berguna untuk pemilahan: ia bisa mengurutkan panggilan menurut tanda-tanda masalah agar manusia melihat yang tepat lebih dulu. Penilaian otomatis tidak boleh menggantikan pengambilan sampel oleh manusia, terutama untuk akurasi dan keamanan. Pemeriksaan otomatis apa pun yang Anda pakai, ujilah dengan membandingkan penilaiannya dengan penilaian Anda sendiri pada sekumpulan panggilan yang sudah Anda tinjau.

Membaca angka dengan bijak

Sampel kecil menyesatkan. Jika Anda meninjau sepuluh panggilan dan dua berjalan buruk, Anda tidak bisa mengatakan satu dari lima panggilan berjalan buruk; Anda hanya bisa mengatakan bahwa Anda menemukan dua masalah yang layak diperbaiki. Gunakan sampel untuk menemukan penyebab, bukan untuk mengumumkan persentase, kecuali sampelnya cukup besar dan acak untuk mendukungnya.

Pisahkan agen dari situasinya. Penurunan penyelesaian tugas di minggu ketika ada gangguan layanan bukanlah vonis atas prompt. Catat peristiwa di samping metrik Anda: jam buka baru, kampanye yang mendatangkan penelepon dengan pertanyaan baru, perubahan pada sumber. Log perubahan yang sederhana membuat tren bisa dijelaskan.

Terakhir, tentukan sejak awal apa yang akan Anda lakukan dengan setiap hasil. Kenaikan pengulangan bisa membuat Anda memeriksa pengaturan hening; kenaikan pengalihan pada satu topik bisa membuat Anda menambahkan jawaban persis untuk topik itu. Metrik tanpa tindakan yang terkait hanyalah hiasan.

Bagikan hasilnya kepada orang-orang yang menjawab telepon, bukan hanya kepada manajer. Staf sering tahu mengapa suatu pola muncul, dan merekalah yang akan menerima panggilan yang dialihkan agen. Tinjauan bulanan singkat dengan contoh-contoh, termasuk beberapa panggilan yang berjalan baik, menjaga pekerjaan ini tetap berpijak pada percakapan nyata.

Mengevaluasi di Call

Di Call, riwayat panggilan AI menampilkan panggilan dalam suatu periode, beserta hasilnya dan, jika diketahui, sentimennya, serta membuka seluruh percakapan giliran demi giliran. Manajer bisa membuka panggilan untuk melihat berapa lama setiap giliran bicara berlangsung. Area Tinjauan otomatis mengelompokkan panggilan terbaru menurut topik, mengurutkan panggilan terbaru yang belum ditinjau manusia berdasarkan sinyal di dalamnya, dan menyajikan sampel ringkasan AI untuk Anda tandai sebagai akurat, sebagian, atau salah, yang menjadi dasar gambaran berkelanjutan tentang akurasi ringkasan. Conversation AI juga memungkinkan Anda mencari frasa di semua transkrip yang tersimpan. Bersama-sama, fitur ini memberi Anda hitungan dan sampel yang dibutuhkan. Gunakan riwayat edit untuk melihat koreksi yang dilakukan pada ucapan agen.

Checklist evaluasi mingguan

  • Baca sampel panggilan dalam jumlah tetap, acak dan tidak biasa
  • Nilai penyelesaian tugas dan akurasi
  • Hitung pengalihan dan catat alasannya
  • Periksa jeda respons yang paling panjang
  • Cari di transkrip frasa yang menandakan kebingungan
  • Catat setiap masalah beserta perbaikan yang dilakukan
  • Uji ulang kasus yang sudah diperbaiki sebelum menutupnya

Pertanyaan yang sering diajukan

Apa satu metrik yang paling berguna untuk agen suara?

Tidak ada satu pun. Penyelesaian tugas memberi tahu apakah penelepon mendapatkan yang dibutuhkan, tetapi Anda juga perlu akurasi, kualitas pengalihan, dan waktu untuk memahami alasannya.

Berapa banyak panggilan yang perlu saya tinjau?

Sampel mingguan tetap yang bisa Anda pertahankan lebih baik daripada sampel besar yang sesekali. Mulailah dengan jumlah sedang dan tambah setelah ada perubahan peluncuran atau saat masalah muncul.

Bisakah saya hanya mengandalkan penilaian otomatis?

Tidak untuk akurasi atau keamanan. Gunakan untuk mengurutkan dan menandai panggilan, lalu minta orang meninjau panggilan yang ditandai serta sampel acak.

Mengapa transkrip kadang tidak sesuai dengan rekaman?

Transkrip dihasilkan oleh pengenalan ucapan dan bisa mengandung kesalahan. Dengarkan audionya sebelum menilai agen.

Bagaimana saya tahu sebuah perubahan memperbaiki keadaan?

Simpan sekumpulan kasus uji yang tetap dan rutinitas tinjauan yang teratur, lalu bandingkan hasil sebelum dan sesudah perubahan dengan kriteria yang sama.

Haruskah penelepon disurvei?

Satu pertanyaan singkat setelah panggilan bisa menambah informasi yang berguna, tetapi buat tetap singkat dan patuhi aturan tentang menghubungi orang. Padukan dengan tinjauan Anda sendiri atas percakapannya.

Tinjau percakapan AI di riwayat panggilan Call Anda

Di konsol demo, Anda bisa mencoba panggilan masuk dalam simulasi.

Panduan terkait