Cara Menguji Agen Voice AI Sebelum Diluncurkan: Rencana Praktis
Rencana langkah demi langkah untuk menguji agen voice AI telepon sebelum diluncurkan: skrip, akurasi, pendengaran, alur, pengalihan, pencatatan, dan keputusan lulus.
Agen suara yang menjawab dengan baik di kantor yang tenang, di depan orang yang membuatnya, bisa berperilaku sangat berbeda di pinggir jalan dengan penelepon yang bicaranya tidak jelas. Sebagian besar masalah peluncuran bukanlah misteri: itu adalah hal-hal yang belum pernah dicoba siapa pun. Rencana pengujian yang terstruktur menemukannya selagi masih murah untuk diperbaiki.

Panduan ini memberi Anda rencana praktis: apa yang perlu disiapkan, enam area yang perlu diuji, cara menilai hasil, dan apa yang dilakukan setelah peluncuran. Di bagian akhir, kami tunjukkan alat yang tersedia di Call. Untuk metrik di balik penilaiannya, lihat Cara Mengevaluasi Percakapan Voice Agent.
Menyiapkan pengujian
Mulailah dengan daftar panggilan nyata. Kumpulkan pertanyaan yang benar-benar diajukan orang, dari email, ingatan staf, dan catatan panggilan. Tambahkan yang sulit: penelepon yang marah, penelepon yang tidak jelas maksudnya, penelepon yang meminta sesuatu yang tidak Anda tawarkan. Set pengujian yang baik mencampur kasus yang umum, langka, dan sulit.
Dari skrip hingga peluncuran
- Tulis skrip ujiPertanyaan nyata, beserta jawaban yang benar untuk masing-masing.
- Uji kontenApakah agen menjawab dengan benar dan tetap dalam batasannya.
- Uji pendengaranApakah agen memahami nama, angka, dan aksen.
- Uji alurApakah percakapan berjalan alami dan berakhir dengan baik.
- Uji pengalihanApakah permintaan bicara dengan petugas dan kasus mendesak berfungsi.
- Periksa catatanApakah ringkasan, pesan, dan log sudah benar.
- PutuskanBandingkan hasil dengan aturan kelulusan, lalu ambil keputusan.
Tentukan siapa yang menguji. Libatkan orang yang tidak ikut membangun agen, karena mereka akan bertanya dengan cara yang tidak terduga. Jika penelepon Anda berbicara dengan aksen daerah atau dalam beberapa bahasa, libatkan juga suara-suara tersebut.
Menguji konten
Pertanyaan pertama adalah apakah agen mengatakan hal yang benar. Ajukan setiap pertanyaan dalam daftar Anda dan bandingkan dengan jawaban yang benar. Tandai setiap respons sebagai benar, sebagian benar, salah, atau karangan. Jawaban karangan, yaitu ketika agen menyatakan sesuatu yang tidak pernah diberikan kepadanya, adalah yang paling penting, karena penelepon memercayainya.
- Ajukan pertanyaan yang sama dengan kata-kata berbeda.
- Tanyakan hal yang tidak ada dalam pengetahuan agen dan pastikan agen mengakui bahwa ia tidak tahu.
- Minta sesuatu yang harus ditolaknya, seperti nasihat atau data pelanggan lain.
- Coba sesatkan agen dengan pernyataan salah yang disampaikan dengan yakin, dan pastikan agen tidak begitu saja setuju.
Lihat Mencegah Jawaban Karangan pada Voice AI untuk alasan munculnya jawaban karangan dan Retrieval untuk Agen Suara untuk cara pengetahuan digunakan.
Menguji apa yang didengar agen
Agen suara sering gagal pada tahap mendengarkan. Nama, kode pos, nomor telepon, dan tanggal adalah sumber masalah yang biasa. Uji dengan telepon sungguhan, bukan hanya mikrofon komputer, dan sertakan kebisingan latar, mode pengeras suara, dan sinyal seluler yang buruk.
| Pemeriksaan | Caranya | Yang perlu diperhatikan |
|---|---|---|
| Nama | Eja dan ucapkan nama yang tidak umum | Ditangkap dengan benar, atau permintaan sopan untuk mengulang |
| Angka | Bacakan nomor telepon dan tanggal | Digit yang benar, dan dibacakan ulang |
| Aksen | Minta rekan kerja dengan aksen berbeda | Lebih sedikit salah paham dan pemulihan yang mulus |
| Kebisingan | Telepon dari tempat yang ramai | Tidak ada pemicu palsu, dan permintaan mengulang yang jelas |
Menangkap Nama, Angka, dan Alamat dengan Benar lewat Suara dan Pengenalan Ucapan untuk Panggilan Telepon menjelaskan masalah-masalah ini lebih dalam.
Menguji alur percakapan
Kontennya bisa benar sementara percakapannya tetap canggung. Perhatikan pembukaannya, temponya, apakah agen berbicara bersamaan dengan penelepon, bagaimana agen menangani keheningan, dan bagaimana agen mengakhiri panggilan. Sela agen, diam saja, katakan "halo?", dan ubah pikiran Anda di tengah jalan.
Perilaku alur yang perlu dicoba
- MenyelaBicaralah bersamaan dengan agen dan pastikan agen berhenti lalu mendengarkan.
- KeheninganJangan berkata apa-apa dan pastikan agen menanyakan dengan sopan, lalu mengakhiri panggilan dengan wajar.
- Berubah pikiranGanti topik di tengah jawaban dan pastikan agen mengikuti.
- MengakhiriUcapkan terima kasih dan salam perpisahan, lalu pastikan panggilan ditutup dengan rapi.
Kecepatan juga termasuk di sini. Catat jeda panjang dan penyebabnya. Latensi Voice AI menjelaskan alasan-alasan yang umum.
Menguji pengalihan dan keamanan
Setiap agen suara membutuhkan jalur ke manusia untuk permintaan yang tidak dapat atau tidak boleh ditanganinya. Uji jalur itu dalam setiap kondisi: selama jam kerja, di luar jam kerja, saat tidak ada yang menjawab, dan saat penelepon dalam keadaan tertekan. Coba frasa-frasa mendesak. Pastikan agen tidak pernah mengaku sebagai manusia dan tidak pernah menjanjikan hal yang tidak dapat dipenuhinya, seperti pemesanan yang sudah pasti.
Pemeriksaan pengalihan
- Permintaan bicara dengan petugas selama jam kerja sampai ke orang yang tepat
- Permintaan di luar jam kerja mendapat pesan yang jujur dan cara untuk meninggalkan detail
- Jika tidak ada yang menjawab, penelepon dapat meninggalkan pesan
- Penelepon yang mendesak atau tertekan cepat dialihkan
- Agen menyatakan dirinya AI saat ditanya
- Data sensitif tidak dikumpulkan jika memang tidak boleh
Menguji catatan dan log
Sebuah panggilan memiliki dua hasil: apa yang dialami penelepon dan apa yang Anda catat. Setelah setiap pengujian, periksa ringkasan, transkrip, pesan yang ditinggalkan, dan tugas tindak lanjut. Apakah nama dan angkanya benar? Apakah alasan panggilan dinyatakan dengan akurat? Apakah ringkasannya mengarang sesuatu? Panggilan yang sempurna dengan catatan yang salah tetap mengarahkan tim ke arah yang keliru. Lihat Ringkasan Panggilan AI.
Memutuskan lulus atau gagal
Sebelum mulai, tuliskan aturan yang menentukan apakah agen boleh diluncurkan. Aturannya bisa sederhana: tidak ada jawaban karangan dalam set pengujian, setiap kasus pengalihan berfungsi, dan sejumlah persentase tertentu dari pertanyaan umum dijawab dengan benar. Menuliskannya mencegah peluncuran yang didorong oleh tekanan tenggat waktu.
Keputusan peluncuran
| Aturan kelulusan ditulis lebih dulu | Dinilai belakangan | |
|---|---|---|
| Kejelasan | Semua orang tahu standarnya | Standarnya berubah mengikuti suasana hati |
| Tekanan | Mudah untuk berkata belum siap | Sulit menolak tenggat waktu |
| Pembelajaran | Kegagalan menunjukkan apa yang perlu diperbaiki | Kegagalan berubah menjadi perdebatan |
| Catatan | Hasil dapat dibandingkan dari waktu ke waktu | Tidak ada yang bisa dibandingkan |
Simpan log setiap pengujian: tanggal, versi agen, penelepon, pertanyaan, hasil, dan perbaikannya. Saat Anda mengubah prompt atau pengetahuan, ulangi pengujian sebelumnya, karena perbaikan kadang merusak hal lain.
Ada baiknya juga menguji kegagalan yang tidak kentara, yang tidak akan dikeluhkan penelepon tetapi merugikan Anda dalam jangka panjang. Pastikan panggilan yang berakhir lebih awal tetap menghasilkan catatan yang masuk akal, penelepon yang menutup telepon di tengah kalimat tidak meninggalkan tugas setengah jadi, dan penelepon yang menelepon berulang kali ditangani secara konsisten. Kasus-kasus ini jarang muncul dalam rencana pengujian pertama, padahal porsinya dalam lalu lintas nyata cukup mengejutkan.
Setelah peluncuran
Pengujian tidak berhenti saat agen mulai aktif. Mulailah dengan cakupan terbatas, seperti di luar jam kerja atau untuk luapan panggilan, dengarkan sampel panggilan nyata setiap hari selama minggu pertama, lalu perluas saat Anda sudah yakin. Tinjau pertanyaan yang tidak dapat dijawabnya, lalu tambahkan pengetahuan yang kurang. Sediakan cara untuk kembali ke versi sebelumnya jika suatu perubahan memperburuk keadaan. Minggu Pertama Resepsionis AI Anda adalah bacaan pendamping yang baik.
Menguji di Call
Call memberi Anda beberapa cara untuk menguji agen AI sebelum penelepon melakukannya. Area uji coba di bawah Agen AI memungkinkan Anda mengobrol dengan agen, menunjukkan berapa banyak catatan pengetahuan yang cocok untuk setiap jawaban beserta daftarnya, dan memungkinkan Anda menilai sebuah balasan atau mengajarkan balasan yang lebih baik. Panggilan uji coba milik agen akan menelepon ponsel Anda sendiri melalui salurannya, sehingga Anda mendengarnya seperti seorang penelepon; setiap uji seperti ini adalah panggilan sungguhan yang dikenai biaya. Wizard penyiapan juga menawarkan bicara langsung di layar, panggilan ke ponsel Anda, dan meminta agen menelepon suatu nomor. Pemeriksaan kesiapan, yang dijalankan tanpa menelepon siapa pun, melaporkan apa yang masih dibutuhkan agar saluran tersebut dapat melakukan panggilan AI.
Panggilan latihan, di bawah Agen AI, Yang dipelajarinya, memungkinkan penelepon AI menelepon agen Anda dalam bahasa Jepang dan Inggris. Setiap panggilan dinilai, dan pelajarannya menunggu tinjauan Anda, sehingga tidak ada yang berubah tanpa persetujuan Anda. Sebelum melakukan perubahan yang berisiko, simpan titik pemulihan pada agen agar Anda dapat kembali ke versi sebelumnya, dan gunakan Jadikan langsung atau Jadikan draf untuk mengatur kapan agen menjawab. Lihat Menyiapkan Agen AI di Call untuk proses penyiapannya.
Pertanyaan yang sering diajukan
Berapa banyak panggilan uji yang cukup?
Cukup untuk mencakup setiap pertanyaan umum, setiap kasus pengalihan, dan sampel perilaku yang sulit. Untuk agen kecil, itu bisa berarti puluhan panggilan; teruskan sampai pengujian baru tidak lagi menemukan masalah baru.
Siapa yang sebaiknya menguji agen?
Orang yang tidak ikut membangunnya, termasuk mereka yang memiliki aksen dan kebiasaan menelepon berbeda. Mereka bertanya dengan cara yang tidak pernah terpikirkan oleh pembuatnya.
Haruskah saya menguji dengan telepon sungguhan?
Ya. Audio telepon lebih sempit dan lebih bising daripada audio komputer, dan banyak masalah hanya muncul di saluran sungguhan.
Apa yang dianggap kegagalan serius?
Jawaban karangan yang disampaikan dengan yakin, pengalihan yang gagal, atau catatan yang mengarahkan tim ke arah yang salah. Hal-hal ini harus menahan peluncuran.
Apakah saya perlu menguji ulang setelah perubahan kecil?
Ya, setidaknya satu set inti. Perubahan kecil pada prompt atau pengetahuan dapat mengubah jawaban di bagian lain.
Apa yang perlu dipantau setelah aktif?
Pada awalnya, dengarkan sampel panggilan setiap hari, catat pertanyaan yang tidak dapat dijawab, dan lacak pengalihan serta keluhan. Perbaiki pengetahuan setiap minggu.