Panggilan Latihan: Menguji Agen AI Sebelum Diluncurkan
Bagaimana panggilan latihan simulasi menguji agen telepon AI pada kasus sulit, cara membaca nilai dan pelajarannya, dan cara mengubah temuan menjadi perbaikan.
Setiap tim yang pernah melatih staf baru tahu bahwa minggu pertama di telepon adalah yang paling berisiko. Orang baru itu sudah paham kebijakannya, tetapi belum pernah bertemu penelepon yang terus memotong pembicaraan, yang berganti topik di tengah kalimat, atau yang hanya ingin menyalahkan seseorang. Tim yang baik melatih momen-momen ini lewat bermain peran sebelum menghadapi yang sebenarnya.

Agen telepon AI membutuhkan latihan yang sama, dan bisa mendapatkannya jauh lebih banyak dan jauh lebih cepat. Panduan ini menjelaskan cara merancang latihan, cara membaca hasilnya, dan cara memasukkan kembali pelajarannya. Panduan ini melanjutkan menyiapkan agen AI dan menulis prompt yang efektif.
Mengapa berlatih sebelum diluncurkan
Panggilan nyata pertama membentuk pandangan pelanggan terhadap seluruh layanan. Agen yang salah mendengar nama, memotong penelepon, atau mengarang jawaban merugikan lebih dari sekadar panggilan tak terjawab, karena pelanggan kini punya cerita untuk dibagikan. Latihan menemukan masalah itu selagi penontonnya hanya tim Anda sendiri.
- Cakupan. Anda dapat menguji puluhan panggilan dalam satu batch, termasuk yang tidak biasa dan mungkin tidak muncul pada minggu-minggu pertama.
- Dapat diulang. Setelah mengubah prompt, jalankan batch sejenis dan bandingkan.
- Keamanan. Kesalahan tidak merugikan pelanggan sungguhan.
- Bukti. Skor dan tanda memberi Anda bahan diskusi selain sekadar pendapat.
Latihan bukan bukti. Skor yang baik pada penelepon simulasi tidak berarti penelepon nyata akan berperilaku sama, dan perilaku suara langsung bisa berbeda dari simulasi. Anggap hasil yang baik sebagai izin untuk mencoba panggilan nyata dengan hati-hati, bukan sebagai sertifikat.
Apa yang perlu diuji
Nilai sebuah batch bergantung pada situasi yang dicakupnya. Campurkan kasus mudah dan sulit secara sengaja.
Skenario yang mengungkap kelemahan
- InterupsiPenelepon yang memotong pembicaraan agen. Apakah agen berhenti dan mendengarkan, atau terus saja bicara?
- Berganti bahasaPenelepon yang mulai dalam satu bahasa lalu beralih ke bahasa lain. Apakah agen mengikutinya?
- Meminta berbicara dengan manusiaPenelepon berkata "saya mau bicara dengan orang". Apakah peralihannya jelas dan cepat?
- Pertanyaan hargaPenelepon menanyakan biaya. Apakah agen hanya menjawab yang ia ketahui dan tidak menebak?
- KeluhanPenelepon yang kesal. Apakah agen tetap tenang dan menawarkan langkah berikutnya?
- Pertanyaan sehari-hariPertanyaan yang diambil dari basis pengetahuan agen sendiri. Apakah jawabannya benar dan singkat?
Keseimbangan itu penting. Batch yang hanya berisi kasus sulit akan selalu tampak buruk dan sedikit memberi gambaran tentang kinerja sehari-hari; batch yang hanya berisi pertanyaan mudah akan menyanjung agen yang gagal di bawah tekanan. Campuran keduanya biasanya menjadi awal yang paling informatif.
Menjalankan batch latihan di Call
Di Call, latihan berada di Agen AI, pada Yang dipelajarinya, di tab Panggilan latihan. Penelepon AI menelepon agen AI Anda dalam simulasi, dalam bahasa Jepang dan Inggris, dan setiap panggilan dinilai. Anda memilih agennya (hingga sepuluh sekaligus; agen yang belum bisa menjawab panggilan ditampilkan abu-abu), berapa panggilan bahasa Jepang dan Inggris untuk masing-masing (dari nol hingga dua puluh lima per bahasa), dan campuran skenarionya.
| Campuran skenario | Cakupannya | Gunakan saat |
|---|---|---|
| Seimbang | Setiap kasus sulit sekali, sisanya pertanyaan dari basis pengetahuan agen | Anda menguji agen baru untuk pertama kalinya |
| Basis pengetahuan | Hanya pertanyaan yang diambil dari apa yang diketahui agen | Anda mengubah pengetahuannya dan ingin memeriksa akurasi |
| Kasus tepi | Hanya kasus sulit | Anda mengubah aturan perilaku atau prompt-nya |
Menjalankan batch
- Buka Panggilan latihanMasuk ke Agen AI, lalu Yang dipelajarinya, lalu Panggilan latihan.
- Pilih agen dan jumlahCentang agennya dan tetapkan jumlah panggilan untuk setiap bahasa.
- Pilih campuranSeimbang, Basis pengetahuan, atau Kasus tepi.
- Mulai batchAngka di samping tombol adalah totalnya: jumlah agen dikalikan panggilan dalam kedua bahasa.
- Pantau kemajuanDaftar diperbarui sendiri; buka batch untuk melihat skor dan hasil panggilan.
Tombol mulai tetap abu-abu jika jumlah panggilan nol atau totalnya lebih dari tiga ratus, jadi pengujian besar dijalankan secara bertahap. Anda juga dapat membatalkan batch yang sedang menunggu atau berjalan; panggilan yang belum dimulai dibatalkan dan panggilan yang sedang berlangsung tetap diselesaikan. Anda dapat mengaktifkan suara untuk batch agar tombol putar muncul di setiap giliran bicara, dan audionya baru dibuat saat Anda menekannya.
Membaca hasilnya
Buka batch yang sudah selesai dan mulailah dari ringkasannya, bukan dari satu transkrip. Totalnya menunjukkan panggilan yang selesai, skor rata-rata, balasan yang dikoreksi, pertanyaan yang perlu dijawab, dan tips gaya. Di bawahnya ada skor per kriteria, masalah utama beserta rata-rata setiap agen, dan tabel panggilan dengan skenario, bahasa, skor, dan tandanya.
- Lihat skor per kriteria untuk menemukan area terlemah.
- Baca masalah utamanya; jika satu masalah muncul di beberapa agen, kemungkinan penyebabnya prompt atau aturan bersama.
- Urutkan panggilan berdasarkan skor dan baca tiga transkrip terburuk secara utuh.
- Baca catatan penilai pada setiap balasan, bukan hanya nilai akhirnya.
- Bandingkan antarbahasa; selisih bisa berarti satu bahasa memerlukan susunan kata sendiri.
Menerapkan pelajaran
Latihan menghasilkan pelajaran, dan pelajaran itu menunggu tinjauan Anda alih-alih mengubah agen secara otomatis. Anda dapat menerapkan atau mengabaikan masing-masing. Balasan yang dikoreksi dan pertanyaan yang perlu dijawab juga menunggu di Saran. Ini disengaja: manusia yang memutuskan apa yang harus dipelajari agen.
Meninjau pelajaran
- Apakah pelajaran itu sesuai dengan kebijakan dan nada Anda
- Apakah balasan yang dikoreksi benar-benar tepat, bukan sekadar masuk akal
- Apakah berlaku untuk setiap penelepon, atau hanya untuk skenario ini
- Apakah ada dua pelajaran yang saling bertentangan
- Apakah agen memerlukan entri pengetahuan baru, bukan perubahan prompt
Setelah menerapkan perubahan, jalankan lagi batch kecil dan bandingkan. Ubah satu hal setiap kali jika memungkinkan, karena jika tidak, Anda tidak akan tahu perubahan mana yang membantu. Lihat sumber pengetahuan untuk tempat jawaban faktual seharusnya disimpan.
Ritme latihan yang masuk akal
Latihan paling bermanfaat jika menjadi kebiasaan, bukan acara sekali jalan. Kaitkan batch dengan momen ketika ada sesuatu yang berubah.
| Momen | Yang dijalankan | Yang diperhatikan |
|---|---|---|
| Agen baru, sebelum peluncuran | Batch seimbang di setiap bahasa yang Anda layani | Kriteria yang lemah, perilaku saat peralihan ke manusia |
| Setelah perubahan prompt atau aturan | Batch kasus tepi | Apakah perubahan memperbaiki masalah tanpa merusak hal lain |
| Setelah menambah pengetahuan | Batch basis pengetahuan | Jawaban yang benar dan singkat tanpa fakta karangan |
| Sebelum periode sibuk | Batch seimbang pada saluran yang akan paling sibuk | Kestabilan pada campuran pertanyaan yang umum |
| Setelah ada masalah pada panggilan nyata | Batch yang meniru kegagalan itu | Apakah perbaikannya bertahan |
Simpan log singkat: tanggal, apa yang Anda ubah, batch yang dijalankan, dan hasil utamanya. Setelah beberapa bulan, riwayat ini menunjukkan perubahan mana yang membantu, dan mencegah Anda mengulang percobaan yang sudah pernah gagal.
Sebuah klinik hipotetis bisa menjalankan batch seimbang untuk agen resepsionisnya sebelum membuka saluran baru, batch kasus tepi setelah menambahkan aturan tentang gejala darurat, dan batch basis pengetahuan setiap kali jam buka atau layanan berubah. Tiga batch kecil yang dijalankan pada saat yang tepat lebih bermakna daripada satu pengujian besar yang hanya dijalankan sekali.
Melampaui simulasi
Simulasi adalah gladi. Sebelum peluncuran, lakukan juga panggilan uji nyata ke ponsel Anda sendiri dan dengarkan seperti pelanggan. Luncurkan dengan hati-hati: mulailah dari saluran berisiko rendah atau jam terbatas, sediakan jalur mudah ke manusia (lihat mengalihkan panggilan ke manusia), dan dengarkan panggilan nyata pertama setiap hari. Gagasan yang sama berlaku untuk agen manusia; lihat kerangka coaching untuk latihan dan umpan balik bersama orang.
Pertanyaan yang sering diajukan
Apakah panggilan latihan adalah panggilan telepon sungguhan?
Panggilan latihan adalah panggilan simulasi di mana penelepon AI menelepon agen AI Anda. Lakukan panggilan uji terpisah ke ponsel Anda sendiri untuk mendengar agen di saluran sungguhan.
Bisakah saya berlatih dalam lebih dari satu bahasa?
Alat latihan menjalankan panggilan simulasi dalam bahasa Jepang dan Inggris. Tetapkan berapa banyak masing-masing yang Anda inginkan per agen.
Berapa banyak panggilan yang sebaiknya dijalankan?
Mulailah dari yang kecil, beberapa panggilan untuk setiap skenario per agen, dan baca hasilnya dengan cermat. Tambah jumlahnya hanya jika ada alasan, misalnya menguji perubahan di beberapa bahasa.
Apakah pelajaran mengubah agen saya secara otomatis?
Tidak. Pelajaran menunggu tinjauan Anda. Anda menerapkan yang Anda setujui dan mengabaikan sisanya.
Apa yang ditunjukkan oleh nilainya?
Nilai menunjukkan bagaimana panggilan simulasi berjalan dibandingkan kriteria, dengan catatan penilai pada setiap balasan. Itu adalah bukti, dan penelepon nyata tetap bisa berperilaku berbeda.
Bagaimana jika sebuah agen tampil abu-abu?
Agen yang belum bisa menjawab panggilan ditandai tidak dapat menjawab dan tidak bisa dipilih. Selesaikan penyiapannya terlebih dahulu.