Panggilan Latihan: Menguji Ejen AI Anda Sebelum Dilancarkan
Cara panggilan latihan simulasi menguji ejen telefon AI pada kes sukar terlebih dahulu, cara membaca gred dan pengajaran, dan cara menukar dapatan kepada pembaikan.
Mana-mana pasukan yang pernah melatih kakitangan baharu tahu minggu pertama menjawab telefon ialah yang paling berisiko. Orang baharu itu tahu polisi tetapi belum bertemu pemanggil yang bercakap menindih mereka, yang menukar topik di tengah ayat atau yang hanya mahu menyalahkan seseorang. Pasukan yang baik melatih detik-detik ini melalui main peranan sebelum menghadapi situasi sebenar.

Ejen telefon AI memerlukan latihan yang sama, dan ia boleh mendapat jauh lebih banyak latihan, dengan jauh lebih pantas. Panduan ini menerangkan cara mereka bentuk latihan, cara membaca keputusan dan cara menyalurkan semula pengajaran. Ia dibina berdasarkan menyediakan ejen AI dan menulis prompt yang berkesan.
Mengapa berlatih sebelum dilancarkan
Panggilan sebenar yang pertama membentuk tanggapan pelanggan terhadap keseluruhan perkhidmatan. Ejen yang tersalah dengar nama, bercakap menindih pemanggil atau mereka-reka jawapan memberi kesan lebih buruk daripada panggilan tidak berjawab, kerana pelanggan kini ada cerita untuk dikongsi. Latihan menemui masalah itu ketika satu-satunya penonton ialah pasukan anda sendiri.
- Liputan. Anda boleh menguji berpuluh-puluh panggilan dalam satu kelompok, termasuk yang luar biasa yang mungkin tidak berlaku dalam minggu-minggu pertama.
- Kebolehulangan. Selepas anda mengubah prompt, jalankan kelompok yang serupa dan bandingkan.
- Keselamatan. Kesilapan tidak memberi kesan kepada pelanggan sebenar.
- Bukti. Skor dan tanda memberi anda sesuatu untuk dibincangkan selain pendapat.
Latihan bukan bukti muktamad. Skor yang baik dengan pemanggil simulasi tidak bermakna pemanggil sebenar akan berkelakuan sama, dan tingkah laku suara secara langsung boleh berbeza daripada simulasi. Anggap keputusan yang baik sebagai izin untuk mencuba panggilan sebenar dengan berhati-hati, bukan sebagai sijil.
Apa yang perlu diuji
Nilai sesuatu kelompok bergantung pada situasi yang diliputinya. Campurkan kes mudah dan sukar dengan sengaja.
Senario yang mendedahkan kelemahan
- CelahanPemanggil yang bercakap menindih ejen. Adakah ia berhenti dan mendengar, atau terus bercakap?
- Pertukaran bahasaPemanggil yang bermula dalam satu bahasa dan beralih kepada bahasa lain. Adakah ejen mengikutinya?
- Meminta manusiaPemanggil berkata "saya nak bercakap dengan seseorang". Adakah penyerahan jelas dan segera?
- Soalan hargaPemanggil bertanya berapa kosnya. Adakah ejen hanya menjawab apa yang diketahuinya dan mengelak daripada meneka?
- AduanPemanggil yang kecewa. Adakah ejen kekal tenang dan menawarkan langkah seterusnya?
- Soalan harianSoalan yang diambil daripada pangkalan pengetahuan ejen itu sendiri. Adakah jawapannya betul dan ringkas?
Keseimbangan itu penting. Kelompok yang hanya mengandungi kes sukar akan sentiasa nampak teruk dan kurang mengajar tentang prestasi harian; kelompok yang hanya mengandungi soalan mudah akan memuji ejen yang gagal di bawah tekanan. Campuran kedua-duanya biasanya permulaan yang paling bermaklumat.
Menjalankan kelompok latihan dalam Call
Dalam Call, latihan terletak di bawah Ejen AI, dalam Apa yang dipelajari, di tab Panggilan latihan. Pemanggil AI menelefon ejen AI anda dalam simulasi, dalam bahasa Jepun dan Inggeris, dan setiap panggilan diberi gred. Anda memilih ejen (sehingga sepuluh sekali gus; ejen yang belum boleh menjawab panggilan dipaparkan kelabu), berapa banyak panggilan bahasa Jepun dan Inggeris yang perlu diterima setiap ejen (dari sifar hingga dua puluh lima bagi setiap bahasa), dan campuran senario.
| Campuran senario | Apa yang diliputi | Gunakan apabila |
|---|---|---|
| Seimbang | Setiap kes sukar sekali, selebihnya soalan daripada pangkalan pengetahuan ejen | Anda menguji ejen baharu buat kali pertama |
| Pangkalan pengetahuan | Hanya soalan yang diambil daripada apa yang diketahui ejen | Anda mengubah pengetahuannya dan mahu menyemak ketepatan |
| Kes sukar | Hanya kes sukar | Anda mengubah peraturan tingkah laku atau prompt |
Menjalankan kelompok
- Buka Panggilan latihanPergi ke Ejen AI, kemudian Apa yang dipelajari, kemudian Panggilan latihan.
- Pilih ejen dan bilanganTandakan ejen dan tetapkan bilangan panggilan dalam setiap bahasa.
- Pilih campuranSeimbang, Pangkalan pengetahuan atau Kes sukar.
- Mulakan kelompokNombor di sebelah butang ialah jumlahnya: bilangan ejen didarab dengan panggilan dalam kedua-dua bahasa.
- Ikuti kemajuanSenarai dimuat semula sendiri; buka kelompok untuk melihat skor dan keputusan panggilan.
Butang mula kekal kelabu pada sifar panggilan atau melebihi jumlah tiga ratus, jadi ujian besar dijalankan secara berperingkat. Anda juga boleh membatalkan kelompok yang sedang menunggu atau berjalan; panggilan yang belum bermula dibatalkan dan panggilan yang sedang berlangsung akan diselesaikan. Anda boleh menghidupkan suara untuk sesuatu kelompok bagi menambah butang main pada setiap giliran, dan audio hanya dijana apabila anda menekannya.
Membaca keputusan
Buka kelompok yang telah selesai dan mulakan dengan ringkasan, bukan satu transkrip. Jumlah menunjukkan panggilan yang selesai, skor purata, balasan yang dibetulkan, soalan yang memerlukan jawapan dan tip gaya. Di bawahnya terdapat skor mengikut kriteria, isu utama, dengan purata setiap ejen, dan jadual panggilan bersama senario, bahasa, skor dan tandanya.
- Lihat skor mengikut kriteria untuk mencari bidang paling lemah.
- Baca isu utama; jika satu isu muncul merentas ejen, ia mungkin berpunca daripada prompt atau peraturan yang dikongsi.
- Isih panggilan mengikut skor dan baca tiga transkrip terburuk sepenuhnya.
- Baca nota penilai pada setiap balasan, bukan hanya gred akhir.
- Bandingkan bahasa; jurang mungkin bermakna satu bahasa memerlukan ayatnya sendiri.
Menggunakan pengajaran
Latihan menghasilkan pengajaran, dan ia menunggu semakan anda dan bukannya mengubah ejen secara automatik. Anda boleh menggunakan atau menolak setiap satu. Balasan yang dibetulkan dan soalan yang memerlukan jawapan juga menunggu dalam Cadangan. Ini disengajakan: manusia yang memutuskan apa yang patut dipelajari ejen.
Menyemak pengajaran
- Adakah pengajaran itu sepadan dengan polisi dan nada anda
- Adakah balasan yang dibetulkan benar-benar betul, bukan sekadar munasabah
- Adakah ia terpakai kepada setiap pemanggil, atau hanya senario ini
- Adakah dua pengajaran saling bercanggah
- Adakah ejen memerlukan entri pengetahuan baharu, bukan perubahan prompt
Selepas menggunakan perubahan, jalankan kelompok kecil sekali lagi dan bandingkan. Ubah satu perkara pada satu masa jika boleh, jika tidak anda tidak akan tahu perubahan mana yang membantu. Lihat sumber pengetahuan untuk tempat jawapan fakta sepatutnya disimpan.
Rentak latihan yang munasabah
Latihan paling berbaloi apabila ia menjadi tabiat, bukan acara sekali sahaja. Kaitkan kelompok dengan saat berlakunya perubahan.
| Saat | Apa yang dijalankan | Apa yang dicari |
|---|---|---|
| Ejen baharu, sebelum pelancaran | Kelompok seimbang dalam setiap bahasa yang anda layani | Kriteria lemah, tingkah laku penyerahan |
| Selepas perubahan prompt atau peraturan | Kelompok kes sukar | Sama ada perubahan itu menyelesaikan masalah tanpa merosakkan perkara lain |
| Selepas menambah pengetahuan | Kelompok pangkalan pengetahuan | Jawapan yang betul dan ringkas serta tiada fakta rekaan |
| Sebelum tempoh sibuk | Kelompok seimbang pada talian yang akan paling sibuk | Kestabilan di bawah campuran soalan yang biasa |
| Selepas masalah panggilan sebenar | Kelompok yang meniru kegagalan itu | Sama ada pembaikan itu bertahan |
Simpan log ringkas: tarikh, apa yang anda ubah, kelompok yang dijalankan dan keputusan utama. Selepas beberapa bulan, sejarah ini menunjukkan perubahan mana yang membantu, dan ia melindungi anda daripada mengulangi eksperimen yang sudah gagal.
Sebuah klinik hipotetikal boleh menjalankan kelompok seimbang untuk ejen penyambut tetamunya sebelum membuka talian baharu, kelompok kes sukar selepas menambah peraturan tentang gejala segera, dan kelompok pangkalan pengetahuan setiap kali waktu operasi atau perkhidmatan berubah. Tiga kelompok kecil, dijalankan pada saat yang tepat, memberitahu lebih banyak daripada satu ujian besar yang dijalankan sekali.
Melangkaui simulasi
Simulasi ialah raptai. Sebelum pelancaran, buat juga panggilan ujian sebenar ke telefon anda sendiri dan dengar seperti pelanggan. Lancarkan dengan berhati-hati: mulakan dengan talian berisiko rendah atau waktu terhad, sediakan laluan mudah kepada manusia (lihat menyerahkan panggilan kepada manusia) dan dengar panggilan sebenar yang pertama setiap hari. Bagi ejen manusia, idea yang sama terpakai; lihat rangka kerja bimbingan untuk raptai dan maklum balas bersama manusia.
Soalan lazim
Adakah panggilan latihan merupakan panggilan telefon sebenar?
Ia panggilan simulasi di mana pemanggil AI menelefon ejen AI anda. Gunakan panggilan ujian berasingan ke telefon anda sendiri untuk mendengar ejen pada talian sebenar.
Bolehkah saya berlatih dalam lebih daripada satu bahasa?
Alat latihan menjalankan panggilan simulasi dalam bahasa Jepun dan Inggeris. Tetapkan berapa banyak bagi setiap bahasa yang anda mahu untuk setiap ejen.
Berapa banyak panggilan yang patut saya jalankan?
Mulakan secara kecil, dengan beberapa panggilan bagi setiap senario untuk setiap ejen, dan baca keputusannya dengan teliti. Tingkatkan hanya apabila ada sebabnya, seperti menguji perubahan merentas bahasa.
Adakah pengajaran mengubah ejen saya secara automatik?
Tidak. Pengajaran menunggu semakan anda. Anda menggunakan yang anda setujui dan menolak yang lain.
Apa yang diberitahu oleh gred?
Ia menunjukkan prestasi panggilan simulasi berbanding kriteria, dengan nota penilai pada setiap balasan. Ia bukti, dan pemanggil sebenar mungkin masih berkelakuan berbeza.
Bagaimana jika ejen dipaparkan kelabu?
Ejen yang belum boleh menjawab panggilan ditanda sebagai tidak dapat menjawab dan tidak boleh dipilih. Lengkapkan persediaannya dahulu.