Teknologi AI suara

Cara Menguji Ejen AI Suara Sebelum Pelancaran: Pelan Praktikal

Pelan langkah demi langkah untuk menguji ejen AI suara sebelum pelancaran: skrip, ketepatan, pendengaran, aliran, penyerahan, rekod dan keputusan lulus atau gagal.

Pasukan editorial Call · Diterbitkan · Bacaan 5 min

Ejen suara yang menjawab dengan baik di pejabat yang senyap, di hadapan orang yang membinanya, mungkin berkelakuan sangat berbeza di tepi jalan dengan pemanggil yang bercakap tidak jelas. Kebanyakan masalah pelancaran bukanlah misteri: ia perkara yang tidak pernah dicuba oleh sesiapa. Pelan ujian yang tersusun menemuinya ketika kosnya masih murah untuk dibetulkan.

Seorang penguji kualiti bersama set kepala menyemak skrip panggilan pada komputer riba
Imej ilustrasi

Panduan ini memberi anda pelan praktikal: apa yang perlu disediakan, enam bidang untuk diuji, cara menilai keputusan dan apa yang perlu dilakukan selepas pelancaran. Ia diakhiri dengan alat dalam Call. Untuk metrik di sebalik penilaian, lihat Metrik Penilaian AI Suara.

Menyediakan ujian

Mulakan dengan senarai panggilan sebenar. Kumpulkan soalan yang benar-benar ditanya orang, daripada e-mel, ingatan kakitangan dan nota panggilan. Tambah soalan yang janggal: pemanggil yang marah, pemanggil yang kabur, pemanggil yang meminta sesuatu yang anda tidak tawarkan. Set ujian yang baik menggabungkan kes biasa, jarang dan sukar.

Daripada skrip hingga pelancaran

  1. Tulis skrip ujianSoalan sebenar, berserta jawapan yang betul bagi setiap satu.
  2. Uji kandunganAdakah ejen menjawab dengan betul dan kekal dalam batasan.
  3. Uji pendengaranAdakah ia memahami nama, nombor dan loghat.
  4. Uji aliranAdakah perbualan bergerak secara semula jadi dan berakhir dengan baik.
  5. Uji penyerahanAdakah permintaan untuk bercakap dengan manusia dan kes segera berfungsi.
  6. Semak rekodAdakah ringkasan, mesej dan log betul.
  7. PutuskanBandingkan keputusan dengan peraturan lulus dan buat pilihan.

Tentukan siapa yang menguji. Libatkan orang yang tidak membina ejen itu, kerana mereka akan bertanya dengan cara yang tidak dijangka. Jika pemanggil anda bercakap dengan loghat daerah atau dalam beberapa bahasa, libatkan suara-suara itu juga.

Menguji kandungan

Soalan pertama ialah sama ada ejen menyatakan perkara yang benar. Tanya setiap soalan dalam senarai anda dan bandingkan dengan jawapan yang betul. Tandakan setiap respons sebagai betul, separa betul, salah atau rekaan. Jawapan rekaan, di mana ejen menyatakan sesuatu yang tidak pernah diberikan kepadanya, paling penting, kerana pemanggil mempercayainya.

Lihat Halusinasi AI Suara untuk sebab jawapan rekaan berlaku dan Pengambilan Maklumat untuk Ejen Suara untuk cara pengetahuan digunakan.

Menguji apa yang didengarnya

Ejen suara sering gagal pada langkah mendengar. Nama, poskod, nombor telefon dan tarikh ialah masalah yang biasa. Uji dengan telefon sebenar, bukan sekadar mikrofon komputer, dan sertakan bunyi latar, pembesar suara dan liputan mudah alih yang lemah.

SemakanCaraApa yang perlu diperhatikan
NamaEja dan sebut nama yang luar biasaDitangkap dengan betul atau permintaan sopan untuk mengulang
NomborBacakan nombor telefon dan tarikhDigit yang betul, dan dibaca semula
LoghatMinta rakan sekerja dengan loghat berbezaKurang salah faham dan pemulihan yang lancar
Bunyi bisingTelefon dari tempat yang sibukTiada pencetus palsu, dan permintaan ulangan yang jelas

Nombor dan Nama dalam AI Suara dan Pengecaman Pertuturan pada Audio Telefon menerangkan masalah ini dengan lebih mendalam.

Menguji aliran perbualan

Kandungan boleh betul tetapi perbualan masih janggal. Dengar pembukaan, rentak, sama ada ejen bercakap serentak dengan pemanggil, cara ia mengendalikan senyap dan cara ia menamatkan panggilan. Celah percakapannya, diam, sebut "helo?" dan ubah fikiran di tengah-tengah.

Tingkah laku aliran untuk dicuba

  • MencelahBercakap serentak dengan ejen dan pastikan ia berhenti dan mendengar.
  • SenyapJangan berkata apa-apa dan pastikan ia menggesa dengan sopan, kemudian menamatkan panggilan dengan wajar.
  • Mengubah fikiranTukar topik di tengah jawapan dan pastikan ia mengikut.
  • MenamatkanUcapkan terima kasih dan selamat tinggal, dan pastikan panggilan ditutup dengan kemas.

Kelajuan juga termasuk di sini. Catat jeda yang panjang dan puncanya. Kependaman AI Suara menerangkan sebab-sebab biasa.

Menguji penyerahan dan keselamatan

Setiap ejen suara memerlukan laluan kepada manusia untuk permintaan yang tidak boleh atau tidak patut dikendalikannya. Uji dalam setiap keadaan: dalam waktu operasi, di luar waktu operasi, apabila tiada sesiapa menjawab, dan apabila pemanggil dalam kesusahan. Cuba frasa yang mendesak. Pastikan ejen tidak pernah mendakwa dirinya manusia dan tidak pernah menjanjikan perkara yang tidak dapat ditunaikan, seperti tempahan yang disahkan.

Semakan penyerahan

  • Meminta bercakap dengan manusia dalam waktu operasi sampai kepada orang yang betul
  • Meminta di luar waktu operasi mendapat mesej yang jujur dan cara untuk meninggalkan butiran
  • Jika tiada sesiapa menjawab, pemanggil boleh meninggalkan mesej
  • Pemanggil yang mendesak atau dalam kesusahan disalurkan dengan cepat
  • Ejen memperkenalkan dirinya sebagai AI apabila ditanya
  • Butiran sensitif tidak dikumpul apabila tidak sepatutnya

Menguji rekod dan log

Panggilan mempunyai dua hasil: apa yang dialami pemanggil dan apa yang anda rekodkan. Selepas setiap ujian, semak ringkasan, transkrip, mesej yang ditinggalkan dan sebarang tugasan susulan. Adakah nama dan nombor betul? Adakah sebab panggilan dinyatakan dengan tepat? Adakah ringkasan mereka-reka apa-apa? Panggilan yang sempurna dengan rekod yang salah tetap menghala pasukan ke arah yang salah. Lihat Ringkasan Panggilan AI.

Memutuskan lulus atau gagal

Sebelum anda bermula, tulis peraturan yang menentukan sama ada ejen boleh dilancarkan. Ia boleh mudah: tiada jawapan rekaan dalam set ujian, setiap kes penyerahan berfungsi, dan bahagian tertentu yang dinyatakan bagi soalan biasa dijawab dengan betul. Menulisnya menghalang pelancaran yang didorong oleh tekanan tarikh akhir.

Keputusan pelancaran

Peraturan lulus ditulis dahuluDinilai selepas itu
KejelasanSemua orang tahu tahap yang ditetapkanTahap berubah mengikut emosi
TekananMudah untuk berkata belum lagiSukar menolak tarikh akhir
PembelajaranKegagalan menunjukkan pembetulanKegagalan menjadi pertengkaran
RekodKeputusan boleh dibandingkan dari semasa ke semasaTiada apa untuk dibandingkan

Simpan log bagi setiap ujian: tarikh, versi ejen, pemanggil, soalan, keputusan dan pembetulan. Apabila anda mengubah arahan atau pengetahuan, ulangi ujian terdahulu, kerana pembetulan kadangkala merosakkan perkara lain.

Ia juga berbaloi untuk menguji kegagalan senyap, yang tidak akan diadukan oleh mana-mana pemanggil tetapi merugikan anda dari masa ke masa. Pastikan panggilan yang berakhir awal masih menghasilkan rekod yang munasabah, pemanggil yang meletakkan telefon di tengah ayat tidak meninggalkan tugasan yang separuh siap, dan pemanggil berulang dilayan secara konsisten. Kes sebegini jarang muncul dalam pelan ujian pertama, namun ia membentuk bahagian trafik sebenar yang mengejutkan.

Selepas pelancaran

Pengujian tidak berhenti apabila ejen mula beroperasi. Mulakan dengan skop terhad, seperti di luar waktu operasi atau limpahan, dengar sampel panggilan sebenar setiap hari pada minggu pertama, dan luaskan apabila anda sudah yakin. Semak soalan yang tidak dapat dijawabnya, kemudian tambah pengetahuan yang kurang. Sediakan cara untuk kembali kepada versi sebelumnya jika sesuatu perubahan memburukkan keadaan. Minggu Pertama Penyambut Tetamu AI Anda ialah bacaan pelengkap yang baik.

Menguji dalam Call

Call memberi anda beberapa cara untuk menguji ejen AI sebelum pemanggil melakukannya. Ruang Cubaan di bawah Ejen AI membolehkan anda bersembang dengan ejen, menunjukkan berapa banyak nota pengetahuan yang sepadan dengan setiap jawapan dan menyenaraikannya, serta membolehkan anda menilai jawapan atau mengajar jawapan yang lebih baik. Panggilan ujian ejen akan mendering telefon anda sendiri melalui taliannya, jadi anda mendengarnya seperti pemanggil; setiap ujian sebegini ialah panggilan sebenar yang dikenakan bayaran. Wizard persediaan juga menawarkan perbualan pada skrin, panggilan ke telefon anda dan meminta ejen menelefon sesuatu nombor. Semakan kesediaan, yang dijalankan tanpa mendail sesiapa, melaporkan apa yang masih diperlukan oleh panggilan AI daripada talian itu.

Panggilan latihan, di bawah Ejen AI, Apa yang dipelajarinya, membolehkan pemanggil AI menelefon ejen anda dalam bahasa Jepun dan Inggeris. Setiap panggilan dinilai, dan pengajarannya menunggu semakan anda, jadi tiada apa yang berubah tanpa anda. Sebelum suntingan yang berisiko, simpan titik pemulihan pada ejen supaya anda boleh kembali, dan gunakan Jadikan langsung atau Jadikan draf untuk mengawal bila ejen menjawab. Lihat Menyediakan Ejen AI dalam Call untuk persediaannya.

Soalan lazim

Berapa banyak panggilan ujian yang mencukupi?

Cukup untuk meliputi setiap soalan biasa, setiap kes penyerahan dan sampel tingkah laku yang sukar. Untuk ejen yang kecil, ini mungkin berpuluh-puluh panggilan; teruskan sehingga ujian baharu tidak lagi menemui masalah baharu.

Siapa yang patut menguji ejen?

Orang yang tidak membinanya, termasuk mereka yang mempunyai loghat dan tabiat telefon yang berbeza. Mereka bertanya dengan cara yang tidak pernah terfikir oleh pembina.

Patutkah saya menguji pada telefon sebenar?

Ya. Audio telefon lebih sempit dan lebih bising berbanding audio komputer, dan banyak masalah hanya muncul pada talian sebenar.

Apa yang dikira sebagai kegagalan serius?

Jawapan rekaan yang dinyatakan dengan yakin, penyerahan yang gagal, atau rekod yang menghala pasukan ke arah yang salah. Semua ini patut menghalang pelancaran.

Adakah saya perlu menguji semula selepas perubahan kecil?

Ya, sekurang-kurangnya set teras. Perubahan kecil pada arahan atau pengetahuan boleh mengubah jawapan di tempat lain.

Apa yang patut saya pantau selepas mula beroperasi?

Dengar sampel panggilan setiap hari pada awalnya, catat soalan yang tidak dapat dijawabnya, dan jejaki penyerahan serta aduan. Tambah baik pengetahuan setiap minggu.

Jalankan panggilan ujian dan panggilan latihan pada ejen AI anda dalam Call

Dalam konsol demo, anda boleh mencuba panggilan masuk secara simulasi.

Panduan berkaitan