Teknologi AI suara

Mencegah Jawaban Karangan AI Suara dalam Panggilan Telepon

Mengapa agen suara kadang menyatakan hal yang keliru, dan langkah praktis untuk membatasinya: sumber resmi, jawaban cadangan, pertanyaan jebakan, dan tinjauan rutin.

Tim redaksi Call · Dipublikasikan · Baca 5 menit

Tanyakan jam buka Anda kepada agen suara, dan ia akan menjawab dengan lancar. Masalah muncul saat ia menjawab sama lancarnya tentang sesuatu yang tidak pernah diberitahukan kepadanya. Inilah yang dimaksud dengan halusinasi: keluaran yang terdengar benar tetapi tidak berdasar pada informasi Anda.

Seseorang mendengarkan dengan saksama dalam panggilan telepon di meja kerjanya
Gambar ilustrasi

Di saluran telepon, risikonya lebih tajam daripada di jendela chat. Penelepon mendengar satu kalimat yang meyakinkan tanpa tautan, tanpa sumber, dan tanpa cara mudah untuk kembali. Panduan ini menjelaskan mengapa halusinasi terjadi, cara menguranginya, dan cara memeriksa bahwa perbaikan Anda berhasil.

Apa itu halusinasi, dan mengapa terjadi

Model bahasa menghasilkan kelanjutan percakapan yang paling masuk akal. Ia dilatih dengan teks dalam jumlah sangat besar dan tidak memiliki pemahaman bawaan tentang pernyataan mana yang benar bagi bisnis Anda. Ketika jawabannya tidak ada di prompt atau sumber, model bisa mengisi celah itu dengan sesuatu yang tampak wajar.

Penyebab umum pada agen telepon

  • Informasi yang hilangPenelepon menanyakan sesuatu yang tidak pernah ditulis siapa pun, sehingga model berimprovisasi.
  • Informasi usangHarga atau jam buka lama masih tersisa di sebuah sumber.
  • Sumber yang ambiguDua dokumen saling bertentangan dan agen memilih salah satunya.
  • Tekanan untuk membantuPrompt yang berbunyi selalu jawab mendorong agen menebak.
  • Kesalahan pengenalan ucapanKata yang salah dengar mengubah pertanyaan, sehingga agen menjawab pertanyaan yang berbeda.

Penyebab terakhir mudah terlewat. Jika transkrip menulis Selasa padahal penelepon berkata Kamis, jawabannya bisa sepenuhnya akurat untuk pertanyaan yang salah. Lihat Pengenalan Ucapan dalam Panggilan Telepon untuk mengetahui bagaimana kesalahan pengenalan terjadi.

Seperti apa wujudnya dalam praktik

Sebuah klinik gigi hipotetis mungkin memberi tahu agennya tentang jam buka dan layanan yang ditawarkan. Seorang penelepon bertanya apakah klinik menerima program asuransi tertentu. Tanpa informasi tentang hal itu, agen yang ceroboh mungkin menjawab ya, karena banyak klinik memang menerimanya. Penelepon datang dengan harapan ditanggung asuransi lalu kecewa. Perbaikannya bukan model yang lebih pintar, melainkan instruksi yang jelas dan sumber yang menyebutkan apa yang harus dilakukan saat jawabannya tidak diketahui.

Topik berisiko tinggi yang umum adalah harga, ketersediaan, nasihat hukum atau medis, janji pengembalian dana, dan apa pun yang terdengar seperti komitmen. Tandai semua ini sebagai area tempat agen tidak boleh berimprovisasi.

Mengapa suara memperburuknya

Jawaban chatbot tertulis bisa menyertakan tautan, penafian, atau daftar sumber yang terlihat. Ucapan tidak membawa semua itu. Suara sintetis juga mulus dan stabil, sehingga tebakan terdengar persis seperti fakta; tidak ada keraguan yang memperingatkan penelepon. Penelepon sering langsung bertindak berdasarkan apa yang mereka dengar, dengan pergi ke suatu tempat, membatalkan sesuatu, atau membayar sesuatu.

Karena itulah desain agen telepon sebaiknya condong ke sikap menahan diri. Jawaban jujur yang singkat dan mengarahkan ke petugas hanya memakan beberapa detik. Jawaban salah yang meyakinkan bisa membuat Anda kehilangan pelanggan. Saat menentukan seberapa ketat aturannya, pikirkan konsekuensi terburuk yang masuk akal dari jawaban salah untuk setiap topik, lalu tetapkan aturannya: longgar untuk jam buka, ketat untuk apa pun yang menyangkut uang, kesehatan, atau hak hukum.

Cara mengurangi jawaban karangan

Pendekatan berlapis

  1. Dasarkan agen pada sumberBerikan informasi yang sudah disetujui dan minta agen hanya menjawab dari situ.
  2. Tentukan jawaban untuk yang tidak diketahuiTulis apa yang harus dikatakan agen saat tidak punya jawaban.
  3. Batasi komitmenLarang janji yang tidak bisa ditepati, seperti diskon atau booking yang dikonfirmasi.
  4. Sediakan jalurSelalu sediakan petugas, pesan, atau panggilan balik sebagai langkah berikutnya.
  5. Uji dan tinjauCoba pertanyaan di luar sumber dan baca transkrip nyata.

Dasarkan pada sumber yang disetujui

Retrieval berarti mencari bagian yang relevan dari dokumen Anda pada saat pertanyaan diajukan dan hanya memberikan bagian itu kepada model. Cara ini menjaga jawaban tetap terikat pada teks yang Anda tulis. RAG untuk Agen Suara menjelaskan gagasannya, dan Sumber Pengetahuan di Call menunjukkan bagaimana hal itu muncul di produk.

Tulis fakta yang singkat dan tidak ambigu

Satu fakta per entri, lengkap dengan syaratnya, lebih efektif daripada brosur panjang. Alih-alih Kami buka di akhir pekan, tulis Sabtu pukul 9 sampai 13, Minggu tutup. Jika suatu topik punya pengecualian, cantumkan di entri yang sama.

Gunakan jawaban persis untuk pertanyaan penting

Untuk pertanyaan yang susunan katanya penting, seperti aturan pembatalan, berikan agen jawaban persis untuk dibacakan. Di Call, Anda bisa menambahkan pertanyaan beserta jawaban persis yang harus diberikan agen, sehingga ia tidak perlu memparafrasekannya.

Ajari agen mengatakan saya tidak tahu

Kalimat jujur seperti Saya tidak bisa mengonfirmasi hal itu dalam panggilan ini, tetapi saya bisa mencatat data Anda agar ada yang menghubungi Anda kembali jauh lebih baik daripada tebakan. Di Call, agen dirancang untuk mengatakan dengan jelas bahwa ia tidak bisa mengonfirmasi sesuatu jika tidak ada isi instruksi atau sumbernya yang menjawab pertanyaan, dan menawarkan petugas jika saluran bisa menyambungkan penelepon. Agen juga tidak pernah mengarang harga, jam, tanggal, atau fakta lain yang tidak disebutkan dalam instruksi dan sumber Anda, dan instruksi Anda tidak bisa mematikan aturan ini.

Jawaban berdasar versus tidak berdasar

Pertanyaan yang sama, dua pengaturan

Agen tanpa sumberAgen berbasis sumber
Asal jawabanPengetahuan umum dan tebakan yang masuk akalHanya informasi Anda yang sudah disetujui
Saat informasi tidak adaMengarang sesuatu yang terdengar lancarMenyatakan tidak bisa mengonfirmasi, menawarkan langkah berikutnya
Risiko bagi peneleponBisa bertindak berdasarkan informasi yang salahTahu apa yang belum pasti
PemeliharaanMudah dimulai, sulit dipercayaSumber harus terus diperbarui

Uji halusinasi dengan sengaja

Jangan menunggu pelanggan menemukan celahnya. Buat sekumpulan kecil pertanyaan jebakan dan jalankan setiap kali Anda mengubah prompt atau sumber.

Kumpulan uji halusinasi

  • Tanyakan layanan yang tidak Anda tawarkan
  • Tanyakan harga yang tidak ada di sumber
  • Tanyakan pengecualian kebijakan yang tidak pernah ditulis
  • Tanyakan tanggal yang jauh di masa depan
  • Ajukan pertanyaan dengan susunan kata yang berbeda dari jawaban tertulis Anda
  • Tanyakan sesuatu yang terdengar mirip dengan topik yang sudah dicakup
  • Pastikan setiap hal yang tidak diketahui berakhir dengan langkah berikutnya yang aman

Ulangi kumpulan uji ini setelah setiap perubahan, dan tambahkan setiap kegagalan nyata yang Anda temukan. Proses pengujian yang lebih luas dijelaskan di Cara Menguji Agen Voice AI.

Terus pantau setelah peluncuran

Mengendalikan halusinasi bukan tugas sekali jalan. Informasi berubah, pertanyaan baru muncul, dan prompt bergeser saat orang mengeditnya. Tetapkan rutinitas: baca sampel transkrip setiap minggu, cari frasa yang menandakan keraguan, dan perbarui sumbernya. Di Call, Anda bisa membuka percakapan lengkap panggilan mana pun, mencari frasa di semua transkrip yang tersimpan, dan melihat riwayat koreksi yang dilakukan pada ucapan agen. Ingat bahwa transkrip disimpan untuk waktu terbatas, jadi tinjau segera.

Menerapkannya di Call

Mulailah dengan menulis pertanyaan yang paling sering diajukan sebagai pasangan tanya jawab yang persis, tambahkan sumber faktual singkat untuk hal lainnya, dan pasang agen pada saluran hanya setelah diuji. Jika Anda ingin bantuan menyusun prompt yang mencegah tebakan, baca Desain Prompt untuk Agen AI Telepon. Guardrail yang melengkapi pekerjaan ini dibahas di Guardrail untuk Agen AI Suara.

Pertanyaan yang sering diajukan

Apa itu halusinasi AI suara?

Jawaban yang terdengar meyakinkan tetapi tidak didukung informasi Anda, misalnya harga atau kebijakan karangan. Ini terjadi saat model mengisi celah alih-alih mengakui bahwa ia tidak tahu.

Bisakah halusinasi dihilangkan sepenuhnya?

Tidak ada alat yang bisa menjanjikannya. Anda bisa sangat menguranginya dengan membatasi apa yang boleh dikatakan agen, menjaga sumber tetap mutakhir, dan memberinya jawaban cadangan yang aman, tetapi Anda tetap perlu terus menguji dan meninjau.

Mengapa agen menjawab pertanyaan yang tidak pernah saya ajarkan?

Model bahasa dibuat untuk menghasilkan teks yang masuk akal. Tanpa instruksi yang jelas untuk tetap di dalam sumber Anda dan mengatakan saat tidak bisa mengonfirmasi sesuatu, ia bisa berimprovisasi.

Apakah kata yang salah dengar sama dengan halusinasi?

Tidak persis. Kata yang salah dengar adalah kesalahan pengenalan, tetapi bisa berujung pada jawaban salah yang terlihat seperti halusinasi. Periksa transkrip untuk melihat mana yang terjadi.

Topik mana yang paling berisiko?

Harga, ketersediaan, nasihat medis atau hukum, pengembalian dana, serta janji atau komitmen apa pun. Berikan agen susunan kata yang persis atau jalur pengalihan untuk topik-topik ini.

Seberapa sering saya perlu meninjau transkrip?

Setiap hari atau setiap beberapa hari saat peluncuran, lalu setiap minggu. Tinjau lebih sering setelah Anda mengubah prompt atau sumber.

Dasarkan agen AI Anda pada jawaban yang sudah disetujui di Call

Di konsol demo, Anda bisa mencoba panggilan masuk dalam simulasi.

Panduan terkait