Teknologi AI suara

Voice Activity Detection: Mengetahui Kapan Penelepon Selesai

Cara voice activity detection membedakan ucapan dari hening dalam panggilan, mengapa waktunya bisa meleset, dan cara mengatur jeda hening agar agen tidak menyela.

Tim redaksi Call · Dipublikasikan · Baca 5 menit

Saat dua orang bercakap di telepon, mereka jarang memikirkan siapa yang bicara berikutnya. Agen suara harus menghitungnya. Langkah pertamanya adalah pertanyaan yang ternyata sederhana dan diajukan berkali-kali setiap detik: apakah ada yang sedang berbicara sekarang? Komponen yang menjawabnya disebut voice activity detection, atau VAD.

Seseorang berbicara melalui headset telepon di meja kerja
Gambar ilustrasi

Panduan ini menjelaskan apa yang dilakukan VAD, mengapa lebih sulit di saluran telepon daripada di ruangan yang tenang, apa arti pengaturannya, dan cara menyesuaikannya. Untuk gambaran besar cara kerja agen suara, baca Cara Kerja AI Suara dalam Panggilan Telepon.

Apa yang dilakukan voice activity detection

VAD memeriksa aliran audio dalam potongan-potongan yang sangat pendek dan memberi label ucapan atau bukan ucapan pada masing-masing. Versi sederhana hanya mengukur kerasnya suara. Versi yang lebih baik adalah model terlatih yang mengenali pola ucapan manusia dan mengabaikan bunyi keyboard, truk yang lewat, atau televisi di latar belakang.

Label itu menjadi dasar tiga keputusan dalam agen suara:

Karena semua tahap setelah VAD bergantung padanya, VAD yang buruk membuat agen yang bagus terlihat jelek. Jawaban yang datang saat penelepon masih berbicara jarang merupakan masalah bahasa; biasanya itu masalah waktu.

Mengapa panggilan telepon membuatnya lebih sulit

Saluran telepon adalah kanal yang sempit dan terkompresi, sering kali membawa suara penelepon yang sedang di jalan, di mobil, atau di toko. Kombinasi itu mengaburkan batas antara ucapan dan kebisingan. Mengapa Audio Telepon Sulit bagi Pengenalan Ucapan membahas audionya sendiri; berikut efek yang khusus memengaruhi VAD.

Yang membingungkan detektor

  • Kebisingan latarLalu lintas, angin, dan obrolan di kafe bisa dikira ucapan dan membuat giliran tetap terbuka.
  • Penelepon bersuara pelanSuara yang lembut bisa dianggap hening, sehingga agen berbicara di atas suara penelepon.
  • Jeda di tengah kalimatOrang berhenti untuk berpikir, mengeja nama, atau mencari nomor di tasnya.
  • Gema dan side toneSuara agen sendiri yang bocor kembali bisa terlihat seperti penelepon sedang berbicara.
  • Napas dan kata pengisiBunyi seperti hmm atau helaan napas bisa dihitung sebagai giliran bicara, bisa juga tidak.

Kompromi ambang hening

Pengaturan yang paling penting adalah berapa lama hening harus berlangsung sebelum sistem memutuskan penelepon sudah selesai. Sebut saja ambang hening. Ini sebuah kompromi tanpa nilai yang sempurna.

Ambang hening pendek versus panjang

Tunggu singkatTunggu lama
Kesan panggilanCepat dan hidupLebih lambat, lebih hati-hati
RisikoMenyela saat penelepon berpikir atau membacakan nomorKeheningan kosong setelah setiap jawaban; penelepon mengulang ucapannya
Cocok untukPercakapan ya atau tidak yang singkatNama, alamat, data akun, penelepon lansia atau yang ragu-ragu

Pikirkan isi panggilannya. Jika Anda kebanyakan mengajukan pertanyaan ya atau tidak, tunggu singkat sudah cukup. Jika penelepon harus menyebutkan alamat email atau nomor referensi, tunggu yang lebih lama mencegah agen menyela di jeda antardigit.

Memakai kecepatan berbeda untuk pertanyaan berbeda

Beberapa sistem memungkinkan Anda mengatur tingkat kesabaran per pertanyaan. Bersikap cepat saat menanyakan apakah penelepon ingin ditelepon balik; bersabar saat menanyakan kode pos. Jika platform Anda tidak mendukungnya, pilih pengaturan yang cocok untuk pertanyaan tersulit Anda, karena memotong penelepon lebih menjengkelkan daripada jeda singkat.

Mengatur VAD di Call

Di Call, setiap agen AI memiliki bagian Transcriber tempat Anda memilih bahasa yang didengarkannya, atau membiarkannya mendeteksi bahasa secara otomatis. Dua slider membentuk cara agen memutuskan bahwa penelepon sudah selesai. Ambang hening adalah jumlah detik keheningan sebelum giliran penelepon berakhir, bisa diatur antara 0 dan 1,5 detik; nilai lebih rendah berarti pergantian giliran lebih cepat, nilai lebih tinggi memberi ruang untuk jeda lebih panjang. Slider sensitivitas kebisingan membuat agen lebih atau kurang peka terhadap suara latar. Sebuah banner di halaman itu memberi tahu pengaturan mana yang saat ini dipakai pada panggilan langsung, jadi periksa dulu sebelum menghabiskan waktu untuk menyesuaikan.

Siklus penyesuaian sederhana

  1. Mulai dari nilai bawaanLakukan serangkaian panggilan uji sebagai acuan sebelum mengubah apa pun.
  2. Uji kasus-kasus sulitTelepon dari tempat bising, bicara pelan, berhenti di tengah nomor, bicara dengan suara lirih.
  3. Ubah satu pengaturanSesuaikan ambang hening atau sensitivitas kebisingan, jangan keduanya sekaligus.
  4. Uji ulang dan bandingkanGunakan skrip yang sama agar perbedaannya memang disebabkan oleh pengaturan.
  5. Tinjau panggilan nyataBaca transkrip untuk mencari penelepon yang terpotong atau jeda panjang, lalu sesuaikan lagi.

Bayangkan penelepon hipotetis yang menyebutkan kode booking. Ia menyebutkan empat karakter pertama, melirik email konfirmasinya, lalu melanjutkan setelah dua detik. Dengan tunggu singkat, agen sudah menjawab, penelepon mengulang dari awal, dan keduanya saling tumpang tindih. Dengan tunggu lebih lama, penelepon yang sama menyelesaikan kodenya sekali jalan. Sekarang bayangkan penelepon yang hanya perlu menjawab ya. Tunggu yang lebih lama membuatnya mengalami hening satu detik di setiap giliran. Pengaturan yang tepat bergantung pada jenis panggilan mana yang paling sering Anda terima.

Penelepon dari ponsel menambah satu tantangan lagi. Ponsel dengan peredam bising yang agresif kadang memotong suku kata pertama sebuah kalimat, sehingga awal ucapan terdeteksi terlambat. Jika penelepon sering terlihat mulai berbicara tetapi diabaikan, coba pengaturan kebisingan yang lebih peka lalu uji lagi dari ponsel.

Membaca gejalanya

Anda sering bisa mengetahui ke arah mana pengaturan keliru dengan mendengarkan panggilan.

Yang Anda dengarKemungkinan penyebabYang bisa dicoba
Agen berbicara di atas suara peneleponTunggu hening terlalu singkat, atau ucapan pelan tidak terdeteksiNaikkan ambang hening, tingkatkan sensitivitas kebisingan
Jeda panjang sebelum setiap jawabanTunggu hening terlalu lamaTurunkan ambang sedikit
Agen tidak menanggapi apa punKebisingan dianggap ucapan, sehingga giliran tidak pernah tertutupKurangi sensitivitas kebisingan
Agen mengabaikan penelepon yang bersuara lembutUcapan dianggap kebisinganTingkatkan sensitivitas kebisingan
Jawaban terasa lambat meski tunggu sudah singkatPenundaan di bagian lain alur kerjaLihat panduan latensi

Penundaan punya beberapa sumber selain VAD. Latensi Voice AI: Mengapa Jawaban Terasa Lambat memilah sumber-sumbernya, dan Menangani Barge-In dan Interupsi membahas apa yang terjadi saat penelepon berbicara ketika agen sedang berbicara.

Lebih dari hening: keputusan akhir giliran yang lebih cerdas

Hening saja adalah sinyal yang kasar. Pendekatan yang lebih baru juga mempertimbangkan apa yang diucapkan: kalimat yang berakhir dengan “dan”, atau nomor yang baru diucapkan separuh, kemungkinan berarti masih ada lanjutannya, sedangkan pertanyaan yang lengkap kemungkinan tidak. Metode ini dijelaskan lebih lanjut di Giliran Bicara pada Agen Suara. Apa pun tekniknya, anggap klaim vendor sebagai hipotesis dan verifikasi dengan panggilan Anda sendiri.

Sebelum peluncuran, pastikan bahwa

  • Agen tidak menyela saat penelepon membacakan nomor
  • Jeda satu atau dua detik tidak dianggap sebagai akhir giliran
  • Penelepon di jalan yang bising tetap bisa dipahami
  • Suara agen sendiri tidak memicu detektor
  • Anda sudah mendengarkan panggilan dari ponsel, bukan hanya telepon meja
  • Anda tahu di mana mengubah pengaturan jika panggilan nyata menunjukkan masalah

Langkah berikutnya di Call

Buka pengaturan suara agen, tinjau bagian transcriber, lalu jalankan panggilan uji coba yang menelepon ponsel Anda sendiri melalui saluran tersebut. Kemudian buka panggilan itu di riwayat panggilan, tempat manajer bisa melihat berapa lama setiap giliran bicara berlangsung, dan bandingkan dengan kesan panggilannya. Perubahan kecil pada ambang hening lebih mudah dinilai dengan mendengarkan berdampingan daripada mengandalkan ingatan.

Pertanyaan yang sering diajukan

Apa kepanjangan VAD?

Voice activity detection. Ini bagian dari sistem suara yang membedakan ucapan dari hening dan kebisingan latar.

Apakah VAD sama dengan pengenalan ucapan?

Tidak. VAD hanya memutuskan apakah seseorang sedang berbicara. Pengenalan ucapan mengubah ucapan menjadi teks. Keduanya bekerja bersama, dan VAD juga menentukan kapan berhenti mendengarkan dan mulai menjawab.

Mengapa agen kadang menyela saya?

Tunggu hening kemungkinan terlalu singkat untuk cara Anda berbicara, atau sebuah jeda dianggap sebagai akhir giliran Anda. Menaikkan ambang hening biasanya membantu.

Mengapa ada jeda panjang sebelum agen menjawab?

Tunggu hening mungkin terlalu lama, atau penundaannya ada di tempat lain, misalnya saat membuat jawaban. Periksa pengaturannya dulu, lalu lihat waktu respons di riwayat panggilan.

Apakah kebisingan latar memengaruhi hasilnya?

Ya. Kebisingan bisa dikira ucapan dan membuat giliran tetap terbuka, dan ucapan pelan bisa dikira kebisingan. Pengaturan sensitivitas kebisingan dan panggilan uji dari tempat yang realistis membantu Anda menemukan keseimbangan.

Bisakah satu pengaturan cocok untuk semua penelepon?

Jarang. Pilih nilai yang cocok untuk pertanyaan Anda yang paling menuntut dan tinjau panggilan nyata, karena penelepon yang sabar dan yang cepat berperilaku berbeda.

Atur cara agen AI Anda menentukan penelepon sudah selesai di Call

Di konsol demo, Anda bisa mencoba panggilan masuk dalam simulasi.

Panduan terkait