Teknologi AI suara

Cara Kerja AI Suara: Pengenalan Ucapan, LLM, dan Text-to-Speech

Tur bahasa sederhana tentang alur di balik agen telepon AI suara: speech-to-text, model bahasa, text-to-speech, plus giliran bicara, jeda, dan pengalihan aman.

Tim redaksi Call · Dipublikasikan · Baca 5 menit

Telepon dengan agen AI bisa terasa seperti sulap atau seperti teka-teki, tergantung apakah ia berfungsi. Di baliknya ada gagasan yang cukup sederhana: ubah suara penelepon menjadi teks, biarkan model bahasa memutuskan apa yang dikatakan, dan ubah jawabannya kembali menjadi ucapan, semuanya cukup cepat agar terasa seperti percakapan. Panduan ini menjelaskan setiap tahap, di mana masalah muncul, dan apa artinya bagi cara Anda menyiapkan agen. Untuk gambaran yang lebih luas, mulailah dengan Apa itu resepsionis telepon AI?.

Sebuah telepon di samping diagram gelombang suara yang berubah menjadi teks lalu kembali menjadi ucapan
Gambar ilustrasi

Putaran dasar sebuah panggilan AI suara

  1. MendengarAudio dari penelepon ditangkap dan dibersihkan.
  2. MentranskripsikanSpeech-to-text mengubah audio menjadi kata-kata.
  3. MemutuskanModel bahasa memilih apa yang dikatakan atau dilakukan selanjutnya.
  4. BerbicaraText-to-speech mengubah jawaban menjadi audio.
  5. MengulangPutaran berjalan untuk setiap giliran sampai panggilan berakhir atau dialihkan.

Tahap satu: speech-to-text

Pengenalan ucapan mengubah bunyi menjadi kata. Pada saluran telepon, audionya berpita sempit dan terkompresi, sehingga lebih sulit daripada rekaman studio. Aksen, bising latar, ucapan yang saling menimpa, dan nama yang tidak lazim semuanya memengaruhi akurasi. Sistem modern dapat bekerja baik pada ucapan sehari-hari, tetapi angka, ejaan, nama, dan kata khusus bidang seperti obat atau nama jalan adalah titik lemah yang umum.

Rincian lebih lanjut ada di pengenalan ucapan untuk panggilan telepon, menangani angka dan nama dan aksen dan dialek.

Tahap dua: model bahasa

Model bahasa besar membaca transkrip sejauh ini, bersama instruksi yang Anda tulis dan informasi apa pun yang Anda berikan, lalu menghasilkan jawaban berikutnya. Ia tidak mencari sesuatu sendiri; ia bergantung pada apa yang diberikan kepadanya. Itulah sebabnya prompt dan basis pengetahuan begitu penting. Model dapat terdengar fasih padahal salah, itulah sebabnya pagar pengaman dan pengujian sangat penting.

Apa yang membentuk jawaban model

  • InstruksiPeran, nada, aturan, dan batas yang Anda berikan.
  • PengetahuanDokumen, tanya jawab, dan fakta yang boleh dipakainya.
  • Percakapan sejauh iniApa yang sudah diucapkan dalam panggilan ini.
  • AlatTindakan yang boleh diambilnya, seperti mencari pesanan atau mencatat pesan.

Panduan seperti menyusun prompt agen telepon, RAG untuk agen suara, halusinasi dan pagar pengaman membahas lebih dalam. Prompt yang menyatakan apa yang dilakukan saat ragu, misalnya menawarkan orang atau mencatat pesan, mencegah banyak masalah.

Tahap tiga: text-to-speech

Text-to-speech mengubah jawaban menjadi audio. Suara berbeda dalam kejernihan, kehangatan, dan cara menangani jeda, angka, dan nama dalam bahasa Anda. Sebagian dapat disetel atau disesuaikan dengan kamus pengucapan. Pilih suara karena kejernihannya di saluran telepon, bukan karena kebaruannya, dan uji dengan frasa yang akan benar-benar diucapkannya. Lihat text-to-speech dalam bahasa Jepang sebagai contoh masalah khusus bahasa, dan kloning suara untuk persetujuan dan risiko saat memakai suara kustom.

Mengapa waktu menentukan pengalaman

Percakapan manusia memiliki pergantian yang cepat. Jeda lebih dari sekitar satu detik terasa aneh. Dalam alur tiga tahap, setiap langkah menambah jeda, dan model mungkin butuh waktu untuk berpikir. Perancang mengurangi jeda dengan streaming: mulai berbicara sebelum seluruh jawaban siap, dan mulai mentranskripsikan sebelum penelepon berhenti. Mereka juga menyetel kapan memutuskan bahwa penelepon sudah selesai.

Alur tiga tahap dibanding speech-to-speech

Alur tiga tahapModel speech-to-speech
Cara kerjanyaPengenalan, model, dan suara yang terpisahSatu model menangani audio masuk dan keluar
KendaliSetiap tahap dapat disetel atau digantiKurang terlihat, lebih terpadu
JedaMenumpuk di setiap tahapBisa lebih rendah
TranskripTeks tersedia di setiap langkahMungkin perlu kerja tambahan untuk menghasilkan teks
KematanganBanyak dipakaiLebih baru, berubah cepat

Model speech-to-speech adalah pendekatan yang lebih baru. Bagaimanapun, latensi, interupsi dan pergantian giliran bicara menentukan apakah agen terasa natural.

Interupsi

Orang menyela. Agen yang baik berhenti berbicara saat penelepon mulai, dan tidak menganggap batuk atau suara latar sebagai interupsi. Ini bergantung pada pendeteksian ucapan, yang dibahas dalam deteksi aktivitas suara. Sistem yang kurang disetel entah berbicara menimpa penelepon atau menunggu terlalu lama.

Alat, pengetahuan, dan tindakan

Agen suara menjadi berguna ketika dapat melakukan lebih dari mengobrol. Dengan alat yang terhubung, ia dapat mencari informasi, merekam pesan, mencatat permintaan panggilan balik, atau meneruskan panggilan ke orang. Setiap alat sebaiknya memiliki tujuan sempit dan aturan yang jelas. Agen dapat menerima permintaan janji temu; mengonfirmasinya adalah hal lain, dan banyak usaha lebih suka orang yang mengonfirmasi. Pemanggilan fungsi menjelaskan bagaimana alat dijelaskan kepada model.

Apa yang terjadi pada audio dan teks

Setiap tahap menangani data pribadi. Audio memuat suara; transkrip memuat apa yang diucapkan, sering termasuk nama, alamat, dan alasan menelepon. Sebelum menerapkan, cari tahu di mana setiap tahap berjalan, apa yang disimpan, berapa lama, dan siapa yang dapat membacanya. Putuskan apakah rincian sensitif, seperti informasi pembayaran atau kesehatan, perlu dikumpulkan agen sama sekali atau diteruskan ke orang. Merancang AI suara dengan memperhatikan privasi membahas ini lebih dalam.

Jaga agar tugas agen tetap sempit. Agen yang menjawab pertanyaan umum, mencatat pesan, dan mengalihkan lebih mudah diuji, lebih mudah dijelaskan kepada penelepon, dan lebih mudah dijaga dalam janji privasi Anda daripada yang mencoba melakukan segalanya.

Apa yang diharapkan dalam praktik

Harapkan hasil yang baik pada panggilan sederhana dan terduga: jam buka, petunjuk arah, pertanyaan dasar, mencatat pesan. Harapkan lebih banyak kesulitan pada panggilan panjang, emosional, atau ambigu, aksen yang kental, saluran yang buruk, dan permintaan yang memerlukan pertimbangan. Penerapan yang bijak dimulai dengan sedikit jenis panggilan, mendengarkan setiap panggilan pada awalnya, lalu memperluas seiring keyakinan tumbuh. Yang perlu diingat adalah bahwa agen dirancang untuk membantu tugas yang ditentukan, bukan menggantikan pertimbangan.

Di mana masalah muncul

Rancang untuk hal-hal ini. Permudah menjangkau orang, jaga jawaban tetap singkat, konfirmasi rincian penting seperti angka dan tanggal, dan tinjau panggilan nyata secara berkala. Menguji agen suara dan metrik evaluasi menjelaskan caranya.

Menerapkannya di Call

Di Call, agen AI dibangun dari persona dan prompt, suara, bahasa, dan sumber pengetahuan, lalu diuji di layar dan lewat telepon sebelum diaktifkan untuk suatu saluran. Call memungkinkan Anda memilih di antara suara, menyetel pengucapan dengan kamus, menyesuaikan cara ucapan dikenali, dan menjaga sumber tetap mutakhir. Agen dirancang untuk menyambungkan penelepon ke orang bila diminta, dan dapat mencatat pesan. Sampai Anda mengaktifkan agen untuk suatu saluran, panggilan berdering ke tim Anda. Selalu uji dengan panggilan Anda sendiri lebih dulu. Mengatur Agen AI di Call menelusuri langkah-langkahnya.

Pertanyaan yang sering diajukan

Apa tiga bagian agen AI suara?

Speech-to-text untuk mendengar penelepon, model bahasa untuk memutuskan apa yang dikatakan, dan text-to-speech untuk mengucapkan jawaban. Sebagian sistem yang lebih baru menggabungkannya.

Mengapa AI kadang berhenti sejenak sebelum menjawab?

Setiap tahap memakan waktu, dan sistem harus memutuskan bahwa penelepon sudah selesai berbicara. Streaming dan penyetelan dapat memperpendek jeda tetapi tidak menghilangkannya.

Bisakah AI mengarang?

Bisa. Model bahasa dapat menghasilkan jawaban yang masuk akal tetapi salah. Beri pengetahuan yang baik, batas yang jelas, dan instruksi untuk menawarkan orang saat ragu.

Bisakah agen suara memesan janji temu?

Ia dapat menerima permintaan dan meneruskannya. Banyak usaha lebih suka orang yang mengonfirmasi, jadi tentukan apa yang boleh dijanjikan agen.

Apakah penelepon perlu diberi tahu bahwa ini AI?

Di banyak tempat orang mengharapkan atau berhak mengetahuinya. Sampaikan dengan jelas di awal panggilan dan periksa aturan yang berlaku bagi Anda.

Bagaimana saya memeriksa bahwa ia berfungsi?

Uji dengan panggilan nyata dalam berbagai aksen dan tingkat bising, dengarkan hasilnya, dan simpan daftar pertanyaan yang Anda jalankan ulang setiap kali ada perubahan.

Coba agen suara AI di saluran Anda sendiri di Call

Di konsol demo, Anda bisa mencoba panggilan masuk dalam simulasi.

Panduan terkait