Teknologi AI suara

Cara AI Suara Berfungsi: Pengecaman Pertuturan, LLM dan TTS

Tinjauan mudah saluran paip ejen telefon AI suara: pertuturan-ke-teks, model bahasa, teks-ke-pertuturan, giliran bercakap, kelewatan dan serah tugas selamat.

Pasukan editorial Call · Diterbitkan · Bacaan 5 min

Panggilan telefon dengan ejen AI boleh terasa seperti sihir atau teka-teki, bergantung pada sama ada ia berfungsi. Di belakangnya ada idea yang agak mudah: tukar suara pemanggil kepada teks, biarkan model bahasa memutuskan apa yang dikatakan, dan tukar balasan kembali menjadi pertuturan, semuanya cukup pantas untuk terasa seperti perbualan. Panduan ini menerangkan setiap peringkat, di mana ia boleh tersilap dan apa maksudnya untuk cara anda menyediakan ejen. Untuk gambaran lebih luas, mulakan dengan Apakah penyambut telefon AI?.

Telefon di sebelah rajah gelombang bunyi yang bertukar menjadi teks dan kembali menjadi pertuturan
Imej ilustrasi

Gelung asas panggilan AI suara

  1. DengarAudio daripada pemanggil ditangkap dan dibersihkan.
  2. TranskripsiPertuturan-ke-teks menukar audio kepada perkataan.
  3. PutuskanModel bahasa memilih apa yang perlu dikatakan atau dilakukan seterusnya.
  4. BercakapTeks-ke-pertuturan menukar balasan kepada audio.
  5. UlangGelung berjalan untuk setiap giliran sehingga panggilan tamat atau diserahkan.

Peringkat satu: pertuturan-ke-teks

Pengecaman pertuturan menukar bunyi kepada perkataan. Pada talian telefon audio berjalur sempit dan dimampatkan, menjadikannya lebih sukar daripada rakaman studio. Loghat, bunyi latar, bercakap serentak dan nama yang luar biasa semuanya mempengaruhi ketepatan. Sistem moden boleh berprestasi baik pada pertuturan harian, tetapi nombor, ejaan, nama dan perkataan bidang seperti ubat atau nama jalan ialah titik lemah yang biasa.

Lebih banyak butiran ada dalam pengecaman pertuturan untuk panggilan telefon, mengendalikan nombor dan nama dan loghat dan dialek.

Peringkat dua: model bahasa

Model bahasa besar membaca transkrip setakat ini, bersama arahan yang anda tulis dan sebarang maklumat yang anda bekalkan, kemudian menghasilkan balasan seterusnya. Ia tidak mencari sendiri; ia bergantung pada apa yang diberikan kepadanya. Itulah sebabnya gesaan dan pangkalan pengetahuan sangat penting. Model boleh kedengaran fasih sambil salah, itulah sebabnya pagar pengadang dan ujian adalah penting.

Apa yang membentuk balasan model

  • ArahanPeranan, nada, peraturan dan had yang anda berikan.
  • PengetahuanDokumen, Soal Jawab dan fakta yang boleh dirujuknya.
  • Perbualan setakat iniApa yang telah dikatakan dalam panggilan ini.
  • AlatTindakan yang boleh diambilnya, seperti mencari pesanan atau mencatat mesej.

Panduan seperti menggesa ejen telefon, RAG untuk ejen suara, halusinasi dan pagar pengadang membincangkannya lebih mendalam. Gesaan yang menyatakan apa yang perlu dilakukan apabila tidak pasti, contohnya menawarkan seseorang atau mengambil mesej, mencegah banyak masalah.

Peringkat tiga: teks-ke-pertuturan

Teks-ke-pertuturan menukar balasan kepada audio. Suara berbeza dari segi kejelasan, kemesraan dan cara mengendalikan jeda, nombor serta nama dalam bahasa anda. Sesetengahnya boleh dilaras atau diselaraskan dengan kamus sebutan. Pilih suara untuk kejelasan pada talian telefon dan bukan untuk kelainan, dan uji dengan frasa sebenar yang akan disebutnya. Lihat teks-ke-pertuturan dalam bahasa Jepun untuk contoh isu khusus bahasa, dan pengklonan suara untuk persetujuan dan risiko apabila menggunakan suara khas.

Mengapa masa menentukan pengalaman

Perbualan manusia mempunyai giliran yang pantas. Jeda lebih daripada sesaat atau lebih terasa pelik. Dalam saluran paip tiga peringkat setiap langkah menambah kelewatan, dan model mungkin mengambil masa untuk berfikir. Pereka mengurangkan kelewatan dengan penstriman: mula bercakap sebelum seluruh balasan siap, dan mula mentranskripsi sebelum pemanggil berhenti. Mereka juga melaras bila memutuskan bahawa pemanggil telah selesai.

Saluran paip berbanding pertuturan-ke-pertuturan

Saluran paip tiga peringkatModel pertuturan-ke-pertuturan
Cara ia berfungsiPengecaman, model dan suara berasinganSatu model mengendalikan audio masuk dan keluar
KawalanSetiap peringkat boleh dilaras atau ditukarKurang kelihatan, lebih bersepadu
KelewatanBertambah merentas peringkatBoleh lebih rendah
TranskripTeks tersedia pada setiap langkahMungkin memerlukan kerja tambahan untuk menghasilkan teks
KematanganDigunakan secara meluasLebih baharu, berubah dengan cepat

Model pertuturan-ke-pertuturan ialah pendekatan yang lebih baharu. Dalam kedua-dua keadaan, kependaman, gangguan dan giliran bercakap menentukan sama ada ejen terasa semula jadi.

Gangguan

Orang mencelah. Ejen yang baik berhenti bercakap apabila pemanggil mula, dan tidak menganggap batuk atau suara latar sebagai gangguan. Ini bergantung pada pengesanan pertuturan, yang dibincangkan dalam pengesanan aktiviti suara. Sistem yang dilaras dengan buruk sama ada bercakap serentak dengan pemanggil atau menunggu terlalu lama.

Alat, pengetahuan dan tindakan

Ejen suara menjadi berguna apabila ia boleh melakukan lebih daripada berbual. Dengan alat yang disambungkan ia boleh mencari maklumat, merekod mesej, mencatat permintaan panggilan balik atau menyerahkan panggilan kepada seseorang. Setiap alat harus mempunyai tujuan sempit dan peraturan jelas. Ejen boleh menerima permintaan temu janji; mengesahkannya perkara lain, dan banyak perniagaan lebih suka orang mengesahkan. Panggilan fungsi menerangkan cara alat diterangkan kepada model.

Apa yang berlaku kepada audio dan teks

Setiap peringkat mengendalikan data peribadi. Audio memuatkan suara; transkrip memuatkan apa yang dikatakan, selalunya termasuk nama, alamat dan sebab menelefon. Sebelum anda melaksanakan, ketahui di mana setiap peringkat berjalan, apa yang disimpan, untuk berapa lama dan siapa boleh membacanya. Putuskan sama ada butiran sensitif, seperti maklumat pembayaran atau kesihatan, patut dikumpulkan oleh ejen sama sekali atau diserahkan kepada seseorang. Mereka bentuk AI suara dengan mengambil kira privasi merangkumi ini dengan lebih mendalam.

Pastikan tugas ejen sempit. Ejen yang menjawab soalan biasa, mengambil mesej dan menyerahkan lebih mudah diuji, lebih mudah diterangkan kepada pemanggil dan lebih mudah dikekalkan dalam janji privasi anda berbanding yang cuba melakukan segalanya.

Apa yang dijangka dalam praktik

Jangkakan hasil baik pada panggilan mudah dan boleh diramal: waktu operasi, arah jalan, soalan asas, mengambil mesej. Jangkakan lebih kesukaran dengan panggilan panjang, emosional atau kabur, loghat yang kuat, talian buruk dan permintaan yang memerlukan pertimbangan. Pelancaran yang munasabah bermula dengan set kecil jenis panggilan, mendengar setiap panggilan pada mulanya, kemudian meluas apabila keyakinan bertambah. Frasa yang perlu diingat ialah ejen direka untuk membantu dengan tugas yang ditakrifkan, bukan menggantikan pertimbangan.

Di mana ia boleh tersilap

Reka bentuk untuk perkara ini. Permudahkan menghubungi seseorang, pastikan jawapan pendek, sahkan butiran penting seperti nombor dan tarikh, dan semak panggilan sebenar dengan kerap. Menguji ejen suara dan metrik penilaian menerangkan caranya.

Melakukannya dalam Call

Dalam Call, ejen AI dibina daripada persona dan gesaan, suara, bahasa dan sumber pengetahuan, kemudian diuji di skrin dan melalui telefon sebelum dihidupkan untuk satu talian. Call membolehkan anda memilih antara suara, melaras sebutan dengan kamus, melaraskan cara pertuturan dikecam dan memastikan sumber terkini. Ejen direka untuk menyambungkan pemanggil kepada seseorang apabila diminta, dan ia boleh mengambil mesej. Sehingga anda menghidupkan ejen untuk satu talian, panggilan berdering kepada pasukan anda. Sentiasa uji dengan panggilan anda sendiri dahulu. Menyediakan Ejen AI dalam Call menerangkan langkah-langkahnya.

Soalan lazim

Apakah tiga bahagian ejen AI suara?

Pertuturan-ke-teks untuk mendengar pemanggil, model bahasa untuk memutuskan apa yang dikatakan dan teks-ke-pertuturan untuk menyebut balasan. Sesetengah sistem baharu menggabungkannya.

Mengapa AI kadangkala berhenti sebelum menjawab?

Setiap peringkat mengambil masa, dan sistem mesti memutuskan pemanggil telah selesai bercakap. Penstriman dan penalaan boleh memendekkan jurang tetapi tidak menghilangkannya.

Bolehkah AI mereka-reka cerita?

Boleh. Model bahasa boleh menghasilkan jawapan yang munasabah tetapi salah. Beri pengetahuan yang baik, had jelas dan arahan untuk menawarkan seseorang apabila tidak pasti.

Bolehkah ejen suara menempah temu janji?

Ia boleh mengambil permintaan dan menyampaikannya. Banyak perniagaan lebih suka orang mengesahkan, jadi tentukan apa yang dibenarkan dijanjikan oleh ejen.

Perlukah pemanggil diberitahu ia AI?

Di banyak tempat orang menjangka atau berhak tahu. Nyatakan dengan jelas pada permulaan panggilan dan semak peraturan yang terpakai kepada anda.

Bagaimana saya menyemak ia berfungsi?

Uji dengan panggilan sebenar dalam loghat dan tahap bunyi berbeza, dengar hasilnya dan simpan senarai soalan yang anda jalankan semula selepas setiap perubahan.

Cuba ejen suara AI pada talian anda sendiri dalam Call

Dalam konsol demo, anda boleh mencuba panggilan masuk secara simulasi.

Panduan berkaitan