Model Speech-to-Speech vs Pipeline Suara Bertingkat
Dua cara membangun agen suara telepon: model speech-to-speech dan pipeline bertingkat. Keunggulan dan kelemahan masing-masing, serta cara memilih lewat pengujian.
Saat Anda mendengar agen suara berbicara, biasanya ada salah satu dari dua desain di baliknya. Pada desain pertama, perangkat lunak mengubah ucapan penelepon menjadi teks, model bahasa menulis balasan berupa teks, dan mesin suara membacakannya. Pada desain kedua, satu model mendengarkan audio dan menjawab dalam bentuk audio. Para vendor memperdebatkan mana yang lebih baik. Jawaban jujurnya: masing-masing mengorbankan sesuatu.

Panduan ini membandingkan keduanya dengan bahasa sederhana agar Anda bisa mengajukan pertanyaan yang lebih baik saat memilih platform. Untuk pengantar yang lebih luas, mulailah dengan Cara Kerja AI Suara dalam Panggilan Telepon.
Pipeline bertingkat
Pipeline bertingkat, kadang disebut speech-to-text, lalu model, lalu text-to-speech, telah menjadi pendekatan standar selama bertahun-tahun. Setiap tahap adalah komponen terpisah, dan teks berpindah di antaranya.
Pipeline bertingkat
- Pengenalan ucapanMengubah audio penelepon menjadi teks.
- Model bahasaMembaca teks, beserta instruksi dan sumber, lalu menulis balasan.
- Sintesis ucapanMengubah teks balasan menjadi audio lisan.
- TeleponMembawa audio dari dan ke penelepon.
Karena bagian tengah sistem berupa teks biasa, Anda bisa membacanya, mencarinya, menyimpannya, memeriksanya terhadap aturan, dan mengganti tahap mana pun. Anda bisa memasang pengenal ucapan yang lebih baik untuk aksen penelepon Anda atau suara yang sesuai dengan brand Anda.
Pendekatan speech-to-speech
Model speech-to-speech, yang juga disebut model end-to-end atau model audio native, menangani audio secara langsung. Ia mendengarkan suara itu sendiri dan menghasilkan suara sebagai keluaran, meskipun banyak sistem seperti ini juga menghasilkan teks untuk pencatatan.
Speech-to-speech
- Audio masukSuara penelepon langsung masuk ke model.
- Satu modelModel menafsirkan makna, nada, dan waktu, lalu merencanakan balasan.
- Audio keluarModel menghasilkan jawaban lisan secara langsung.
- TeleponAudio berpindah dari dan ke penelepon.
Daya tariknya, tidak ada yang hilang di antara tahap. Jeda, tawa, keraguan, atau helaan napas bisa memengaruhi balasan, dan model bisa mulai berbicara lebih cepat karena tidak menunggu tiga langkah terpisah.
Berdampingan
Bertingkat versus speech-to-speech
| Bertingkat | Speech-to-speech | |
|---|---|---|
| Kealamian | Bergantung pada setiap tahap; bisa terasa patah-patah | Sering lebih mulus, dengan waktu dan nada yang terjaga |
| Waktu respons | Jumlah dari tiga tahap, yang bisa diatur | Berpotensi lebih singkat, karena serah terima lebih sedikit |
| Kendali | Tinggi: aturan bisa diterapkan pada teks di setiap langkah | Lebih rendah: lebih sulit memeriksa apa yang terjadi di dalamnya |
| Transkrip dan log | Hasil sampingan yang alami | Biasanya dibuat terpisah dan bisa berbeda dari apa yang diucapkan |
| Mengganti komponen | Mudah: ganti pengenal ucapan atau suara saja | Terbatas pada yang ditawarkan model |
| Pilihan suara | Pilihan suara yang luas | Sering kali pilihannya lebih sedikit |
| Kematangan | Rekam jejak panjang | Lebih baru, berubah dengan cepat |
Waspadai klaim keunggulan mutlak. Kualitas berbeda antarproduk dalam setiap kategori, dan hasil pada demo yang bersih belum tentu bertahan pada panggilan ponsel yang bising.
Yang penting untuk panggilan telepon
Audio telepon sempit dan bising
Audio telepon terkompresi dan sering bising. Desain apa pun yang Anda pilih, periksa kinerjanya pada audio telepon sungguhan, bukan hanya pada rekaman studio. Mengapa Audio Telepon Sulit bagi Pengenalan Ucapan menjelaskan dampaknya.
Kendali dan kemampuan audit
Jika Anda harus bisa menunjukkan apa yang dikatakan agen dan alasannya, teks di setiap tahap sangat membantu. Desain bertingkat memungkinkan Anda menerapkan pemeriksaan di antara balasan model dan suaranya. Dengan model end-to-end, Anda lebih bergantung pada kontrol dari vendor dan pada pengujian. Tinjau Guardrail untuk Agen AI Suara dan tentukan apa yang perlu Anda tegakkan.
Interupsi dan waktu
Model audio native sering menangani tumpang tindih dan interupsi dengan lebih luwes karena terus mendengar penelepon. Sistem bertingkat mengandalkan deteksi ucapan dan hening untuk memutuskan kapan berhenti dan mulai; lihat Voice Activity Detection dan Giliran Bicara pada Agen Suara. Rekayasa yang lebih baik bisa mempersempit selisihnya, dan selisih itu mungkin terus berubah.
Bahasa dan aksen
Periksa bahasa dan aksen yang penting bagi Anda dengan pengujian, bukan dengan menerima daftar di brosur. Model yang kuat dalam satu bahasa bisa lebih lemah dalam bahasa lain, dan hal yang sama berlaku untuk tiap tahap dalam pipeline.
Memilih sesuai situasi Anda
Beberapa skenario hipotetis menunjukkan bagaimana prioritas bisa menarik ke arah yang berbeda.
- Klinik kecil yang membutuhkan setiap panggilan tercatat dengan transkrip yang andal dan susunan kata yang persis untuk beberapa topik mungkin lebih memilih desain bertingkat karena kendalinya.
- Saluran concierge yang tujuan utamanya adalah percakapan hangat dan mengalir mungkin menghargai kealamian model speech-to-speech, jika pengujian menunjukkan informasinya tetap akurat.
- Bisnis yang sering ingin mengganti suara atau bahasa mungkin lebih memilih fleksibilitas komponen terpisah.
- Tim dengan kebutuhan tinjauan internal yang ketat mungkin perlu memastikan cara sistem end-to-end mencatat dan menampilkan apa yang diucapkan.
Pertanyaan untuk vendor
- Tahap apa saja yang dipakai sistem, dan bisakah saya mengubahnya?
- Apakah saya mendapat transkrip setiap panggilan, dan apakah itu yang didengar model?
- Bagaimana aturan dan batasan ditegakkan?
- Bagaimana perilakunya di saluran ponsel dan yang bising?
- Berapa waktu respons yang umum pada panggilan telepon sungguhan?
- Bagaimana interupsi ditangani?
- Apa yang terjadi pada audio dan teks setelahnya?
Ketika batasnya kabur
Kedua kategori ini tidak setegas yang digambarkan pemasaran. Banyak produk speech-to-speech tetap menghasilkan transkrip di samping audio, dan banyak produk bertingkat mengalirkan hasil sementara di antara tahap sehingga ucapan dimulai sebelum model selesai menulis. Sebagian sistem memakai model audio native untuk percakapan dan tahap teks untuk pencarian data atau pemeriksaan aturan. Saat vendor mengatakan produknya end-to-end, tanyakan apa persisnya yang end-to-end, dan di mana teks masih muncul.
Ini penting karena pertanyaan praktisnya tidak berubah. Di mana Anda bisa membaca apa yang diucapkan? Di mana aturan bisa ditegakkan? Bagaimana jawaban yang salah tertangkap? Sistem hibrida yang memberi Anda transkrip andal dan suara alami bisa menjadi jalan tengah yang masuk akal, asalkan Anda bisa memverifikasi kedua bagiannya.
Menguji secara adil
Perbandingan mudah menjadi berat sebelah tanpa disengaja. Gunakan skrip yang sama, jenis saluran telepon yang sama, dan kebisingan latar yang sama untuk setiap kandidat. Uji dari ponsel di mobil atau di jalan, bukan hanya dari ruangan yang tenang. Sertakan momen canggung yang biasa terjadi pada penelepon sungguhan: koreksi di tengah kalimat, nama yang dieja, pertanyaan di luar cakupan, dan permintaan berbicara dengan petugas.
Nilai setiap panggilan berdasarkan beberapa poin sederhana: apakah jawabannya benar, apakah agen menunggu penelepon, berapa lama jeda sebelum setiap balasan, dan bagaimana panggilan berakhir. Sejumlah panggilan yang dinilai secara konsisten memberi tahu Anda lebih banyak daripada demo yang dipoles.
Pendekatan Call
Pelajaran praktisnya: arsitektur kurang penting dibandingkan perilaku pada panggilan Anda. Di Call, agen AI mulai berbicara begitu bagian pertama jawabannya siap, menyiapkan sapaan lebih awal pada panggilan keluar, dan menjaga balasan tetap singkat. Anda mengatur suara dan opsi transcriber, menguji dengan menelepon ponsel Anda sendiri, lalu membaca percakapannya di riwayat panggilan. Apa pun teknologi di baliknya, ukur dengan standar yang sama: apakah ia menjawab dengan akurat, mengalihkan dengan sopan, dan terdengar dapat diterima oleh penelepon Anda? Ukuran-ukuran dalam Cara Mengevaluasi Percakapan Agen Suara berlaku untuk keduanya.
Pertanyaan yang sering diajukan
Apa itu model speech-to-speech?
Model yang menerima audio ucapan sebagai masukan dan menghasilkan audio ucapan sebagai keluaran, tanpa tahap teks terpisah di antara pengenalan dan ucapan.
Apa itu pipeline suara bertingkat?
Rangkaian pengenalan ucapan, model bahasa, dan sintesis ucapan, dengan teks yang diteruskan di antara tahap-tahapnya.
Mana yang lebih alami?
Sistem speech-to-speech sering digambarkan lebih mulus, tetapi kualitasnya berbeda antarproduk. Nilailah dengan mendengarkan panggilan yang mirip dengan panggilan Anda.
Mana yang lebih mudah diaudit?
Pipeline bertingkat menghasilkan teks di setiap langkah, sehingga log, pemeriksaan, dan aturan lebih sederhana. Dengan model end-to-end, cari tahu apa yang dicatat vendor dan seberapa andal catatan itu.
Bisakah saya menggabungkan kedua pendekatan?
Beberapa platform menggabungkannya, misalnya memakai desain bertingkat untuk panggilan tertentu. Tanyakan cara sistem menangani transkrip dan aturan di mode mana pun yang dipakainya.
Apakah pilihan ini memengaruhi biaya?
Bisa, tetapi harga dan model berubah, jadi minta syarat terbaru dari vendor dan bandingkan dengan hasil yang terukur, bukan dengan klaim utama.