Sesli Yapay Zeka Nasıl Çalışır: Konuşma Tanıma, LLM ve Konuşma Sentezi
Sesli yapay zeka telefon ajanlarının ardındaki hatta sade bir tur: konuşmadan metne, dil modeli, metinden konuşmaya; ayrıca söz sırası, gecikme ve devirler.
Bir yapay zeka ajanıyla telefon görüşmesi, işleyip işlemediğine bağlı olarak sihir gibi ya da bir bulmaca gibi hissettirebilir. Arkasında oldukça basit bir fikir vardır: arayanın sesini metne çevir, bir dil modelinin ne söyleyeceğine karar vermesine izin ver ve yanıtı tekrar konuşmaya çevir; hepsi bir sohbet gibi hissettirecek kadar hızlı. Bu rehber her aşamayı, işlerin nerede ters gittiğini ve bunun bir ajanı nasıl kuracağınız açısından ne anlama geldiğini açıklar. Daha geniş resim için şuradan başlayın: Yapay zeka telefon karşılama nedir?.

Sesli bir yapay zeka aramasının temel döngüsü
- DinleArayandan gelen ses yakalanır ve temizlenir.
- Yazıya dökKonuşmadan metne, sesi sözcüklere çevirir.
- Karar verBir dil modeli bundan sonra ne söyleyeceğini veya yapacağını seçer.
- KonuşMetinden konuşmaya, yanıtı sese çevirir.
- TekrarlaDöngü, arama bitene veya devredilene kadar her tur için çalışır.
Birinci aşama: konuşmadan metne
Konuşma tanıma sesi sözcüklere çevirir. Bir telefon hattında ses dar bantlı ve sıkıştırılmıştır; bu da onu stüdyo kaydından daha zorlaştırır. Aksanlar, arka plan gürültüsü, üst üste konuşma ve alışılmadık adlar doğruluğu etkiler. Modern sistemler gündelik konuşmada iyi olabilir, ancak sayılar, harf harf söylenenler, adlar ve ilaç ya da sokak adları gibi alan sözcükleri yaygın zayıf noktalardır.
- Akış hâlindeki tanıma, arayan hâlâ konuşurken sözcükler üretir; bu da zaman kazandırır.
- Tanıyıcılar daha iyi sonuç için çoğu zaman ürün veya yer adlarının bir listesi gibi ipuçlarına ihtiyaç duyar.
- Güven, kesinlik değildir; bir sistem kendinden emin biçimde yanlış olabilir.
- Bir turun sonunu dinlemek, sözcükleri tanımaktan ayrı bir iştir.
Daha fazla ayrıntı şurada: telefon aramaları için konuşma tanıma, sayıları ve adları ele alma ve aksanlar ve lehçeler.
İkinci aşama: dil modeli
Büyük bir dil modeli, şimdiye kadarki dökümü, yazdığınız talimatlarla ve sağladığınız her bilgiyle birlikte okur, sonra bir sonraki yanıtı üretir. Kendi başına bir şey aramaz; kendisine verilene dayanır. İstem ve bilgi tabanının bu kadar önemli olmasının nedeni budur. Model yanlış olurken akıcı görünebilir; bu yüzden güvenlik sınırları ve test şarttır.
Modelin yanıtını ne şekillendirir
- TalimatlarOna verdiğiniz rol, ton, kurallar ve sınırlar.
- BilgiYararlanabileceği belgeler, soru-cevap ve olgular.
- Şimdiye kadarki konuşmaBu aramada ne söylendi.
- AraçlarBir siparişi aramak veya bir mesajı not etmek gibi yapabileceği eylemler.
Şunlar gibi rehberler daha derine iner: telefon ajanı için istem yazma, sesli ajanlar için RAG, halüsinasyonlar ve güvenlik sınırları. Emin olmadığında ne yapılacağını, örneğin bir kişi önermeyi veya mesaj almayı söyleyen bir istem birçok sorunu önler.
Üçüncü aşama: metinden konuşmaya
Metinden konuşmaya, yanıtı sese çevirir. Sesler netlik, sıcaklık ve dilinizdeki duraklamaları, sayıları ve adları ele alışları bakımından farklılık gösterir. Bazıları bir telaffuz sözlüğüyle ayarlanabilir. Yenilik için değil, telefon hattındaki netlik için bir ses seçin ve söyleyeceği gerçek ifadelerle test edin. Dile özgü sorunlara bir örnek için bkz. Japoncada metinden konuşmaya; özel bir ses kullanırken rıza ve risk için ise ses klonlama.
Zamanlama deneyimi neden belirler
İnsan konuşmasında turlar hızlıdır. Bir saniyeyi aşan bir boşluk tuhaf hissettirir. Üç aşamalı bir hatta her adım gecikme ekler ve model düşünmek için zaman alabilir. Tasarımcılar gecikmeyi akışla azaltır: yanıtın tamamı hazır olmadan konuşmaya, arayan durmadan yazıya dökmeye başlamak. Ayrıca arayanın bitirdiğine ne zaman karar verileceğini de ayarlarlar.
Hat ve konuşmadan konuşmaya
| Üç aşamalı hat | Konuşmadan konuşmaya model | |
|---|---|---|
| Nasıl çalışır | Ayrı tanıma, model ve ses | Tek bir model giren ve çıkan sesi ele alır |
| Denetim | Her aşama ayarlanabilir veya değiştirilebilir | Daha az görünür, daha entegre |
| Gecikme | Aşamalar boyunca toplanır | Daha düşük olabilir |
| Döküm | Her adımda metin mevcut | Metin üretmek için ek iş gerekebilir |
| Olgunluk | Yaygın kullanımda | Daha yeni, hızla değişiyor |
Konuşmadan konuşmaya modeller daha yeni bir yaklaşımdır. Her iki durumda da gecikme, söz kesmeler ve söz sırası, ajanın doğal hissedilip hissedilmediğini belirler.
Söz kesmeler
İnsanlar sözünü keser. İyi bir ajan arayan başladığında konuşmayı bırakır ve bir öksürüğü ya da arka plandaki bir sesi söz kesme sanmaz. Bu, konuşmanın algılanmasına bağlıdır ve şurada ele alınır: ses etkinliği algılama. Kötü ayarlanmış sistemler ya arayanların üzerine konuşur ya da çok uzun bekler.
Araçlar, bilgi ve eylemler
Sesli bir ajan, sohbetten fazlasını yapabildiğinde yararlı olur. Bağlı araçlarla bilgi arayabilir, bir mesaj kaydedebilir, bir geri arama talebi not edebilir veya aramayı bir kişiye aktarabilir. Her aracın dar bir amacı ve net kuralları olmalıdır. Bir ajan randevu talebi alabilir; onaylamak başka bir konudur ve birçok işletme bir kişinin onaylamasını tercih eder. Fonksiyon çağırma araçların modele nasıl tarif edildiğini açıklar.
Sese ve metne ne olur
Her aşama kişisel veri işler. Ses bir sesi taşır; döküm söylenenleri, çoğu zaman adları, adresleri ve arama nedenlerini içerir. Devreye almadan önce her aşamanın nerede çalıştığını, neyin saklandığını, ne kadar süre saklandığını ve kimin okuyabileceğini öğrenin. Ödeme veya sağlık bilgisi gibi hassas ayrıntıların ajan tarafından hiç toplanıp toplanmayacağına ya da bir kişiye mi aktarılacağına karar verin. Gizliliği gözeten sesli yapay zeka tasarımı bunu daha derinlemesine kapsar.
Ajanın görevini dar tutun. Yaygın soruları yanıtlayan, mesaj alan ve devreden bir ajanı test etmek, arayanlara açıklamak ve gizlilik vaatleriniz içinde tutmak, her şeyi yapmaya çalışandan daha kolaydır.
Pratikte ne beklemeli
Basit, öngörülebilir aramalarda iyi sonuç bekleyin: çalışma saatleri, yol tarifi, temel sorular, mesaj almak. Uzun, duygusal veya belirsiz aramalarda, güçlü aksanlarda, kötü hatlarda ve muhakeme gerektiren taleplerde daha fazla zorluk bekleyin. Makul bir yaygınlaştırma küçük bir arama türü kümesiyle başlar, başlangıçta her aramayı dinler, sonra güven arttıkça genişler. Hatırlanacak ifade, ajanın muhakemenin yerini almak için değil, tanımlı görevlerde yardımcı olmak için tasarlandığıdır.
Nerede ters gider
- Yanlış duyulan sözcükler veya sayılar yanlış yanıtlara yol açar.
- Model bilmediğini kabul etmek yerine bir yanıt uydurur.
- Gecikmeler arayanların kendilerini tekrarlamasına veya kapatmasına neden olur.
- Arka plan gürültüsü veya karışık konuşma, konuşma sanılır.
- Arayan ajanın kapsamı dışında bir şey ister ve çıkamaz.
Bunlar için tasarlayın. Bir kişiye ulaşmayı kolaylaştırın, yanıtları kısa tutun, sayılar ve tarihler gibi önemli ayrıntıları doğrulayın ve gerçek aramaları düzenli gözden geçirin. Sesli ajanı test etme ve değerlendirme metrikleri nasıl yapılacağını açıklar.
Call ile nasıl yapılır
Call'da bir yapay zeka ajanı bir kişilik ve istemden, bir sesten, bir dilden ve bilgi kaynaklarından oluşturulur; sonra bir hat için açılmadan önce ekranda ve telefonla test edilir. Call, sesler arasından seçim yapmanızı, telaffuzu bir sözlükle ayarlamanızı, konuşmanın nasıl tanındığını ayarlamanızı ve kaynakları güncel tutmanızı sağlar. Ajan, istendiğinde arayanları bir kişiye bağlamak üzere tasarlanmıştır ve mesaj alabilir. Bir ajanı bir hat için açana kadar aramalar ekibinizde çalar. Her zaman önce kendi aramalarınızla test edin. Call'da Yapay Zeka Ajanı Oluşturma adımları anlatır.
Sık sorulan sorular
Sesli bir yapay zeka ajanının üç parçası nedir?
Arayanı duymak için konuşmadan metne, ne söyleyeceğine karar vermek için bir dil modeli ve yanıtı seslendirmek için metinden konuşmaya. Bazı yeni sistemler bunları birleştirir.
Yapay zeka neden bazen yanıt vermeden önce duraklar?
Her aşama zaman alır ve sistem arayanın konuşmayı bitirdiğine karar vermelidir. Akış ve ayarlama boşluğu kısaltabilir ama ortadan kaldıramaz.
Yapay zeka bir şeyler uydurabilir mi?
Evet. Bir dil modeli makul görünen ama yanlış yanıtlar üretebilir. Ona iyi bilgi, net sınırlar ve emin olmadığında bir kişi önerme talimatı verin.
Sesli bir ajan randevu alabilir mi?
Bir talep alıp iletebilir. Birçok işletme bir kişinin onaylamasını tercih eder; bu yüzden ajanın neyi vaat edebileceğine karar verin.
Arayanlara bunun bir yapay zeka olduğu söylenmeli mi?
Birçok yerde insanlar bunu bekler veya bilmeye hakları vardır. Aramanın başında açıkça söyleyin ve sizin için geçerli kuralları kontrol edin.
Çalıştığını nasıl kontrol ederim?
Farklı aksanlar ve gürültü düzeylerinde gerçek aramalarla test edin, sonuçları dinleyin ve her değişiklikten sonra yeniden çalıştırdığınız bir soru listesi tutun.