Sesli yapay zekâ teknolojisi

Sesli Yapay Zekâ Temsilcisini Yayından Önce Test Etmek

Telefonda çalışan sesli yapay zekâ temsilcisi için adım adım test planı: senaryolar, doğruluk, anlama, akış, devir, kayıtlar ve net bir geçti/kaldı kararı.

Call editör ekibi · Yayınlanma · 5 dk okuma

Sessiz bir ofiste, onu yapan kişinin önünde iyi yanıt veren sesli bir temsilci, sokak köşesinde mırıldanan bir arayanla çok farklı davranabilir. Yayın sorunlarının çoğu gizemli değildir: kimsenin denemediği şeylerdir. Yapılandırılmış bir test planı, bunları düzeltmesi hâlâ ucuzken bulur.

Kulaklık takmış bir kalite test uzmanı dizüstü bilgisayarda bir arama senaryosunu kontrol ediyor
Örnek görsel

Bu rehber size pratik bir plan sunuyor: neyin hazırlanacağı, test edilecek altı alan, sonuçların nasıl değerlendirileceği ve yayından sonra ne yapılacağı. Sonunda Call'daki araçlara değiniyor. Değerlendirmenin arkasındaki metrikler için bkz. Sesli Yapay Zekâ Değerlendirme Metrikleri.

Testi hazırlamak

Gerçek aramaların listesiyle başlayın. İnsanların gerçekte sorduğu soruları e-postalardan, personelin hafızasından ve arama notlarından toplayın. Zorlu olanları da ekleyin: öfkeli arayan, ne istediği belirsiz arayan, sunmadığınız bir şeyi isteyen arayan. İyi bir test seti yaygın, nadir ve zor vakaları karıştırır.

Senaryodan yayına

  1. Test senaryoları yazınHer biri için doğru yanıtıyla birlikte gerçek sorular.
  2. İçeriği test edinTemsilci doğru yanıt veriyor ve sınırlar içinde kalıyor mu.
  3. Anlamayı test edinAdları, sayıları ve aksanları anlıyor mu.
  4. Akışı test edinKonuşma doğal ilerliyor ve iyi bitiyor mu.
  5. Devri test edinBir kişiyle görüşme talepleri ve acil durumlar çalışıyor mu.
  6. Kayıtları kontrol edinÖzetler, mesajlar ve günlükler doğru mu.
  7. Karar verinSonuçları geçme kuralıyla karşılaştırın ve seçin.

Kimin test edeceğine karar verin. Temsilciyi yapmamış kişileri de dahil edin, çünkü onlar beklenmedik şekillerde soru soracaktır. Arayanlarınız yöresel aksanlarla veya birden fazla dilde konuşuyorsa, bu sesleri de dahil edin.

İçeriği test etmek

İlk soru, temsilcinin doğru şeyler söyleyip söylemediğidir. Listenizdeki her soruyu sorun ve doğru yanıtla karşılaştırın. Her yanıtı doğru, kısmen doğru, yanlış veya uydurma olarak işaretleyin. Temsilcinin kendisine hiç verilmemiş bir şeyi söylediği uydurma yanıtlar en önemlisidir, çünkü arayanlar buna inanır.

Uydurma yanıtların neden ortaya çıktığı için bkz. Sesli Yapay Zekâda Halüsinasyonlar; bilginin nasıl kullanıldığı için bkz. Sesli Temsilciler için Bilgi Erişimi (RAG).

Ne duyduğunu test etmek

Sesli temsilciler en sık dinleme adımında başarısız olur. Adlar, posta kodları, telefon numaraları ve tarihler olağan sorun kaynaklarıdır. Yalnızca bilgisayar mikrofonuyla değil, gerçek telefonlarla test edin; arka plan gürültüsünü, hoparlörü ve zayıf mobil çekimi de dahil edin.

KontrolNasılNeye bakılmalı
AdlarAlışılmadık adları heceleyin ve söyleyinDoğru kayıt veya kibar bir tekrar ricası
SayılarBir telefon numarası ve bir tarih okuyunDoğru rakamlar ve geri okuma
AksanlarFarklı aksanlara sahip meslektaşlardan isteyinDaha az yanlış anlama ve zarif bir toparlanma
GürültüKalabalık bir yerden arayınYanlış tetiklenme olmaması ve net tekrar ricaları

Sesli Yapay Zekâda Sayılar ve Adlar ile Telefon Sesinde Konuşma Tanıma bu sorunları daha ayrıntılı açıklıyor.

Konuşma akışını test etmek

İçerik doğru olabilir ama konuşma yine de aksak olabilir. Açılışı, tempoyu, temsilcinin arayanın sözünü kesip kesmediğini, sessizliği nasıl ele aldığını ve nasıl bitirdiğini dinleyin. Sözünü kesin, sessiz kalın, "alo?" deyin ve yarı yolda fikrinizi değiştirin.

Denenecek akış davranışları

  • Söz kesmekTemsilci konuşurken araya girin ve durup dinlediğini kontrol edin.
  • SessizlikHiçbir şey söylemeyin ve kibarca yönlendirdiğini, ardından makul biçimde sonlandırdığını kontrol edin.
  • Fikir değiştirmekYanıtın ortasında konu değiştirin ve takip ettiğini kontrol edin.
  • BitişTeşekkür edip vedalaşın ve aramanın düzgün kapandığını kontrol edin.

Hız da buraya dahildir. Uzun duraklamaları ve nedenlerini not edin. Sesli Yapay Zekâda Gecikme olağan nedenleri açıklıyor.

Devri ve güvenliği test etmek

Her sesli temsilcinin, ele alamadığı veya ele almaması gereken talepler için bir kişiye ulaşan bir yolu olmalıdır. Bunu her koşulda test edin: çalışma saatlerinde, saatler dışında, kimse yanıt vermediğinde ve arayan sıkıntı içindeyken. Acil ifadeler deneyin. Temsilcinin asla insan olduğunu iddia etmediğini ve onaylanmış bir rezervasyon gibi yerine getiremeyeceği şeyleri asla vaat etmediğini kontrol edin.

Devir kontrolleri

  • Çalışma saatlerinde bir kişiyle görüşmek istemek doğru kişilere ulaşıyor
  • Saatler dışında istemek dürüst bir mesaj ve bilgi bırakma imkânı sağlıyor
  • Kimse yanıt vermezse arayan mesaj bırakabiliyor
  • Acil veya sıkıntılı arayanlar hızla aktarılıyor
  • Temsilci sorulduğunda yapay zekâ olduğunu belirtiyor
  • Toplanmaması gereken hassas bilgiler toplanmıyor

Kayıtları ve günlükleri test etmek

Bir aramanın iki sonucu vardır: arayanın yaşadığı ve sizin kaydettiğiniz. Her testten sonra özeti, transkripti, bırakılan mesajı ve varsa takip görevini kontrol edin. Adlar ve numaralar doğru mu? Aramanın nedeni doğru belirtilmiş mi? Özet bir şey uyduruyor mu? Kaydı yanlış olan kusursuz bir arama bile ekibi yanlış yöne gönderir. Bkz. Yapay Zekâ ile Arama Özetleri.

Geçti mi kaldı mı kararı

Başlamadan önce temsilcinin yayına alınıp alınamayacağına karar veren kuralı yazın. Basit olabilir: test setinde uydurma yanıt olmaması, her devir vakasının çalışması ve yaygın soruların belirli bir oranının doğru yanıtlanması. Bunun yazılı olması, son tarih baskısıyla yapılan bir yayını önler.

Yayın kararları

Geçme kuralı önceden yazılmışSonradan değerlendirilmiş
NetlikHerkes çıtayı bilirÇıta havaya göre değişir
Baskı"Henüz değil" demek kolaydırSon tarihe direnmek zordur
ÖğrenmeBaşarısızlıklar düzeltmelere işaret ederBaşarısızlıklar tartışmaya dönüşür
KayıtSonuçlar zaman içinde karşılaştırılabilirKarşılaştırılacak bir şey yoktur

Her testin kaydını tutun: tarih, temsilcinin sürümü, arayan, soru, sonuç ve düzeltme. İstemi veya bilgi kaynaklarını değiştirdiğinizde önceki testleri tekrarlayın, çünkü düzeltmeler bazen başka şeyleri bozar.

Hiçbir arayanın şikâyet etmeyeceği ama zamanla size mal olan sessiz başarısızlıkları test etmek de karşılığını verir. Erken biten bir aramanın yine de makul bir kayıt ürettiğini, cümlenin ortasında kapatan bir arayanın yarım kalmış bir görev bırakmadığını ve tekrar arayanların tutarlı biçimde ele alındığını kontrol edin. Bu vakalar ilk test planında nadiren yer alır, ama gerçek trafiğin şaşırtıcı bir kısmını oluşturur.

Yayından sonra

Temsilci yayına girdiğinde test sona ermez. Mesai dışı veya taşma gibi sınırlı bir kapsamla başlayın, ilk hafta boyunca her gün gerçek aramalardan bir örneklem dinleyin ve kendinizi rahat hissettiğinizde genişletin. Yanıtlayamadığı soruları inceleyin ve eksik bilgileri ekleyin. Bir değişiklik işleri kötüleştirirse önceki bir sürüme dönebilmenin bir yolunu koruyun. Yapay Zekâ Resepsiyonistinizin İlk Haftası iyi bir tamamlayıcıdır.

Call'da test etmek

Call, bir yapay zekâ temsilcisini arayanlardan önce test etmeniz için birkaç yol sunar. Yapay zekâ temsilcileri altındaki Deneme alanı bir temsilciyle yazışmanıza olanak tanır, her yanıtla kaç bilgi notunun eşleştiğini gösterir ve bunları listeler; ayrıca bir yanıtı puanlamanıza veya daha iyisini öğretmenize izin verir. Temsilcinin Test araması, kendi hattı üzerinden sizin telefonunuzu çaldırır; böylece onu bir arayanın duyduğu gibi duyarsınız; bu tür her test gerçek ve ücretlendirilen bir aramadır. Kurulum sihirbazı ayrıca ekranda konuşma, telefonunuza arama ve temsilcinin bir numarayı araması seçeneklerini sunar. Kimseyi aramadan çalışan bir hazırlık kontrolü, hattan yapılacak bir yapay zekâ aramasının hâlâ neye ihtiyaç duyduğunu raporlar.

Yapay zekâ temsilcileri, Neler öğrendi altındaki Alıştırma aramaları, yapay zekâ arayanların temsilcilerinizi Japonca ve İngilizce aramasını sağlar. Her arama puanlanır ve dersler sizin incelemenizi bekler; böylece siz olmadan hiçbir şey değişmez. Riskli bir düzenlemeden önce temsilcide bir geri yükleme noktası kaydedin ki geri dönebilesiniz; temsilcinin ne zaman yanıt vereceğini kontrol etmek için Yayına al veya Taslağa al seçeneklerini kullanın. Kurulumun kendisi için bkz. Call'da Yapay Zekâ Temsilcisi Kurmak.

Sık sorulan sorular

Kaç test araması yeterlidir?

Her yaygın soruyu, her devir vakasını ve zor davranışlardan bir örneklemi kapsayacak kadar. Küçük bir temsilci için bu onlarca arama olabilir; yeni testler yeni sorun bulmayı bırakana kadar devam edin.

Temsilciyi kim test etmeli?

Onu yapmamış kişiler; farklı aksanlara ve telefon alışkanlıklarına sahip olanlar dahil. Onlar, yapan kişinin hiç aklına gelmeyecek şekillerde soru sorar.

Gerçek bir telefonda test etmeli miyim?

Evet. Telefon sesi bilgisayar sesinden daha dar ve daha gürültülüdür ve pek çok sorun yalnızca gerçek bir hatta ortaya çıkar.

Ciddi bir başarısızlık nedir?

Kendinden emin biçimde söylenen uydurma bir yanıt, başarısız olan bir devir veya ekibi yanlış yöne gönderen bir kayıt. Bunlar yayını engellemelidir.

Küçük değişikliklerden sonra yeniden test etmem gerekir mi?

Evet, en azından temel bir seti. İstemdeki veya bilgi kaynaklarındaki küçük değişiklikler başka yerlerdeki yanıtları değiştirebilir.

Yayına aldıktan sonra neyi izlemeliyim?

Başlangıçta her gün aramalardan bir örneklem dinleyin, yanıtlayamadığı soruları not edin, devirleri ve şikâyetleri takip edin. Bilgi kaynaklarını her hafta iyileştirin.

Call'da yapay zekâ temsilcinizle test ve alıştırma aramaları yapın

Demo konsolunda gelen çağrıları bir simülasyonla deneyebilirsiniz.

İlgili rehberler