Sesli Asistan Görüşmelerini Değerlendirmek: Ölçütler ve İncelemeler
Bir telefon sesli asistanını değerlendirmenin pratik yolu: takip etmeye değer ölçütler, çağrılardan örneklem alma ve puanlama, bulguları düzeltmelere dönüştürme.
Bir sesli asistan gerçek çağrıları yanıtlamaya başladığında soru "çalışıyor mu" olmaktan çıkıp "iyi çalışıyor mu" olur. Pek çok ekip bu soruyu birkaç çağrıdan edindiği belirsiz bir izlenimle yanıtlar. Biraz yapı çok daha iyi bilgi verir ve bir sonraki adımda neyi düzelteceğinizi söyler.

Bu rehber bir telefon sesli asistanı için basit bir değerlendirme yaklaşımı sunuyor: hangi ölçütlerin takip edileceği, çağrıların elle nasıl inceleneceği ve bulguların iyileştirmelere nasıl dönüştürüleceği. Bir Sesli Yapay Zekâ Asistanını Test Etmek yazısının ve Çağrı Merkezi KPI'ları yazısındaki genel ölçütlerin üzerine kuruludur.
Sizin için iyinin ne anlama geldiğiyle başlayın
Bir restoran için iyi bir çağrı, bir klinik için iyi bir çağrıyla aynı değildir. Ölçütleri seçmeden önce beklediğiniz her çağrı türü için başarılı bir çağrının neye benzediğini bir iki cümleyle yazın: arayanın sorusu yanıtlanır, doğru bilgilerle bir mesaj alınır veya arayan doğru kişiye ulaşır. Geri kalan her şey bu tanımlardan çıkar.
Her değerlendirmenin sorduğu beş soru
- Arayan anlaşıldı mı?Asistan soruyu ve bilgileri doğru duydu mu?
- Yanıt doğru muydu?Doğru, onaylanmış bilgilerin içinde ve uydurmadan arınmış mıydı?
- Görüşme faydalı bir sona ulaştı mı?Görev yapıldı mı, mesaj alındı mı veya devir gerçekleşti mi?
- Deneyim kabul edilebilir miydi?Tempo, ton, tekrarlar ve arayanın harcadığı emek.
- Güvenli miydi?Asistan sınırlarına uydu ve gerektiğinde devretti mi?
Takip etmeye değer ölçütler
| Ölçüt | Size ne söyler | Nasıl elde edilir |
|---|---|---|
| Görev tamamlama | Arayanın amacına ulaştığı çağrıların payı | Bir örneklemin insan incelemesi ve çağrı sonuçları |
| Yanıt doğruluğu | İfadelerin onaylanmış bilgilerle örtüşüp örtüşmediği | Kaynaklarınıza göre insan incelemesi |
| Devir oranı | Arayanların ne sıklıkla bir insan istediği veya ihtiyaç duyduğu | Çağrı sonuçları ve yardım masasındaki talepler |
| Tekrar oranı | Asistanın arayandan bir şeyi ne sıklıkla tekrar söylemesini istediği | Transkript incelemesi |
| Yanıt boşluğu | Arayanın söz sırasının sonu ile asistanın yanıtı arasındaki süre | Çağrı geçmişindeki söz sırası başına zamanlama |
| Terk oranı | Bir sonuca ulaşmadan telefonu kapatan arayanlar | Çağrı kaydı |
| Arayan geri bildirimi | İnsanların görüşme hakkında ne hissettiği | Kısa anketler veya takip yorumları |
Faydalı ölçütlerin çoğunun bir miktar insan muhakemesi gerektirdiğine dikkat edin. Bir kayıttaki sayımlar kaç tane olduğunu söyler, ancak bir görüşmenin iyi geçip geçmediğini yalnızca konuşmayı okuyan bir insan söyleyebilir. İkisinin bir karışımını yapmayı bekleyin. Her tür çağrı için geçerli ölçütler için İlk Çağrıda Çözüm ve Yanıtlama Oranı ve Terk Oranı yazılarına bakın.
Çağrıları elle incelemek
Küçük ve düzenli bir örneklem, ara sıra yapılan büyük bir incelemeden iyidir. Çağrıları rastgele seçin; buna çok kısa veya çok uzun olanlar, devirle biten çağrılar ve arayanın telefonu kapattığı çağrılar gibi alışılmadık görünen birkaçını ekleyin.
Bir çağrı inceleme rutini
- Örneklem alınHer hafta rastgele ve alışılmadık olanları karıştırarak sabit sayıda çağrı seçin.
- Dinleyin ve okuyunKaydı oynatın ve transkripti birlikte okuyun.
- PuanlayınHer çağrıyı basit bir ölçekle kriterlerinize göre değerlendirin.
- Nedenleri not edinTers giden her şeyin nedenini yazın.
- Düzeltin ve yeniden test edinKaynağı, komutu veya ayarı değiştirin, ardından aynı vakayı yeniden test edin.
Puanlamayı basit tutun
Üç seviye yeterlidir: iyi, kabul edilebilir ve kötü; tek tek ifadeler için ise doğru, kısmen ve yanlış. Ayrıntılı ölçekler içgörü katmadan tartışma yaratır. Zaman zaman iki kişiye aynı çağrılardan birkaçını puanlatın; sık sık anlaşamıyorlarsa kriterlerinizin daha net ifade edilmesi gerekir.
Transkriptlerin yanlış olabileceğini unutmayın
Transkript gerçeğin kendisi değil, tanıyıcının tahminidir. Bir transkript tuhaf görünüyorsa asistanı suçlamadan önce sesi dinleyin. Telefon Sesi Konuşma Tanıma için Neden Zordur yazısına bakın.
Hızı ve ritmi ölçmek
Arayanlar gecikmeyi neredeyse diğer tüm faktörlerden daha çok fark eder. Her yanıttan önceki boşluğu takip edin ve yalnızca ortalamaya değil en kötü durumlara da bakın, çünkü birkaç çok uzun duraklama izlenimi bozar. Boşluklar uzunsa zamanın nereye gittiğini ayrıştırın; Sesli Yapay Zekâda Gecikme yazısı bunu nasıl yapacağınızı gösteriyor. Söze girmelere de dikkat edin: asistan arayanın üzerine ne sıklıkla konuştu ve onu ne sıklıkla beklemede bıraktı?
Elle inceleme mi, otomatik puanlama mı
Bir yöntem seçmek
| Elle inceleme | Otomatik puanlama | |
|---|---|---|
| Güçlü yanı | İnce ayrıntıları, tonu ve bağlamı anlar | Her çağrıyı hızla kapsar |
| Zayıf yanı | Yavaş; yalnızca bir örneklem | İnce sorunları kaçırabilir veya yanlış değerlendirebilir |
| En uygun kullanım | Doğruluk, güvenlik ve arayan deneyimi | İnsan gözüyle bakılmayı hak eden çağrıları işaretlemek |
Başka modelleri değerlendiren modeller dahil otomatik puanlama, önceliklendirme için faydalıdır: insanların önce doğru çağrılara bakması için çağrıları sorun işaretlerine göre sıralayabilir. Özellikle doğruluk ve güvenlik için insan örneklemesinin yerini almamalıdır. Hangi otomatik kontrolü kullanırsanız kullanın, incelediğiniz bir çağrı setinde onun kararlarını kendi kararlarınızla karşılaştırarak test edin.
Sayıları akıllıca okumak
Küçük örneklemler yanıltır. On çağrı inceleyip ikisinin kötü geçtiğini görürseniz her beş çağrıdan birinin kötü geçtiğini söyleyemezsiniz; yalnızca düzeltmeye değer iki sorun bulduğunuzu söyleyebilirsiniz. Örneklem bunu destekleyecek kadar büyük ve rastgele olmadıkça örneklemleri oran açıklamak için değil, neden bulmak için kullanın.
Asistanı durumdan ayırın. Bir hizmet kesintisinin yaşandığı haftada görev tamamlamadaki düşüş, komut hakkında bir hüküm değildir. Ölçütlerinizin yanına olayları not edin: yeni bir çalışma saati, arayanları yeni bir soruyla gönderen bir kampanya, kaynaklarda bir değişiklik. Basit bir değişiklik kaydı eğilimleri açıklanabilir kılar.
Son olarak her sonuçla ne yapacağınıza önceden karar verin. Tekrarlardaki bir artış sizi sessizlik ayarlarına bakmaya yöneltebilir; bir konudaki devirlerin artması o konu için kesin bir yanıt eklemenize yol açabilir. Bağlı bir eylemi olmayan bir ölçüt yalnızca süstür.
Sonuçları yöneticilerin yanı sıra telefonları yanıtlayan kişilerle de paylaşın. Çalışanlar bir örüntünün neden var olduğunu çoğu zaman bilir ve asistanın devrettiği çağrıları alacak olanlar da onlardır. İyi geçen birkaç çağrı dahil örneklerle yapılan kısa bir aylık değerlendirme, çalışmayı gerçek görüşmelere dayalı tutar.
Call'da değerlendirme
Call'da yapay zekâ çağrı geçmişi bir dönemin çağrılarını sonuçları ve biliniyorsa duygu durumuyla birlikte listeler ve tüm görüşmeyi söz sırası söz sırası açar. Yöneticiler her konuşma sırasının ne kadar sürdüğünü görmek için bir çağrıyı açabilir. Otomatik değerlendirme alanı son çağrıları konuya göre gruplar, insan tarafından incelenmemiş son çağrıları üzerlerindeki sinyallere göre sıralar ve doğru, kısmen veya yanlış olarak işaretlemeniz için yapay zekâ özetlerinden bir örneklem sunar; bu da özet doğruluğuna dair sürekli bir görünümü besler. Konuşma yapay zekâsı ayrıca saklanan tüm transkriptlerde bir ifadeyi aramanıza olanak tanır. Bunlar birlikte ihtiyaç duyduğunuz sayımları ve örneklemeyi sağlar. Asistanın sözlerine yapılan düzeltmeleri görmek için düzenleme geçmişini kullanın.
Haftalık değerlendirme kontrol listesi
- Rastgele ve alışılmadık çağrılardan oluşan sabit bir örneklem okuyun
- Görev tamamlamayı ve doğruluğu puanlayın
- Devirleri sayın ve neden olduklarını not edin
- En uzun yanıt boşluklarını kontrol edin
- Kafa karışıklığına işaret eden ifadeler için transkriptlerde arama yapın
- Her sorunu ve yapılan düzeltmeyi kaydedin
- Düzeltilen vakaları kapatmadan önce yeniden test edin
Sık sorulan sorular
Bir sesli asistan için en faydalı tek ölçüt hangisi?
Tek bir ölçüt yoktur. Görev tamamlama arayanların ihtiyaç duyduklarını alıp almadığını söyler, ancak nedenini görmek için doğruluğa, devir kalitesine ve zamanlamaya da ihtiyacınız vardır.
Kaç çağrı incelemeliyim?
Sürdürebileceğiniz sabit bir haftalık örneklem, ara sıra yapılan büyük bir incelemeden iyidir. Mütevazı bir sayıyla başlayın ve canlıya geçiş değişikliklerinden sonra veya sorunlar ortaya çıktığında artırın.
Yalnızca otomatik puanlamaya güvenebilir miyim?
Doğruluk veya güvenlik için hayır. Onu çağrıları sıralamak ve işaretlemek için kullanın, ardından işaretlenenleri ve rastgele bir örneklemi insanlara inceletin.
Transkriptler neden bazen kayıtla uyuşmuyor?
Transkript konuşma tanıma tarafından üretilir ve hata içerebilir. Asistanı değerlendirmeden önce sesi dinleyin.
Bir değişikliğin işleri iyileştirip iyileştirmediğini nasıl anlarım?
Sabit bir test vakası seti ve düzenli bir inceleme rutini tutun, ardından aynı kriterleri kullanarak değişiklikten önceki ve sonraki sonuçları karşılaştırın.
Arayanlara anket yapılmalı mı?
Görüşmeden sonra kısa bir soru faydalı bilgi katabilir, ancak kısa tutun ve insanlarla iletişime ilişkin kurallara uyun. Bunu görüşmeyi kendi incelemenizle birleştirin.