Kalite ve ekip

Kalite Kalibrasyon Oturumları Nasıl Yürütülür?

Değerlendiricilerin çağrıları aynı şekilde puanlaması için kalibrasyon oturumları: çağrı seçin, bağımsız puanlayın, farkları konuşun, puan kartını iyileştirin.

Call editör ekibi · Yayınlanma · 5 dk okuma

Aynı çağrıyı dinleyen iki değerlendiriciden biri çok iyi puan verirken diğeri başarısız sayıyorsa, temsilciler kısa sürede puanlara güvenmeyi bırakır. Bunu önleyen alışkanlık kalibrasyondur. Değerlendiriciler aynı çağrıları ayrı ayrı puanlar, notlarını karşılaştırır ve farkları çözer; böylece bir puan, kim vermiş olursa olsun aynı anlama gelir.

Küçük bir kalite değerlendirici grubu, toplantı masası etrafında basılı bir puan kartını tartışıyor
Örnek görsel

Bu rehber, küçük bir ekipte kalibrasyon oturumlarının nasıl yürütüleceğini gösteriyor. Çağrı Kalite Yönetimi (QA) Temelleri üzerine kuruludur ve Temsilcilere Çağrı Koçluğu İçin Basit Bir Çerçeve yazısındaki geri bildirim döngüsünü destekler.

Kalibrasyon neden önemli?

Puan kartları kelimelerle yazılır ve kelimeler farklı okunur. “Empati gösterdi” ya da “sorunu çözdü”, farklı değerlendiriciler için, hatta aynı değerlendirici için farklı günlerde farklı anlamlara gelir. Kalibrasyon olmadan üç sorun ortaya çıkar: temsilciler arasında adaletsiz puanlar, kişisel görüşe dayalı koçluk ve zaman ya da ekipler arasında karşılaştırılamayan raporlar.

Kalibrasyona ihtiyacınız olduğunun işaretleri

  • Temsilciler puanlara itiraz ediyorBaşka bir değerlendiricinin aynı çağrıyı geçer sayacağını söylüyorlar.
  • Değerlendirici ortalamaları farklıBir değerlendirici sürekli olarak diğerinden daha sert ya da daha yumuşak.
  • Yeni değerlendiriciler kayıyorBiri ekibe katıldığında ya da yerine baktığında puanlar değişiyor.
  • Puan kartı maddeleri belirsizFarklı kişiler bunları farklı açıklıyor.

Bir oturuma hazırlanmak

İyi bir oturum biraz hazırlık ister. Kolaylaştırıcı, puan kartını iyi bilen ve tarafsız kalabilen biri olmalıdır; çoğu zaman bir kalite lideri ya da kıdemli bir ekip lideri.

Oturumdan önce

  1. Üç dört çağrı seçinAçıkça geçen, açıkça kalan ve en az bir sınırda çağrı ekleyin.
  2. Kimlik bilgilerini çıkarınTartışmanın çağrı üzerinde kalması için temsilci adlarını gizleyin.
  3. Puan kartını paylaşınHerkes tanımlarıyla birlikte güncel sürümü kullanır.
  4. Bağımsız puanlama isteyinHer değerlendirici toplantıdan önce puanlar ve bu konuda diğerleriyle konuşmaz.

En iyi malzemeyi gerçek çağrılar sağlar. Sınırdaki çağrıları normal değerlendirmelerinizden çekin; çünkü anlaşmazlık en çok bunlarda gizlidir. Kayıtların iç kurallarınıza göre değerlendiricilerle paylaşılabildiğini kontrol edin ve kişisel verileri dikkatle ele alın; işin kayıt tarafı için Arama Kaydı Bildirimleri yazısına bakın.

Oturumu yürütmek

Görüşlerle değil, puanlarla başlayın. Herkesin madde madde sonuçlarını ortak bir ekrana koyun ve en büyük farkların olduğu maddeleri bulun. Önce bunların üzerinden geçin.

  1. Farkı ortaya koyun. Her çağrı için her değerlendiricinin toplam puanını ve madde düzeyindeki farkları gösterin.
  2. Her değerlendiriciden, kararını belirleyen çağrı anını alıntılayarak tartışmalı bir maddeyi açıklamasını isteyin.
  3. Puan kartı ifadesine dönün. Neyin geçer sayıldığını açıkça söylüyor mu?
  4. Bu çağrı için yanıtta anlaşın ve gerekçeyi yazın.
  5. Sorun ifadedeyse yapılacak değişikliği not edin; insanların kafasını karıştıracak şekilde canlı olarak düzeltmeyin.

Temel kurallar

Uygulamada varsayımsal bir oturum

Üç değerlendiricisi olan altı kişilik bir ekip düşünün. Dört çağrı seçip tek başlarına puanlıyorlar. Üçüncü çağrıda bir değerlendirici müşterinin bilgilerini teyit etme maddesine geçer puan verirken diğeri başarısız veriyor. Kolaylaştırıcı her birinden dayandığı anı dinletmesini istiyor. Temsilcinin posta kodunu teyit ettiği ama adı teyit etmediği, puan kartında ise yalnızca “bilgileri teyit et” yazdığı anlaşılıyor. Ekip, maddenin tam olarak hangi iki bilginin sayılacağını listelemesi gerektiğinde anlaşıyor, maddeyi yeniden yazıyor ve kararı kaydediyor.

Bu küçük değişiklik, gelecekteki her değerlendirmede adaletsiz puanların bir kaynağını ortadan kaldırır. Aranacak örüntü budur: Bir çağrı hakkındaki anlaşmazlık genellikle puan kartındaki bir boşluğun işaretidir.

Temsilcilerle döngüyü kapatmayı unutmayın. İfadede neyin neden değiştiğini onlara söyleyin ve eski çağrıları yeniden puanlamak yerine değişikliği belirtilen bir tarihten itibaren uygulayın. Geçmişteki bir puan eski ifade yüzünden açıkça adaletsizse, bunu düzeltme konusunda açık olun.

Anlaşmazlığı daha iyi bir puan kartına dönüştürmek

Bir oturumun en değerli sonucu genellikle daha net bir puan kartıdır. Değerlendiriciler bir maddede anlaşamıyorsa madde muhtemelen belirsizdir. Somutlaştırın.

Belirsiz maddeDaha net hali
Empati gösterdiBir çözüm önermeden önce müşterinin sorununu onun kendi sözcükleriyle kabul etti.
Sorunu çözdüEksiksiz bir yanıt verdi ya da zamanı belli net bir sonraki adım belirledi.
Profesyonel üslupSöz kesme yok, iğneleme yok; kibar bir açılış ve kapanış.
Süreci izlediMüşterinin kimliğini güncel prosedürdeki adımlarla doğruladı.

Her maddeye geçer ve kalan birer iki örnek ifade ekleyin. Bir çağrı türü için geçerli olmayan maddelerde tahmin yürütmek yerine bilinçli olarak “uygulanamaz” seçeneğini kullanın. Tüm çağrıyı başarısız sayabilen kritik maddeleri çok kısa bir listeyle sınırlı tutun ve bunları hiçbir yoruma yer bırakmayacak şekilde yazın. Makul bir geçme notu ekibinizin kararıdır; temsilcilere söylemeden değiştirmeyin.

Uyumu zaman içinde ölçmek

Karmaşık istatistiklere ihtiyacınız yok. Basit bir ölçü, kalibre edilen her çağrı için en yüksek ve en düşük toplam puan arasındaki farktır. Ortalama farkı ay bazında izleyin ve en çok anlaşmazlığa yol açan maddelere bakın.

Farkı yorumlamak

Küçük farkBüyük fark
Neye işaret eder?Değerlendiriciler puan kartını benzer şekilde okuyorDeğerlendiriciler farklı okuyor
Ne yapmalı?Rutini sürdürün ve çağrıları değiştirinMaddeleri yeniden yazın, örnek ekleyin, yakında bir oturum daha yapın
RiskRehavet, aynı kör noktalarAdaletsiz puanlar ve güvensizlik

Genel bir kural olarak, yüz puanlık bir ölçekte yaklaşık yirmi puanın üzerindeki bir fark, değerlendiricilerin puan kartını farklı kullandığının ve ifadede birlikte anlaşmaya değeceğinin işaretidir. Böyle bir sayıyı bir standart olarak değil, kendi ekibiniz için bir yol gösterici olarak görün.

Bir karar kaydı tutun. Tarihi, çağrıyı, tartışmalı maddeyi ve üzerinde anlaşılan yorumu içeren basit bir ortak belge yeterlidir. Yeni değerlendiriciler ekibin puan kartını nasıl uyguladığını öğrenmek için bunu okuyabilir; bu kayıt aynı tartışmanın her ay geri dönmesini de önler. Puan kartını revize ederken kaydı gözden geçirin ve yeni ifadenin gereksiz kıldığı kayıtları kaldırın.

Sıklık ve katılımcılar

Değerlendiricilerin farklı temsilcileri ve çağrı türlerini görmesi için kalibrasyonu örnekleme planınızla eşleştirin; ayrıntılar için Kaç Çağrıyı Değerlendirmelisiniz? yazısına bakın. Bir yapay zekâ aracı çağrıları önceden puanlıyorsa, insanların ona ne zaman güvenip ne zaman müdahale edeceklerini öğrenmesi için onun sonuçlarından birkaçını da kalibrasyona dahil edin.

Call'da kalibrasyon

Call'ın “İnceleme ve koçluk” bölümü, birden fazla değerlendirici tarafından puanlanan çağrıları puanları arasındaki farkla birlikte listeleyen bir “Kalibrasyon” bölümü içerir. Yöneticiler, değerlendirme kuyruğundaki çağrıları her puan kartı maddesi için “Geç”, “Başarısız” ya da uygulanamaz seçenekleriyle puanlar; kritik maddeler başarısız olursa puan sıfırlanır. Call'ın yönlendirmesine göre 20 puanın üzerindeki bir fark, değerlendiricilerin puan kartını farklı okuduğu anlamına gelir; bu nedenle bunun üzerinde birlikte anlaşmaları gerekir.

Call, söylenen ya da söylenmeyen kelimeler olarak tanımladığınız bazı maddeleri “Otomatik puanlama” kurallarıyla kendi başına da puanlayabilir. Bu kuralları dar kapsamlı ve doğru tutun; boş bir kural, tahmine dayalı bir kuraldan iyidir. Değerlendirme kuyruğu ve puan kartı için çalışma alanınızda etkin bir puan kartı bulunması gerekir; kalibrasyonu buna göre planlamadan önce bunu kurun.

Sık sorulan sorular

Kalibrasyonun normal kalite değerlendirmelerinden farkı nedir?

Normal bir değerlendirmede bir çağrıyı tek bir değerlendirici puanlar. Kalibrasyonda ise birkaç değerlendirici aynı çağrıyı bağımsız olarak puanlar, ardından karşılaştırır. Amacı temsilciyi yargılamak değil, değerlendiricileri aynı çizgiye getirmektir.

Değerlendiricilerin birebir aynı puanları vermesi gerekir mi?

Hayır. Küçük farklar normaldir. Amaç, her madde için neyin geçer sayıldığında anlaşmak ve genel farkı küçük tutmaktır.

Her oturumda kaç çağrı kullanmalıyız?

Genellikle üç dört çağrı yeterlidir. Daha fazla çağrı toplantıyı uzun ve yüzeysel hale getirir. Anlaşmazlığı ortaya çıkaran çağrıları seçin.

Temsilciler kalibrasyon sonuçlarını görmeli mi?

Temsilciler puan kartı tanımlarını ve kalibrasyon sonucunda yapılan değişiklikleri görmelidir. Çağrı bazındaki karşılaştırmaları paylaşıp paylaşmamak ekibin kararıdır; ancak açıklık güven oluşturur.

Bir değerlendirici hep daha sert puan veriyorsa ne yapmalı?

Farkı hangi maddelerin oluşturduğuna bakın ve bunları oturumda konuşun. Çoğu zaman puan kartı ifadesi belirsizdir. Fark sürerse o değerlendiriciye ek yönlendirme ve örnekler verin.

Puan kartı ne sıklıkla güncellenmeli?

Kalibrasyon tekrarlayan bir kafa karışıklığı gösterdiğinde, süreciniz ya da ürününüz değiştiğinde veya müşterilerin ihtiyaçları değiştiğinde güncelleyin. Değişiklikleri temsilcilere duyurun.

Call'da aynı çağrıya verilen değerlendirici puanlarını karşılaştırın

Demo konsolunda gelen çağrıları bir simülasyonla deneyebilirsiniz.

İlgili rehberler