वॉइस एजेंट की बातचीत का मूल्यांकन कैसे करें: मेट्रिक्स और समीक्षा
फ़ोन वॉइस एजेंट को आँकने का व्यावहारिक तरीका: ट्रैक करने लायक मेट्रिक्स, कॉल का नमूना लेकर अंक कैसे दें, और नतीजों को सुधारों में कैसे बदलें।
जब वॉइस एजेंट असली कॉल का जवाब देने लगता है, तो सवाल "क्या यह काम करता है" से बदलकर "क्या यह अच्छा काम कर रहा है" हो जाता है। कई टीमें इसका जवाब कुछ गिनी-चुनी कॉल से बनी धुँधली राय से देती हैं। थोड़ा-सा ढाँचा कहीं बेहतर जानकारी देता है और बताता है कि आगे क्या ठीक करना है।

यह गाइड फ़ोन वॉइस एजेंट के लिए मूल्यांकन का एक आसान तरीका देती है: कौन-से मेट्रिक्स ट्रैक करें, हाथ से कॉल की समीक्षा कैसे करें, और नतीजों को सुधारों में कैसे बदलें। यह वॉइस AI एजेंट की टेस्टिंग और कॉल सेंटर KPI के सामान्य मापदंडों पर आधारित है।
शुरुआत इससे करें कि आपके लिए अच्छा क्या है
रेस्तराँ के लिए अच्छी कॉल, क्लिनिक के लिए अच्छी कॉल जैसी नहीं होती। मेट्रिक्स चुनने से पहले, हर तरह की अपेक्षित कॉल के लिए एक-दो वाक्यों में लिखें कि सफल कॉल कैसी दिखती है: कॉलर के सवाल का जवाब मिल जाता है, सही जानकारी के साथ संदेश लिया जाता है, या कॉलर सही व्यक्ति तक पहुँचता है। बाक़ी सब इन परिभाषाओं से निकलता है।
हर मूल्यांकन के पाँच सवाल
- क्या कॉलर की बात समझी गई?क्या एजेंट ने सवाल और जानकारी सही सुनी?
- क्या जवाब सही था?क्या वह सटीक, स्वीकृत जानकारी के भीतर और गढ़ी हुई बातों से मुक्त था?
- क्या कॉल किसी उपयोगी अंत तक पहुँची?क्या काम हुआ, संदेश लिया गया या हैंडओवर किया गया?
- क्या अनुभव स्वीकार्य था?कॉलर के लिए रफ़्तार, लहजा, दोहराव और मेहनत।
- क्या यह सुरक्षित था?क्या एजेंट ने अपनी सीमाओं का सम्मान किया और जब ज़रूरी था तब हैंडओवर किया?
ट्रैक करने लायक मेट्रिक्स
| मेट्रिक | यह क्या बताता है | इसे कैसे पाएँ |
|---|---|---|
| काम पूरा होना | उन कॉल का हिस्सा जहाँ कॉलर का लक्ष्य पूरा हुआ | एक नमूने की इंसानी समीक्षा, साथ में कॉल के नतीजे |
| जवाब की सटीकता | क्या बयान स्वीकृत जानकारी से मेल खाते थे | आपके स्रोतों के सामने इंसानी समीक्षा |
| हैंडओवर दर | कितनी बार कॉलर किसी व्यक्ति को माँगते हैं या उन्हें इसकी ज़रूरत होती है | कॉल के नतीजे और हेल्प डेस्क के अनुरोध |
| दोहराव दर | एजेंट ने कितनी बार कॉलर से कुछ दोबारा कहने को कहा | ट्रांसक्रिप्ट की समीक्षा |
| जवाब का अंतर | कॉलर की बारी ख़त्म होने और एजेंट के जवाब के बीच का समय | कॉल इतिहास में हर बारी की टाइमिंग |
| अबैंडन दर | नतीजे से पहले फ़ोन रख देने वाले कॉलर | कॉल लॉग |
| कॉलर फ़ीडबैक | लोगों को कॉल कैसी लगी | छोटे सर्वे या फ़ॉलो-अप टिप्पणियाँ |
ध्यान दें कि ज़्यादातर उपयोगी मापदंडों के लिए कुछ इंसानी विवेक चाहिए। लॉग की गिनती बताती है कितने, लेकिन सिर्फ़ बातचीत पढ़ने वाला व्यक्ति बता सकता है कि कॉल अच्छी रही या नहीं। दोनों के मिश्रण की उम्मीद रखें। हर तरह की कॉल पर लागू मापदंडों के लिए फ़र्स्ट कॉल रेज़ोल्यूशन और आंसर रेट और अबैंडन रेट देखें।
हाथ से कॉल की समीक्षा
छोटा, नियमित नमूना कभी-कभार की बड़ी समीक्षा से बेहतर है। यादृच्छिक रूप से कॉल चुनें, साथ में कुछ असामान्य दिखने वाली भी, जैसे बहुत छोटी या बहुत लंबी कॉल, हैंडओवर पर ख़त्म हुई कॉल और कॉलर के फ़ोन रखने पर ख़त्म हुई कॉल।
कॉल समीक्षा की दिनचर्या
- नमूना लेंहर हफ़्ते तय संख्या में कॉल चुनें, यादृच्छिक और असामान्य मिलाकर।
- सुनें और पढ़ेंरिकॉर्डिंग चलाएँ और साथ में ट्रांसक्रिप्ट पढ़ें।
- अंक देंहर कॉल को एक आसान पैमाने पर अपने मानदंडों के सामने आँकें।
- कारण नोट करेंलिखें कि कुछ ग़लत क्यों हुआ।
- ठीक करें और फिर परखेंस्रोत, प्रॉम्प्ट या सेटिंग बदलें, फिर उसी मामले को दोबारा परखें।
स्कोरिंग आसान रखें
तीन स्तर काफ़ी हैं: अच्छा, स्वीकार्य और ख़राब, या अलग-अलग बयानों के लिए सटीक, आंशिक और ग़लत। बारीक पैमाने समझ बढ़ाए बिना बहस पैदा करते हैं। कभी-कभी दो लोगों से कुछ एक ही कॉल को अंक दिलवाएँ; अगर वे अक्सर असहमत हों, तो आपके मानदंडों के शब्द और साफ़ होने चाहिए।
याद रखें कि ट्रांसक्रिप्ट ग़लत हो सकते हैं
ट्रांसक्रिप्ट रिकग्नाइज़र का अंदाज़ा है, सच नहीं। अगर कोई ट्रांसक्रिप्ट अजीब लगे, तो एजेंट को दोष देने से पहले ऑडियो सुनें। फ़ोन ऑडियो स्पीच रिकग्निशन के लिए कठिन क्यों है देखें।
रफ़्तार और लय मापना
कॉलर लगभग किसी भी दूसरी चीज़ से ज़्यादा देरी पर ध्यान देते हैं। हर जवाब से पहले के अंतर को ट्रैक करें और सिर्फ़ औसत नहीं, सबसे बुरे मामले देखें, क्योंकि कुछ बहुत लंबे ठहराव पूरी छाप बिगाड़ देते हैं। अगर अंतर लंबे हैं, तो पता करें कि समय कहाँ जाता है; वॉइस AI लेटेंसी बताता है कैसे। बीच में टोकने पर भी ध्यान दें: एजेंट कितनी बार कॉलर के ऊपर बोला, और कितनी बार उसे इंतज़ार कराता रहा?
हाथ से समीक्षा या स्वचालित स्कोरिंग
तरीका चुनना
| हाथ से समीक्षा | स्वचालित स्कोरिंग | |
|---|---|---|
| ताक़त | बारीकियाँ, लहजा और संदर्भ समझती है | हर कॉल को जल्दी कवर करती है |
| कमज़ोरी | धीमी; सिर्फ़ एक नमूना | सूक्ष्म समस्याएँ चूक सकती है या ग़लत आँक सकती है |
| सबसे अच्छा इस्तेमाल | सटीकता, सुरक्षा और कॉलर का अनुभव | उन कॉल को चिह्नित करना जिन्हें इंसानी नज़र चाहिए |
स्वचालित स्कोरिंग, जिसमें दूसरे मॉडलों को अंक देने वाले मॉडल भी शामिल हैं, छँटाई के लिए उपयोगी है: यह परेशानी के संकेतों के आधार पर कॉल को क्रम दे सकती है ताकि लोग पहले सही कॉल देखें। इसे इंसानी सैंपलिंग की जगह नहीं लेनी चाहिए, ख़ास तौर पर सटीकता और सुरक्षा के लिए। आप कोई भी स्वचालित जाँच इस्तेमाल करें, उसे परखने के लिए अपनी समीक्षा की गई कॉल के एक सेट पर उसके फ़ैसलों की तुलना अपने फ़ैसलों से करें।
आँकड़ों को समझदारी से पढ़ना
छोटे नमूने भटकाते हैं। अगर आप दस कॉल की समीक्षा करें और दो ख़राब रहीं, तो आप यह नहीं कह सकते कि पाँच में से एक कॉल ख़राब जाती है; आप सिर्फ़ इतना कह सकते हैं कि आपको ठीक करने लायक दो समस्याएँ मिलीं। नमूनों का इस्तेमाल कारण ढूँढ़ने के लिए करें, दरें घोषित करने के लिए नहीं, जब तक नमूना इतना बड़ा और यादृच्छिक न हो कि उसका आधार बन सके।
एजेंट को स्थिति से अलग करें। सेवा बाधित होने वाले हफ़्ते में काम पूरा होने में गिरावट प्रॉम्प्ट पर फ़ैसला नहीं है। अपने मेट्रिक्स के साथ घटनाएँ नोट करें: नए कामकाजी घंटे, ऐसा अभियान जिसने नए सवाल वाले कॉलर भेजे, स्रोतों में बदलाव। बदलावों का एक आसान लॉग रुझानों को समझाने लायक बनाता है।
आख़िर में, पहले से तय करें कि हर नतीजे के साथ आप क्या करेंगे। दोहराव बढ़ने पर आप साइलेंस सेटिंग देख सकते हैं; किसी एक विषय पर हैंडओवर बढ़ने पर आप उसके लिए सटीक जवाब जोड़ सकते हैं। जिस मेट्रिक के साथ कोई कार्रवाई जुड़ी न हो, वह सिर्फ़ सजावट है।
नतीजे मैनेजरों के साथ-साथ फ़ोन उठाने वाले लोगों के साथ भी साझा करें। स्टाफ़ अक्सर जानता है कि कोई पैटर्न क्यों है, और वही लोग उन कॉल को उठाएँगे जो एजेंट हैंडओवर करता है। उदाहरणों के साथ एक छोटी मासिक समीक्षा, जिसमें अच्छी रही कुछ कॉल भी हों, काम को असली बातचीत से जोड़े रखती है।
Call में मूल्यांकन
Call में AI कॉल इतिहास किसी अवधि की कॉल को नतीजे और, पता होने पर, भावना (सेंटिमेंट) के साथ दिखाता है, और पूरी बातचीत बारी-बारी से खोलता है। मैनेजर कोई कॉल खोलकर देख सकते हैं कि हर बोली गई बारी में कितना समय लगा। Automatic review सेक्शन हाल की कॉल को विषय के अनुसार समूहों में रखता है, बिना इंसानी समीक्षा वाली हाल की कॉल को उन पर मौजूद संकेतों के आधार पर क्रम देता है, और AI सारांशों का एक नमूना देता है जिसे आप सटीक, आंशिक या ग़लत चिह्नित कर सकते हैं, जिससे सारांश की सटीकता का एक चलता हुआ दृश्य बनता है। Conversation AI से आप सहेजे गए हर ट्रांसक्रिप्ट में कोई वाक्यांश भी खोज सकते हैं। ये सब मिलकर आपको ज़रूरी गिनती और सैंपलिंग देते हैं। एजेंट के शब्दों में किए गए सुधार देखने के लिए संपादन इतिहास इस्तेमाल करें।
साप्ताहिक मूल्यांकन चेकलिस्ट
- कॉल का एक तय नमूना पढ़ें, यादृच्छिक और असामान्य
- काम पूरा होने और सटीकता के अंक दें
- हैंडओवर गिनें और नोट करें कि वे क्यों हुए
- सबसे लंबे जवाब के अंतर जाँचें
- उलझन का संकेत देने वाले वाक्यांशों के लिए ट्रांसक्रिप्ट खोजें
- हर समस्या और किया गया सुधार दर्ज करें
- सुधारे गए मामलों को बंद करने से पहले फिर परखें
अक्सर पूछे जाने वाले प्रश्न
वॉइस एजेंट के लिए सबसे उपयोगी एक मेट्रिक कौन-सा है?
कोई एक नहीं है। काम पूरा होना बताता है कि कॉलरों को वह मिला जो उन्हें चाहिए था, लेकिन क्यों, यह देखने के लिए सटीकता, हैंडओवर की गुणवत्ता और टाइमिंग भी चाहिए।
मुझे कितनी कॉल की समीक्षा करनी चाहिए?
एक तय साप्ताहिक नमूना जिसे आप बनाए रख सकें, कभी-कभार के बड़े नमूने से बेहतर है। कम संख्या से शुरू करें और लॉन्च के बदलावों के बाद या समस्याएँ दिखने पर उसे बढ़ाएँ।
क्या मैं सिर्फ़ स्वचालित स्कोरिंग पर भरोसा कर सकता हूँ?
सटीकता या सुरक्षा के लिए नहीं। इसका इस्तेमाल कॉल को क्रम देने और चिह्नित करने के लिए करें, फिर चिह्नित कॉल और एक यादृच्छिक नमूने की समीक्षा लोगों से कराएँ।
ट्रांसक्रिप्ट कभी-कभी रिकॉर्डिंग से मेल क्यों नहीं खाते?
ट्रांसक्रिप्ट स्पीच रिकग्निशन से बनता है और उसमें ग़लतियाँ हो सकती हैं। एजेंट को आँकने से पहले ऑडियो सुनें।
मुझे कैसे पता चले कि किसी बदलाव से सुधार हुआ?
टेस्ट मामलों का एक तय सेट और नियमित समीक्षा दिनचर्या रखें, फिर उन्हीं मानदंडों से बदलाव से पहले और बाद के नतीजों की तुलना करें।
क्या कॉलरों से सर्वे करवाना चाहिए?
कॉल के बाद एक छोटा सवाल उपयोगी जानकारी जोड़ सकता है, लेकिन इसे संक्षिप्त रखें और लोगों से संपर्क के नियमों का सम्मान करें। इसे बातचीत की अपनी समीक्षा के साथ जोड़ें।