Якість і команда

Калібрувальні сесії QA: як зберегти справедливість оцінювання

Як проводити калібрувальні сесії, щоб оцінювачі однаково оцінювали дзвінки: вибір дзвінків, сліпе оцінювання, розбір розбіжностей, уточнення оцінної картки.

Редакція Call · Опубліковано · Читати 5 хв

Якщо двоє оцінювачів слухають той самий дзвінок і один ставить «дуже добре», а другий — «не пройдено», оператори швидко перестають довіряти оцінкам. Калібрування — звичка, яка цьому запобігає. Оцінювачі окремо оцінюють ті самі дзвінки, порівнюють нотатки й залагоджують розбіжності, щоб оцінка означала одне й те саме незалежно від того, хто її поставив.

Невелика група оцінювачів якості обговорює роздруковану оцінну картку за столом для нарад
Ілюстрація

Цей посібник показує, як проводити калібрувальні сесії в невеликій команді. Він спирається на посібник «Управління якістю дзвінків» і підтримує цикл зворотного зв'язку з посібника «Проста система наставництва операторів на основі дзвінків».

Чому калібрування важливе

Оцінні картки складаються зі слів, а слова розуміють по-різному. «Проявив емпатію» чи «вирішив питання» означають різне для різних оцінювачів або для того самого оцінювача в різні дні. Без калібрування виникають три проблеми: несправедливі оцінки між операторами, наставництво на основі суб'єктивної думки і звіти, які не можна порівняти в часі чи між командами.

Ознаки того, що вам потрібне калібрування

  • Оператори оскаржують оцінкиВони кажуть, що інший оцінювач зарахував би той самий дзвінок.
  • Середні оцінки оцінювачів різнятьсяОдин оцінювач стабільно суворіший чи поблажливіший за іншого.
  • Нові оцінювачі «дрейфують»Оцінки зсуваються, коли хтось приєднується або заміщає колегу.
  • Пункти оцінної картки розмитіРізні люди пояснюють їх по-різному.

Підготовка сесії

Добра сесія потребує трохи підготовки. Модератором має бути людина, яка добре знає оцінну картку й може залишатися нейтральною, часто це керівник QA або старший керівник команди.

Перед сесією

  1. Оберіть три-чотири дзвінкиДодайте очевидно вдалий, очевидно невдалий і щонайменше один пограничний дзвінок.
  2. Приберіть ідентифікаційні даніПриховайте імена операторів, щоб обговорення стосувалося дзвінка.
  3. Поширте оцінну карткуУсі користуються поточною версією з визначеннями.
  4. Попросіть оцінити незалежноКожен оцінювач ставить оцінки до зустрічі й не обговорює їх з іншими.

Найкращий матеріал — реальні дзвінки. Беріть пограничні дзвінки зі звичайної перевірки, бо саме в них ховаються розбіжності. Переконайтеся, що записи можна показувати оцінювачам згідно з вашими внутрішніми правилами, і обережно поводьтеся з персональними даними; про бік запису див. «Згода на запис дзвінків».

Проведення сесії

Почніть з оцінок, а не з думок. Виведіть результати всіх учасників за кожним пунктом на спільний екран і знайдіть пункти з найбільшими розбіжностями. Розберіть їх першими.

  1. Покажіть розкид. Для кожного дзвінка виведіть загальну оцінку кожного оцінювача та розбіжності за пунктами.
  2. Попросіть кожного оцінювача пояснити спірний пункт, пославшись на момент дзвінка, який визначив його рішення.
  3. Поверніться до формулювань оцінної картки. Чи там чітко сказано, що вважається проходженням?
  4. Узгодьте відповідь для цього дзвінка і запишіть аргументацію.
  5. Якщо проблема у формулюванні, занотуйте потрібну зміну; не виправляйте його на льоту так, щоб це заплутало людей.

Основні правила

Умовна сесія на практиці

Уявіть команду із шести людей, де троє — оцінювачі. Вони обирають чотири дзвінки й оцінюють їх самостійно. На третьому дзвінку один оцінювач зараховує пункт про підтвердження даних клієнта, а інший — ні. Модератор просить кожного увімкнути момент, на який він спирався. З'ясовується, що оператор підтвердив поштовий індекс, але не ім'я, а в оцінній картці написано просто «підтвердити дані». Команда погоджується, що пункт має точно перелічувати, які два елементи даних враховуються, переписує його і фіксує рішення.

Ця невелика зміна усуває джерело несправедливих оцінок у всіх майбутніх перевірках. Саме такої закономірності варто шукати: розбіжність щодо дзвінка зазвичай сигналізує про прогалину в оцінній картці.

Не забудьте повідомити операторів. Розкажіть, що змінилося у формулюванні і чому, і застосовуйте зміну з визначеної дати, а не переоцінюйте старі дзвінки. Якщо минула оцінка була явно несправедливою через старе формулювання, відкрито її виправте.

Як перетворити розбіжності на кращу оцінну картку

Найцінніший результат сесії — зазвичай чіткіша оцінна картка. Якщо оцінювачі розходяться щодо пункту, він, імовірно, розмитий. Зробіть його конкретним.

Розмитий пунктЧіткіша версія
Проявив емпатіюВизнав проблему клієнта його ж словами, перш ніж запропонувати рішення.
Вирішив питанняДав повну відповідь або визначив чіткий наступний крок зі строком.
Професійний тонБез перебивань, без сарказму, з увічливим початком і завершенням.
Дотримався процедуриПеревірив особу клієнта за кроками чинної процедури.

До кожного пункту додайте одну-дві фрази-приклади проходження і непроходження. Свідомо використовуйте позначку «не застосовується» для пунктів, які не стосуються певного типу дзвінків, замість того щоб угадувати. Критичні пункти, через які може не пройти весь дзвінок, тримайте в дуже короткому списку й формулюйте однозначно. Розумний прохідний бал — рішення вашої команди; не змінюйте його, не повідомивши операторів.

Вимірювання узгодженості з часом

Складна статистика не потрібна. Простий показник — розкид між найвищою й найнижчою загальною оцінкою для кожного каліброваного дзвінка. Відстежуйте середній розкид за місяцями і дивіться, які пункти спричиняють найбільше розбіжностей.

Як читати розкид

Малий розкидВеликий розкид
Що це означаєОцінювачі розуміють оцінну картку схожеОцінювачі розуміють її по-різному
Що робитиЗберігати порядок роботи й чергувати дзвінкиПереписати пункти, додати приклади, найближчим часом провести ще одну сесію
РизикСамозаспокоєння, однакові сліпі зониНесправедливі оцінки й недовіра

Як орієнтир: розкид понад приблизно двадцять балів за стобальною шкалою свідчить, що оцінювачі користуються оцінною карткою по-різному і варто разом узгодити формулювання. Сприймайте будь-яке таке число як орієнтир для своєї команди, а не як стандарт.

Ведіть журнал рішень. Достатньо простого спільного документа з датою, дзвінком, спірним пунктом і узгодженим тлумаченням. Нові оцінювачі можуть читати його, щоб зрозуміти, як команда застосовує оцінну картку, а він не дає тій самій суперечці повертатися щомісяця. Переглядайте журнал під час оновлення оцінної картки і прибирайте записи, які нове формулювання зробило зайвими.

Частота і учасники

Поєднуйте калібрування з планом вибірки, щоб оцінювачі бачили різних операторів і різні типи дзвінків; див. «Скільки дзвінків варто перевіряти?». Якщо дзвінки попередньо оцінює інструмент ШІ, включайте в калібрування й кілька його результатів, щоб люди вчилися розуміти, коли йому довіряти, а коли — виправляти.

Калібрування в Call

Розділ «Розбір і наставництво» в Call містить секцію «Калібрування», де перелічено дзвінки, які оцінили кілька оцінювачів, разом із розкидом між їхніми оцінками. Адміністратори й менеджери оцінюють дзвінки з черги на перевірку, ставлячи для кожного пункту оцінної картки «Пройдено», «Провал» або «не застосовується», а критичні пункти обнуляють оцінку, якщо їх не пройдено. Call рекомендує: розкид понад 20 балів означає, що оцінювачі розуміють оцінну картку по-різному, тож їм варто разом її узгодити.

Call також може самостійно оцінювати деякі пункти, якщо ви описали їх як слова, що були або не були сказані, за допомогою правил «Автоматичне оцінювання». Робіть ці правила вузькими й правдивими: порожнє правило краще за вгадане. Черга на перевірку й оцінна картка потребують активної оцінної картки у вашому робочому просторі, тож налаштуйте її, перш ніж планувати калібрування на її основі.

Часті запитання

Чим калібрування відрізняється від звичайної перевірки якості?

Під час звичайної перевірки дзвінок оцінює один оцінювач. Під час калібрування кілька оцінювачів незалежно оцінюють той самий дзвінок, а потім порівнюють. Його мета — узгодити оцінювачів, а не оцінити оператора.

Чи мають оцінювачі ставити однакові оцінки?

Ні. Невеликі відмінності нормальні. Мета — домовитися, що вважається проходженням для кожного пункту, і тримати загальний розкид малим.

Скільки дзвінків розбирати на кожній сесії?

Зазвичай достатньо трьох-чотирьох. Більша кількість робить зустріч довгою і поверховою. Обирайте дзвінки, які виявляють розбіжності.

Чи мають оператори бачити результати калібрування?

Оператори мають бачити визначення оцінної картки та будь-які зміни, що випливають із калібрування. Чи ділитися порівняннями за кожним дзвінком, вирішує команда, але відкритість зміцнює довіру.

Що робити, якщо один оцінювач завжди суворіший?

Подивіться, які пункти створюють розрив, і обговоріть їх на сесії. Часто справа в нечіткому формулюванні оцінної картки. Якщо розрив зберігається, дайте цьому оцінювачеві додаткові пояснення й приклади.

Як часто слід оновлювати оцінну картку?

Оновлюйте її, коли калібрування виявляє повторювану плутанину, коли змінюються ваш процес чи продукт або потреби клієнтів. Повідомляйте операторів про зміни.

Порівнюйте оцінки різних оцінювачів для того самого дзвінка в Call

У демоконсолі можна випробувати вхідні дзвінки в симуляції.

Схожі посібники

Якість і команда

Як запобігти вигоранню операторів контакт-центру

Тривожні ознаки вигорання операторів, його типові причини в роботі з дзвінками і практичні кроки проти нього: графіки, навантаження, відновлення, підтримка.

Редакція Call ·
Якість і команда

План адаптації нових операторів контакт-центру на 30 днів

Потижневий план введення нових операторів у роботу: підготовка, спостереження, дзвінки з підтримкою, зворотний зв'язок і огляд через 30 днів і чек-лист керівника.

Редакція Call ·
Якість і команда

Справедливе оцінювання роботи операторів: практичний посібник

Як справедливо оцінювати операторів: показники, на які вони впливають, вибірка реальних дзвінків, калібрування оцінювачів і перехід до наставництва.

Редакція Call ·
Якість і команда

Проста система наставництва операторів на основі дзвінків

Система наставництва для керівників команд: оберіть дзвінки, задайте один фокус, проведіть коротку сесію, узгодьте дію і перевірте, чи покращилися дзвінки.

Редакція Call ·