Калібрувальні сесії QA: як зберегти справедливість оцінювання
Як проводити калібрувальні сесії, щоб оцінювачі однаково оцінювали дзвінки: вибір дзвінків, сліпе оцінювання, розбір розбіжностей, уточнення оцінної картки.
Якщо двоє оцінювачів слухають той самий дзвінок і один ставить «дуже добре», а другий — «не пройдено», оператори швидко перестають довіряти оцінкам. Калібрування — звичка, яка цьому запобігає. Оцінювачі окремо оцінюють ті самі дзвінки, порівнюють нотатки й залагоджують розбіжності, щоб оцінка означала одне й те саме незалежно від того, хто її поставив.

Цей посібник показує, як проводити калібрувальні сесії в невеликій команді. Він спирається на посібник «Управління якістю дзвінків» і підтримує цикл зворотного зв'язку з посібника «Проста система наставництва операторів на основі дзвінків».
Чому калібрування важливе
Оцінні картки складаються зі слів, а слова розуміють по-різному. «Проявив емпатію» чи «вирішив питання» означають різне для різних оцінювачів або для того самого оцінювача в різні дні. Без калібрування виникають три проблеми: несправедливі оцінки між операторами, наставництво на основі суб'єктивної думки і звіти, які не можна порівняти в часі чи між командами.
Ознаки того, що вам потрібне калібрування
- Оператори оскаржують оцінкиВони кажуть, що інший оцінювач зарахував би той самий дзвінок.
- Середні оцінки оцінювачів різнятьсяОдин оцінювач стабільно суворіший чи поблажливіший за іншого.
- Нові оцінювачі «дрейфують»Оцінки зсуваються, коли хтось приєднується або заміщає колегу.
- Пункти оцінної картки розмитіРізні люди пояснюють їх по-різному.
Підготовка сесії
Добра сесія потребує трохи підготовки. Модератором має бути людина, яка добре знає оцінну картку й може залишатися нейтральною, часто це керівник QA або старший керівник команди.
Перед сесією
- Оберіть три-чотири дзвінкиДодайте очевидно вдалий, очевидно невдалий і щонайменше один пограничний дзвінок.
- Приберіть ідентифікаційні даніПриховайте імена операторів, щоб обговорення стосувалося дзвінка.
- Поширте оцінну карткуУсі користуються поточною версією з визначеннями.
- Попросіть оцінити незалежноКожен оцінювач ставить оцінки до зустрічі й не обговорює їх з іншими.
Найкращий матеріал — реальні дзвінки. Беріть пограничні дзвінки зі звичайної перевірки, бо саме в них ховаються розбіжності. Переконайтеся, що записи можна показувати оцінювачам згідно з вашими внутрішніми правилами, і обережно поводьтеся з персональними даними; про бік запису див. «Згода на запис дзвінків».
Проведення сесії
Почніть з оцінок, а не з думок. Виведіть результати всіх учасників за кожним пунктом на спільний екран і знайдіть пункти з найбільшими розбіжностями. Розберіть їх першими.
- Покажіть розкид. Для кожного дзвінка виведіть загальну оцінку кожного оцінювача та розбіжності за пунктами.
- Попросіть кожного оцінювача пояснити спірний пункт, пославшись на момент дзвінка, який визначив його рішення.
- Поверніться до формулювань оцінної картки. Чи там чітко сказано, що вважається проходженням?
- Узгодьте відповідь для цього дзвінка і запишіть аргументацію.
- Якщо проблема у формулюванні, занотуйте потрібну зміну; не виправляйте його на льоту так, щоб це заплутало людей.
Основні правила
- Обговорюйте дзвінок і оцінну картку, а не людей.
- Усі висловлюються до того, як модератор поділиться своєю думкою.
- Розбіжності очікувані й корисні.
- Рішення фіксуються, щоб наступна сесія не відкривала їх знову без нової інформації.
Умовна сесія на практиці
Уявіть команду із шести людей, де троє — оцінювачі. Вони обирають чотири дзвінки й оцінюють їх самостійно. На третьому дзвінку один оцінювач зараховує пункт про підтвердження даних клієнта, а інший — ні. Модератор просить кожного увімкнути момент, на який він спирався. З'ясовується, що оператор підтвердив поштовий індекс, але не ім'я, а в оцінній картці написано просто «підтвердити дані». Команда погоджується, що пункт має точно перелічувати, які два елементи даних враховуються, переписує його і фіксує рішення.
Ця невелика зміна усуває джерело несправедливих оцінок у всіх майбутніх перевірках. Саме такої закономірності варто шукати: розбіжність щодо дзвінка зазвичай сигналізує про прогалину в оцінній картці.
Не забудьте повідомити операторів. Розкажіть, що змінилося у формулюванні і чому, і застосовуйте зміну з визначеної дати, а не переоцінюйте старі дзвінки. Якщо минула оцінка була явно несправедливою через старе формулювання, відкрито її виправте.
Як перетворити розбіжності на кращу оцінну картку
Найцінніший результат сесії — зазвичай чіткіша оцінна картка. Якщо оцінювачі розходяться щодо пункту, він, імовірно, розмитий. Зробіть його конкретним.
| Розмитий пункт | Чіткіша версія |
|---|---|
| Проявив емпатію | Визнав проблему клієнта його ж словами, перш ніж запропонувати рішення. |
| Вирішив питання | Дав повну відповідь або визначив чіткий наступний крок зі строком. |
| Професійний тон | Без перебивань, без сарказму, з увічливим початком і завершенням. |
| Дотримався процедури | Перевірив особу клієнта за кроками чинної процедури. |
До кожного пункту додайте одну-дві фрази-приклади проходження і непроходження. Свідомо використовуйте позначку «не застосовується» для пунктів, які не стосуються певного типу дзвінків, замість того щоб угадувати. Критичні пункти, через які може не пройти весь дзвінок, тримайте в дуже короткому списку й формулюйте однозначно. Розумний прохідний бал — рішення вашої команди; не змінюйте його, не повідомивши операторів.
Вимірювання узгодженості з часом
Складна статистика не потрібна. Простий показник — розкид між найвищою й найнижчою загальною оцінкою для кожного каліброваного дзвінка. Відстежуйте середній розкид за місяцями і дивіться, які пункти спричиняють найбільше розбіжностей.
Як читати розкид
| Малий розкид | Великий розкид | |
|---|---|---|
| Що це означає | Оцінювачі розуміють оцінну картку схоже | Оцінювачі розуміють її по-різному |
| Що робити | Зберігати порядок роботи й чергувати дзвінки | Переписати пункти, додати приклади, найближчим часом провести ще одну сесію |
| Ризик | Самозаспокоєння, однакові сліпі зони | Несправедливі оцінки й недовіра |
Як орієнтир: розкид понад приблизно двадцять балів за стобальною шкалою свідчить, що оцінювачі користуються оцінною карткою по-різному і варто разом узгодити формулювання. Сприймайте будь-яке таке число як орієнтир для своєї команди, а не як стандарт.
Ведіть журнал рішень. Достатньо простого спільного документа з датою, дзвінком, спірним пунктом і узгодженим тлумаченням. Нові оцінювачі можуть читати його, щоб зрозуміти, як команда застосовує оцінну картку, а він не дає тій самій суперечці повертатися щомісяця. Переглядайте журнал під час оновлення оцінної картки і прибирайте записи, які нове формулювання зробило зайвими.
Частота і учасники
- Частота: спочатку раз на два-чотири тижні, потім щомісяця, коли розкид стане малим.
- Хто: усі оцінювачі плюс один-два керівники команд. Залучайте й щойно навчених оцінювачів.
- Тривалість: сорока п'яти хвилин зазвичай достатньо для трьох-чотирьох дзвінків.
- Оператори: варто часом запрошувати операторів, з анонімізованими дзвінками, щоб вони бачили, як працює оцінювання.
Поєднуйте калібрування з планом вибірки, щоб оцінювачі бачили різних операторів і різні типи дзвінків; див. «Скільки дзвінків варто перевіряти?». Якщо дзвінки попередньо оцінює інструмент ШІ, включайте в калібрування й кілька його результатів, щоб люди вчилися розуміти, коли йому довіряти, а коли — виправляти.
Калібрування в Call
Розділ «Розбір і наставництво» в Call містить секцію «Калібрування», де перелічено дзвінки, які оцінили кілька оцінювачів, разом із розкидом між їхніми оцінками. Адміністратори й менеджери оцінюють дзвінки з черги на перевірку, ставлячи для кожного пункту оцінної картки «Пройдено», «Провал» або «не застосовується», а критичні пункти обнуляють оцінку, якщо їх не пройдено. Call рекомендує: розкид понад 20 балів означає, що оцінювачі розуміють оцінну картку по-різному, тож їм варто разом її узгодити.
Call також може самостійно оцінювати деякі пункти, якщо ви описали їх як слова, що були або не були сказані, за допомогою правил «Автоматичне оцінювання». Робіть ці правила вузькими й правдивими: порожнє правило краще за вгадане. Черга на перевірку й оцінна картка потребують активної оцінної картки у вашому робочому просторі, тож налаштуйте її, перш ніж планувати калібрування на її основі.
Часті запитання
Чим калібрування відрізняється від звичайної перевірки якості?
Під час звичайної перевірки дзвінок оцінює один оцінювач. Під час калібрування кілька оцінювачів незалежно оцінюють той самий дзвінок, а потім порівнюють. Його мета — узгодити оцінювачів, а не оцінити оператора.
Чи мають оцінювачі ставити однакові оцінки?
Ні. Невеликі відмінності нормальні. Мета — домовитися, що вважається проходженням для кожного пункту, і тримати загальний розкид малим.
Скільки дзвінків розбирати на кожній сесії?
Зазвичай достатньо трьох-чотирьох. Більша кількість робить зустріч довгою і поверховою. Обирайте дзвінки, які виявляють розбіжності.
Чи мають оператори бачити результати калібрування?
Оператори мають бачити визначення оцінної картки та будь-які зміни, що випливають із калібрування. Чи ділитися порівняннями за кожним дзвінком, вирішує команда, але відкритість зміцнює довіру.
Що робити, якщо один оцінювач завжди суворіший?
Подивіться, які пункти створюють розрив, і обговоріть їх на сесії. Часто справа в нечіткому формулюванні оцінної картки. Якщо розрив зберігається, дайте цьому оцінювачеві додаткові пояснення й приклади.
Як часто слід оновлювати оцінну картку?
Оновлюйте її, коли калібрування виявляє повторювану плутанину, коли змінюються ваш процес чи продукт або потреби клієнтів. Повідомляйте операторів про зміни.