Сесии за калибриране на качеството за справедливо оценяване
Как да провеждате сесии за калибриране, за да оценяват всички обажданията еднакво: избор на обаждания, сляпо оценяване, обсъждане и проследяване на съгласието.
Ако двама оценяващи слушат едно и също обаждане и единият го оцени много добре, а другият – като неуспешно, служителите бързо спират да вярват на оценките. Калибрирането е навикът, който предотвратява това. Оценяващите оценяват едни и същи обаждания поотделно, сравняват бележките си и изглаждат разликите, така че оценката да означава едно и също, независимо кой я е дал.

Това ръководство показва как да провеждате сесии за калибриране в малък екип. То надгражда Управление на качеството на обажданията и подкрепя цикъла на обратна връзка от Проста рамка за коучинг на служители по време на обаждания.
Защо калибрирането има значение
Оценъчните карти са написани с думи, а думите се четат различно. „Прояви емпатия“ или „реши проблема“ означават различни неща за различните оценяващи или за един и същ оценяващ в различни дни. Без калибриране получавате три проблема: несправедливи оценки между служителите, коучинг, основан на мнение, и отчети, които не могат да се сравняват във времето или между екипите.
Признаци, че имате нужда от калибриране
- Служителите оспорват оценкитеКазват, че друг оценяващ би приел същото обаждане.
- Средните оценки на оценяващите се различаватЕдин оценяващ е постоянно по-строг или по-снизходителен от друг.
- Новите оценяващи се отклоняватОценките се изместват, когато някой се присъедини или замества.
- Точките в картата са неясниРазличните хора ги обясняват различно.
Подготовка на сесията
Добрата сесия изисква малко подготовка. Водещият трябва да е човек, който познава картата добре и може да остане неутрален, често ръководител по QA или старши ръководител на екип.
Преди сесията
- Изберете три или четири обажданияВключете едно ясно успешно, едно ясно неуспешно и поне едно гранично обаждане.
- Премахнете идентифициращите данниСкрийте имената на служителите, за да остане обсъждането върху обаждането.
- Споделете оценъчната картаВсички използват текущата версия с дефинициите.
- Поискайте независимо оценяванеВсеки оценяващ оценява преди срещата и не го обсъжда с останалите.
Истинските обаждания дават най-добрия материал. Вземете граничните обаждания от обичайния си преглед, защото именно в тях се крие несъгласието. Проверете дали записите могат да се споделят с оценяващите съгласно вътрешните ви правила и обработвайте внимателно личните данни; вижте Известия за запис на обаждания за страната на записа.
Провеждане на сесията
Започнете с оценките, а не с мненията. Покажете резултатите на всички по точки на общ екран и потърсете точките с най-голяма разлика. Започнете с тях.
- Посочете разликата. За всяко обаждане покажете общата оценка от всеки оценяващ и разликите по отделните точки.
- Помолете всеки оценяващ да обясни спорна точка, като цитира момента от обаждането, който е определил решението му.
- Върнете се към формулировката в картата. Казва ли ясно какво се смята за успех?
- Договорете отговора за това обаждане и запишете аргументите.
- Ако проблемът е във формулировката, запишете промяната, която трябва да се направи; не я поправяйте на място по начин, който обърква хората.
Основни правила
- Обсъждайте обаждането и картата, а не хората.
- Всички говорят, преди водещият да изкаже мнение.
- Несъгласието е очаквано и полезно.
- Решенията се записват, за да не се отварят отново на следващата сесия без нова информация.
Хипотетична сесия на практика
Представете си екип от шестима души с трима оценяващи. Избират четири обаждания и ги оценяват поотделно. При третото обаждане един оценяващ дава успех по точката за потвърждаване на данните на клиента, а друг – неуспех. Водещият моли всеки да пусне момента, на който се е опрял. Оказва се, че служителят е потвърдил пощенския код, но не и името, а картата казва просто „потвърди данните“. Екипът се съгласява, че точката трябва да посочва точно кои две данни се броят, пренаписва я и записва решението.
Тази малка промяна премахва източник на несправедливи оценки във всеки бъдещ преглед. Това е моделът, който да търсите: несъгласието за дадено обаждане обикновено е знак за пропуск в картата.
Не забравяйте да затворите кръга със служителите. Кажете им какво се е променило във формулировката и защо и прилагайте промяната от обявена дата, вместо да преоценявате стари обаждания. Ако предишна оценка е била явно несправедлива заради старата формулировка, бъдете открити за поправката ѝ.
Как несъгласието да доведе до по-добра оценъчна карта
Най-ценният резултат от една сесия обикновено е по-ясна карта. Ако оценяващите не са съгласни по дадена точка, тя вероятно е неясна. Направете я конкретна.
| Неясна точка | По-ясна версия |
|---|---|
| Прояви емпатия | Призна проблема на клиента с неговите думи, преди да предложи решение. |
| Реши проблема | Даде пълен отговор или зададе ясна следваща стъпка със срок. |
| Професионален тон | Без прекъсване, без сарказъм, с учтиво начало и край. |
| Спази процеса | Провери самоличността на клиента със стъпките от текущата процедура. |
Добавете към всяка точка един-два примерни израза за успех и за неуспех. Използвайте „N/A“ съзнателно за точки, които не се отнасят за даден вид обаждане, вместо да гадаете. Поддържайте критичните точки, онези, които могат да провалят цялото обаждане, в много кратък списък и ги направете еднозначни. Разумният праг за успех е решение на екипа ви; не го променяйте, без да кажете на служителите.
Измерване на съгласието във времето
Не ви трябва сложна статистика. Една проста мярка е разликата между най-високата и най-ниската обща оценка за всяко калибрирано обаждане. Следете средната разлика по месеци и вижте кои точки предизвикват най-много несъгласие.
Как да четете разликата
| Малка разлика | Голяма разлика | |
|---|---|---|
| Какво подсказва | Оценяващите четат картата по сходен начин | Оценяващите я четат различно |
| Какво да направите | Запазете рутината и редувайте обажданията | Пренапишете точките, добавете примери, проведете скоро нова сесия |
| Риск | Самодоволство, едни и същи слепи петна | Несправедливи оценки и недоверие |
Като общо правило разлика над около двайсет точки по стоточкова скала е знак, че оценяващите използват картата различно и че си струва заедно да се договорите за формулировката. Приемайте всяко такова число като ориентир за собствения си екип, а не като стандарт.
Водете дневник на решенията. Достатъчен е прост общ документ с датата, обаждането, спорната точка и договореното тълкуване. Новите оценяващи могат да го прочетат, за да научат как екипът прилага картата, а той не позволява същият спор да се връща всеки месец. Преглеждайте дневника, когато преработвате картата, и премахвайте записите, които новата формулировка прави излишни.
Честота и участници
- Ритъм: на всеки две до четири седмици в началото, после веднъж месечно, щом разликата стане малка.
- Кой: всички оценяващи плюс един-двама ръководители на екипи. Включете и новообучените оценяващи.
- Продължителност: четирийсет и пет минути обикновено стигат за три или четири обаждания.
- Служители: помислете дали от време на време да не поканите служители, с анонимизирани обаждания, за да видят как работи оценяването.
Съчетайте калибрирането с плана си за извадка, така че оценяващите да виждат различни служители и видове обаждания; вижте Колко обаждания да преглеждате?. Ако инструмент с ИИ предварително оценява обажданията, включете и няколко от неговите резултати в калибрирането, за да научат хората кога да му се доверяват и кога да го коригират.
Калибриране в Call
Разделът „Преглед и наставничество“ в Call включва секция „Калибриране“, в която са изброени обажданията, оценени от повече от един оценяващ, заедно с разликата между оценките им. Администраторите и мениджърите оценяват обажданията от опашката за преглед с „Преминава“, „Провал“ или N/A за всяка точка от оценъчната карта, а критичните точки нулират оценката, ако не минат. Указанието в Call е, че разлика над 20 точки означава, че оценяващите четат картата различно, затова трябва заедно да се договорят за нея.
Call може също сам да оценява някои точки, когато ги опишете като думи, които са казани или не са казани, с помощта на правилата за „Автоматично оценяване“. Поддържайте тези правила тесни и верни; празно правило е по-добро от отгатнато. Опашката за преглед и оценъчната карта изискват активна оценъчна карта в работното ви пространство, затова я настройте, преди да планирате калибриране около нея.
Често задавани въпроси
С какво калибрирането се различава от обичайните прегледи на качеството?
При обичайния преглед един оценяващ оценява обаждане. При калибрирането няколко оценяващи оценяват едно и също обаждане независимо и после сравняват. Целта е да се съгласуват оценяващите, а не да се оцени служителят.
Трябва ли оценяващите да получат еднакви оценки?
Не. Малките разлики са нормални. Целта е да се договорите какво се смята за успех по всяка точка и общата разлика да остане малка.
Колко обаждания да използваме на всяка сесия?
Обикновено три или четири са достатъчни. Повече обаждания правят срещата дълга и повърхностна. Изберете обаждания, които извеждат несъгласието наяве.
Трябва ли служителите да виждат резултатите от калибрирането?
Служителите трябва да виждат дефинициите в картата и всички промени, произтичащи от калибрирането. Дали да споделяте сравненията обаждане по обаждане, е решение на екипа, но откритостта изгражда доверие.
Ами ако един оценяващ винаги е по-строг?
Вижте кои точки създават разликата и ги обсъдете на сесията. Често формулировката в картата е неясна. Ако разликата остане, дайте на този оценяващ допълнителни указания и примери.
Колко често трябва да се актуализира оценъчната карта?
Актуализирайте я, когато калибрирането покаже повтарящо се объркване, когато процесът или продуктът ви се промени или когато нуждите на клиентите се променят. Обявявайте промените пред служителите.