Калибровочные сессии в контроле качества: честные оценки
Как проводить калибровочные сессии, чтобы проверяющие оценивали звонки одинаково: выбор звонков, слепая оценка, разбор расхождений, доработка оценочного листа.
Если два проверяющих слушают один звонок и один ставит «очень хорошо», а другой — «провал», операторы быстро перестают доверять оценкам. Калибровка — привычка, которая этого не допускает. Проверяющие оценивают одни и те же звонки по отдельности, сравнивают выводы и устраняют расхождения, чтобы оценка означала одно и то же, кто бы её ни поставил.

В этом руководстве показано, как проводить калибровочные сессии в небольшой команде. Оно опирается на статью Управление качеством звонков и поддерживает цикл обратной связи из статьи Простая схема наставничества операторов по звонкам.
Почему калибровка важна
Оценочные листы пишутся словами, а слова понимают по-разному. «Проявил эмпатию» или «решил вопрос» означают разное для разных проверяющих — или для одного и того же проверяющего в разные дни. Без калибровки возникают три проблемы: несправедливые оценки между операторами, наставничество на основе мнений и отчёты, которые нельзя сравнивать во времени или между командами.
Признаки того, что нужна калибровка
- Операторы оспаривают оценкиГоворят, что другой проверяющий засчитал бы тот же звонок.
- Средние оценки проверяющих различаютсяОдин проверяющий стабильно строже или мягче другого.
- Новые проверяющие «уплывают»Оценки смещаются, когда кто-то приходит в команду или кого-то замещает.
- Пункты оценочного листа расплывчатыРазные люди объясняют их по-разному.
Подготовка сессии
Хорошая сессия требует небольшой подготовки. Ведущим должен быть человек, который хорошо знает оценочный лист и может оставаться нейтральным, — часто это руководитель по качеству или старший руководитель группы.
До сессии
- Выберите три-четыре звонкаВключите явный зачёт, явный провал и хотя бы один пограничный звонок.
- Уберите идентифицирующие данныеСкройте имена операторов, чтобы обсуждение касалось звонка.
- Раздайте оценочный листВсе используют актуальную версию с определениями.
- Попросите оценить независимоКаждый проверяющий ставит оценки до встречи и не обсуждает их с другими.
Лучший материал — реальные звонки. Берите пограничные звонки из обычной проверки: именно в них прячутся расхождения. Убедитесь, что записи можно передавать проверяющим в соответствии с вашими внутренними правилами, и бережно обращайтесь с персональными данными; о записи звонков см. статью Согласие на запись звонков.
Проведение сессии
Начинайте с оценок, а не с мнений. Выведите результаты всех участников по каждому пункту на общий экран и найдите пункты с наибольшими расхождениями. С них и начните.
- Покажите разброс. По каждому звонку выведите итоговую оценку каждого проверяющего и расхождения по пунктам.
- Попросите каждого проверяющего объяснить спорный пункт, сославшись на момент звонка, который определил его решение.
- Вернитесь к формулировке оценочного листа. Ясно ли в ней сказано, что считается зачётом?
- Согласуйте ответ для этого звонка и запишите обоснование.
- Если проблема в формулировке, запишите, что нужно изменить; не правьте её на ходу так, что люди запутаются.
Основные правила
- Обсуждайте звонок и оценочный лист, а не людей.
- Все высказываются до того, как ведущий выскажет своё мнение.
- Расхождения ожидаемы и полезны.
- Решения фиксируются, чтобы следующая сессия не пересматривала их без новых данных.
Пример сессии на практике
Представьте команду из шести человек с тремя проверяющими. Они выбирают четыре звонка и оценивают их по отдельности. По третьему звонку один проверяющий ставит зачёт по пункту о подтверждении данных клиента, а другой — провал. Ведущий просит каждого включить момент, на который он опирался. Выясняется, что оператор подтвердил почтовый индекс, но не имя, а в оценочном листе написано просто «подтвердил данные». Команда соглашается, что в пункте нужно точно перечислить, какие два элемента учитываются, переписывает его и фиксирует решение.
Это небольшое изменение устраняет источник несправедливых оценок во всех будущих проверках. Именно такую закономерность и стоит искать: разногласие по звонку обычно указывает на пробел в оценочном листе.
Не забудьте замкнуть цикл с операторами. Расскажите им, что изменилось в формулировке и почему, и применяйте изменение с объявленной даты, а не переоценивайте старые звонки. Если прошлая оценка была явно несправедливой из-за старой формулировки, открыто исправьте её.
Как превратить разногласия в лучший оценочный лист
Самый ценный результат сессии — обычно более ясный оценочный лист. Если проверяющие расходятся по какому-то пункту, он, скорее всего, расплывчат. Сделайте его конкретным.
| Расплывчатый пункт | Более ясная версия |
|---|---|
| Проявил эмпатию | Признал проблему клиента его же словами, прежде чем предложить решение. |
| Решил вопрос | Дал полный ответ или назначил понятный следующий шаг со сроком. |
| Профессиональный тон | Без перебиваний и сарказма, с вежливым началом и завершением. |
| Соблюдал процедуру | Подтвердил личность клиента по шагам действующей процедуры. |
Добавьте к каждому пункту одну-две примерные фразы для зачёта и для провала. Используйте «Не применимо» осознанно — для пунктов, которые не относятся к данному типу звонков, а не наугад. Держите список критических пунктов, способных провалить весь звонок, очень коротким и делайте их однозначными. Разумный проходной балл — решение вашей команды; не меняйте его, не предупредив операторов.
Как измерять согласованность во времени
Сложная статистика не нужна. Простой показатель — разброс между самой высокой и самой низкой итоговой оценкой по каждому откалиброванному звонку. Отслеживайте средний разброс по месяцам и смотрите, какие пункты вызывают больше всего разногласий.
Как читать разброс
| Небольшой разброс | Большой разброс | |
|---|---|---|
| О чём это говорит | Проверяющие понимают оценочный лист одинаково | Проверяющие понимают его по-разному |
| Что делать | Сохранить ритм и менять звонки | Переписать пункты, добавить примеры, вскоре провести ещё одну сессию |
| Риск | Самоуспокоенность, одни и те же слепые зоны | Несправедливые оценки и недоверие |
Ориентировочно, разброс больше примерно двадцати баллов по стобалльной шкале говорит о том, что проверяющие применяют оценочный лист по-разному и стоит вместе договориться о формулировках. Воспринимайте любое такое число как ориентир для своей команды, а не как стандарт.
Ведите журнал решений. Достаточно простого общего документа с датой, звонком, спорным пунктом и согласованным толкованием. Новые проверяющие могут прочитать его, чтобы понять, как команда применяет оценочный лист, а сам журнал не даёт одному и тому же спору возвращаться каждый месяц. Просматривайте журнал при пересмотре оценочного листа и удаляйте записи, ставшие ненужными благодаря новым формулировкам.
Периодичность и участники
- Ритм: сначала раз в две-четыре недели, затем ежемесячно, когда разброс станет небольшим.
- Кто: все проверяющие плюс один-два руководителя групп. Включайте недавно обученных проверяющих.
- Длительность: сорока пяти минут обычно хватает на три-четыре звонка.
- Операторы: иногда стоит приглашать операторов, используя обезличенные звонки, чтобы они видели, как устроена оценка.
Сочетайте калибровку со своим планом выборки, чтобы проверяющие видели разных операторов и разные типы звонков; см. статью Сколько звонков нужно проверять?. Если звонки предварительно оценивает ИИ-инструмент, включите в калибровку и несколько его результатов, чтобы люди понимали, когда ему можно доверять, а когда — поправлять.
Калибровка в Call
В разделе «Разбор и наставничество» в Call есть блок «Калибровка» со списком звонков, оценённых более чем одним проверяющим, и разбросом между их оценками. Администраторы и менеджеры оценивают звонки из очереди разбора, отмечая каждый пункт оценочного листа как «Зачёт», «Провал» или «Не применимо», а проваленный критический пункт обнуляет оценку. Согласно рекомендациям Call, разброс больше 20 баллов означает, что проверяющие понимают оценочный лист по-разному, и им стоит договориться о нём вместе.
Call также может самостоятельно оценивать некоторые пункты, если вы описали их как слова, которые были или не были произнесены, с помощью правил «Автоматическая оценка». Делайте эти правила узкими и достоверными: лучше пустое правило, чем угаданное. Для очереди разбора и оценочного листа в рабочем пространстве нужен активный оценочный лист, поэтому настройте его, прежде чем планировать вокруг него калибровку.
Частые вопросы
Чем калибровка отличается от обычной проверки качества?
При обычной проверке звонок оценивает один проверяющий. При калибровке несколько проверяющих независимо оценивают один и тот же звонок, а затем сравнивают результаты. Её цель — согласовать проверяющих, а не оценить оператора.
Должны ли у проверяющих совпадать оценки?
Нет. Небольшие расхождения нормальны. Цель — договориться, что считается зачётом по каждому пункту, и держать общий разброс небольшим.
Сколько звонков брать на каждую сессию?
Обычно достаточно трёх-четырёх. Из-за большего числа звонков встреча становится долгой и поверхностной. Выбирайте звонки, которые выявляют разногласия.
Должны ли операторы видеть результаты калибровки?
Операторы должны видеть определения оценочного листа и все изменения, внесённые по итогам калибровки. Делиться ли сравнениями по каждому звонку — решение команды, но открытость укрепляет доверие.
Что делать, если один проверяющий всегда строже?
Посмотрите, какие пункты создают разрыв, и обсудите их на сессии. Часто причина в нечёткой формулировке оценочного листа. Если разрыв сохраняется, дайте этому проверяющему дополнительные пояснения и примеры.
Как часто нужно обновлять оценочный лист?
Обновляйте его, когда калибровка выявляет повторяющуюся путаницу, когда меняется ваш процесс или продукт или когда меняются потребности клиентов. Сообщайте операторам об изменениях.