Качество и команда

Калибровочные сессии в контроле качества: честные оценки

Как проводить калибровочные сессии, чтобы проверяющие оценивали звонки одинаково: выбор звонков, слепая оценка, разбор расхождений, доработка оценочного листа.

Редакция Call · Опубликовано · Читать 5 мин

Если два проверяющих слушают один звонок и один ставит «очень хорошо», а другой — «провал», операторы быстро перестают доверять оценкам. Калибровка — привычка, которая этого не допускает. Проверяющие оценивают одни и те же звонки по отдельности, сравнивают выводы и устраняют расхождения, чтобы оценка означала одно и то же, кто бы её ни поставил.

Небольшая группа специалистов по качеству обсуждает распечатанный оценочный лист за столом переговоров
Иллюстрация

В этом руководстве показано, как проводить калибровочные сессии в небольшой команде. Оно опирается на статью Управление качеством звонков и поддерживает цикл обратной связи из статьи Простая схема наставничества операторов по звонкам.

Почему калибровка важна

Оценочные листы пишутся словами, а слова понимают по-разному. «Проявил эмпатию» или «решил вопрос» означают разное для разных проверяющих — или для одного и того же проверяющего в разные дни. Без калибровки возникают три проблемы: несправедливые оценки между операторами, наставничество на основе мнений и отчёты, которые нельзя сравнивать во времени или между командами.

Признаки того, что нужна калибровка

  • Операторы оспаривают оценкиГоворят, что другой проверяющий засчитал бы тот же звонок.
  • Средние оценки проверяющих различаютсяОдин проверяющий стабильно строже или мягче другого.
  • Новые проверяющие «уплывают»Оценки смещаются, когда кто-то приходит в команду или кого-то замещает.
  • Пункты оценочного листа расплывчатыРазные люди объясняют их по-разному.

Подготовка сессии

Хорошая сессия требует небольшой подготовки. Ведущим должен быть человек, который хорошо знает оценочный лист и может оставаться нейтральным, — часто это руководитель по качеству или старший руководитель группы.

До сессии

  1. Выберите три-четыре звонкаВключите явный зачёт, явный провал и хотя бы один пограничный звонок.
  2. Уберите идентифицирующие данныеСкройте имена операторов, чтобы обсуждение касалось звонка.
  3. Раздайте оценочный листВсе используют актуальную версию с определениями.
  4. Попросите оценить независимоКаждый проверяющий ставит оценки до встречи и не обсуждает их с другими.

Лучший материал — реальные звонки. Берите пограничные звонки из обычной проверки: именно в них прячутся расхождения. Убедитесь, что записи можно передавать проверяющим в соответствии с вашими внутренними правилами, и бережно обращайтесь с персональными данными; о записи звонков см. статью Согласие на запись звонков.

Проведение сессии

Начинайте с оценок, а не с мнений. Выведите результаты всех участников по каждому пункту на общий экран и найдите пункты с наибольшими расхождениями. С них и начните.

  1. Покажите разброс. По каждому звонку выведите итоговую оценку каждого проверяющего и расхождения по пунктам.
  2. Попросите каждого проверяющего объяснить спорный пункт, сославшись на момент звонка, который определил его решение.
  3. Вернитесь к формулировке оценочного листа. Ясно ли в ней сказано, что считается зачётом?
  4. Согласуйте ответ для этого звонка и запишите обоснование.
  5. Если проблема в формулировке, запишите, что нужно изменить; не правьте её на ходу так, что люди запутаются.

Основные правила

Пример сессии на практике

Представьте команду из шести человек с тремя проверяющими. Они выбирают четыре звонка и оценивают их по отдельности. По третьему звонку один проверяющий ставит зачёт по пункту о подтверждении данных клиента, а другой — провал. Ведущий просит каждого включить момент, на который он опирался. Выясняется, что оператор подтвердил почтовый индекс, но не имя, а в оценочном листе написано просто «подтвердил данные». Команда соглашается, что в пункте нужно точно перечислить, какие два элемента учитываются, переписывает его и фиксирует решение.

Это небольшое изменение устраняет источник несправедливых оценок во всех будущих проверках. Именно такую закономерность и стоит искать: разногласие по звонку обычно указывает на пробел в оценочном листе.

Не забудьте замкнуть цикл с операторами. Расскажите им, что изменилось в формулировке и почему, и применяйте изменение с объявленной даты, а не переоценивайте старые звонки. Если прошлая оценка была явно несправедливой из-за старой формулировки, открыто исправьте её.

Как превратить разногласия в лучший оценочный лист

Самый ценный результат сессии — обычно более ясный оценочный лист. Если проверяющие расходятся по какому-то пункту, он, скорее всего, расплывчат. Сделайте его конкретным.

Расплывчатый пунктБолее ясная версия
Проявил эмпатиюПризнал проблему клиента его же словами, прежде чем предложить решение.
Решил вопросДал полный ответ или назначил понятный следующий шаг со сроком.
Профессиональный тонБез перебиваний и сарказма, с вежливым началом и завершением.
Соблюдал процедуруПодтвердил личность клиента по шагам действующей процедуры.

Добавьте к каждому пункту одну-две примерные фразы для зачёта и для провала. Используйте «Не применимо» осознанно — для пунктов, которые не относятся к данному типу звонков, а не наугад. Держите список критических пунктов, способных провалить весь звонок, очень коротким и делайте их однозначными. Разумный проходной балл — решение вашей команды; не меняйте его, не предупредив операторов.

Как измерять согласованность во времени

Сложная статистика не нужна. Простой показатель — разброс между самой высокой и самой низкой итоговой оценкой по каждому откалиброванному звонку. Отслеживайте средний разброс по месяцам и смотрите, какие пункты вызывают больше всего разногласий.

Как читать разброс

Небольшой разбросБольшой разброс
О чём это говоритПроверяющие понимают оценочный лист одинаковоПроверяющие понимают его по-разному
Что делатьСохранить ритм и менять звонкиПереписать пункты, добавить примеры, вскоре провести ещё одну сессию
РискСамоуспокоенность, одни и те же слепые зоныНесправедливые оценки и недоверие

Ориентировочно, разброс больше примерно двадцати баллов по стобалльной шкале говорит о том, что проверяющие применяют оценочный лист по-разному и стоит вместе договориться о формулировках. Воспринимайте любое такое число как ориентир для своей команды, а не как стандарт.

Ведите журнал решений. Достаточно простого общего документа с датой, звонком, спорным пунктом и согласованным толкованием. Новые проверяющие могут прочитать его, чтобы понять, как команда применяет оценочный лист, а сам журнал не даёт одному и тому же спору возвращаться каждый месяц. Просматривайте журнал при пересмотре оценочного листа и удаляйте записи, ставшие ненужными благодаря новым формулировкам.

Периодичность и участники

Сочетайте калибровку со своим планом выборки, чтобы проверяющие видели разных операторов и разные типы звонков; см. статью Сколько звонков нужно проверять?. Если звонки предварительно оценивает ИИ-инструмент, включите в калибровку и несколько его результатов, чтобы люди понимали, когда ему можно доверять, а когда — поправлять.

Калибровка в Call

В разделе «Разбор и наставничество» в Call есть блок «Калибровка» со списком звонков, оценённых более чем одним проверяющим, и разбросом между их оценками. Администраторы и менеджеры оценивают звонки из очереди разбора, отмечая каждый пункт оценочного листа как «Зачёт», «Провал» или «Не применимо», а проваленный критический пункт обнуляет оценку. Согласно рекомендациям Call, разброс больше 20 баллов означает, что проверяющие понимают оценочный лист по-разному, и им стоит договориться о нём вместе.

Call также может самостоятельно оценивать некоторые пункты, если вы описали их как слова, которые были или не были произнесены, с помощью правил «Автоматическая оценка». Делайте эти правила узкими и достоверными: лучше пустое правило, чем угаданное. Для очереди разбора и оценочного листа в рабочем пространстве нужен активный оценочный лист, поэтому настройте его, прежде чем планировать вокруг него калибровку.

Частые вопросы

Чем калибровка отличается от обычной проверки качества?

При обычной проверке звонок оценивает один проверяющий. При калибровке несколько проверяющих независимо оценивают один и тот же звонок, а затем сравнивают результаты. Её цель — согласовать проверяющих, а не оценить оператора.

Должны ли у проверяющих совпадать оценки?

Нет. Небольшие расхождения нормальны. Цель — договориться, что считается зачётом по каждому пункту, и держать общий разброс небольшим.

Сколько звонков брать на каждую сессию?

Обычно достаточно трёх-четырёх. Из-за большего числа звонков встреча становится долгой и поверхностной. Выбирайте звонки, которые выявляют разногласия.

Должны ли операторы видеть результаты калибровки?

Операторы должны видеть определения оценочного листа и все изменения, внесённые по итогам калибровки. Делиться ли сравнениями по каждому звонку — решение команды, но открытость укрепляет доверие.

Что делать, если один проверяющий всегда строже?

Посмотрите, какие пункты создают разрыв, и обсудите их на сессии. Часто причина в нечёткой формулировке оценочного листа. Если разрыв сохраняется, дайте этому проверяющему дополнительные пояснения и примеры.

Как часто нужно обновлять оценочный лист?

Обновляйте его, когда калибровка выявляет повторяющуюся путаницу, когда меняется ваш процесс или продукт или когда меняются потребности клиентов. Сообщайте операторам об изменениях.

Сравнивайте оценки разных проверяющих по одному звонку в Call

В демо-консоли можно попробовать входящие звонки в режиме симуляции.

Похожие руководства

Качество и команда

Как предотвратить выгорание операторов контакт-центра

Признаки выгорания операторов, его типичные причины в работе на телефоне и практические шаги по его снижению: графики, нагрузка, время на восстановление и поддержка.

Редакция Call ·
Качество и команда

План адаптации новых операторов контакт-центра на 30 дней

Понедельный план ввода новых операторов в работу: подготовка, наблюдение, звонки с поддержкой, обратная связь и итоговая встреча через 30 дней, плюс чек-лист.

Редакция Call ·
Качество и команда

Справедливая оценка работы операторов: практическое руководство

Как справедливо оценивать работу операторов: выбирайте показатели, на которые они влияют, используйте выборку реальных звонков, калибруйте проверяющих и учите.

Редакция Call ·
Качество и команда

Простая схема наставничества операторов по звонкам

Повторяемая схема наставничества для руководителей групп: выбор звонков, один фокус, короткая встреча, одно действие и проверка результата.

Редакция Call ·