품질 및 팀 운영

공정한 채점을 위한 QA 평가 보정 세션 운영법

평가자들이 통화를 같은 기준으로 채점하도록 보정 세션을 운영하는 법. 통화 선정, 블라인드 채점, 차이 논의, 평가표 개선, 일치도 추적.

Call 편집팀 · 게시일 · 6분 소요

두 평가자가 같은 통화를 듣고 한 사람은 매우 좋다고, 다른 사람은 불합격이라고 채점한다면 상담원은 금세 점수를 믿지 않게 됩니다. 이를 막는 습관이 평가 보정입니다. 평가자들이 같은 통화를 따로 채점하고, 의견을 비교해 차이를 정리하면 누가 매긴 점수든 같은 의미를 갖게 됩니다.

회의 테이블에 둘러앉아 인쇄한 평가표를 두고 논의하는 소수의 품질 평가자들
참고 이미지

이 가이드에서는 소규모 팀에서 평가 보정 세션을 운영하는 방법을 설명합니다.통화 품질 관리(QA) 기초: 평가표와 코칭을 바탕으로 하며,상담원 통화 코칭을 위한 간단한 프레임워크의 피드백 순환을 뒷받침합니다.

평가 보정이 중요한 이유

평가표는 말로 쓰여 있고, 말은 사람마다 다르게 읽힙니다. "공감을 보였다"나 "문제를 해결했다"는 평가자마다, 심지어 같은 평가자라도 날마다 다른 의미가 됩니다. 평가 보정이 없으면 세 가지 문제가 생깁니다. 상담원 간 불공정한 점수, 개인 의견에 기반한 코칭, 기간이나 팀 간에 비교할 수 없는 리포트입니다.

평가 보정이 필요하다는 신호

  • 상담원이 점수에 이의를 제기함다른 평가자였다면 같은 통화를 통과시켰을 것이라고 말합니다.
  • 평가자별 평균이 다름한 평가자가 다른 평가자보다 꾸준히 엄격하거나 너그럽습니다.
  • 새 평가자의 기준이 흔들림누군가 합류하거나 대신 평가할 때 점수가 달라집니다.
  • 평가표 항목이 모호함사람마다 항목을 다르게 설명합니다.

세션 준비하기

좋은 세션에는 약간의 준비가 필요합니다. 진행자는 평가표를 잘 알고 중립을 지킬 수 있는 사람이 맡아야 하며, 보통 QA 리더나 선임 팀장이 맡습니다.

세션 전에

  1. 통화 서너 건 고르기확실한 통과, 확실한 불합격, 그리고 경계선에 있는 통화를 적어도 하나 포함합니다.
  2. 식별 정보 지우기논의가 통화에 집중되도록 상담원 이름을 가립니다.
  3. 평가표 공유모두가 정의가 포함된 최신 버전을 사용합니다.
  4. 독립 채점 요청각 평가자는 회의 전에 채점하며, 그 내용을 다른 평가자와 이야기하지 않습니다.

실제 통화가 가장 좋은 자료입니다. 평소 검토에서 경계선에 있는 통화를 가져오세요. 의견 차이가 숨어 있는 곳이 바로 그런 통화입니다. 내부 규정에 따라 녹음을 평가자와 공유해도 되는지 확인하고, 개인 정보는 신중하게 다루세요. 녹음 측면은통화 녹음 고지: 문구, 예시, 모범 사례를 참고하세요.

세션 진행하기

의견이 아니라 점수부터 시작하세요. 모든 평가자의 항목별 결과를 공유 화면에 띄우고 차이가 가장 큰 항목을 찾아 그것부터 다룹니다.

  1. 차이를 보여 줍니다. 통화마다 모든 평가자의 총점과 항목별 차이를 표시합니다.
  2. 이견이 있는 항목마다 각 평가자에게 판단 근거가 된 통화 장면을 들어 설명해 달라고 요청합니다.
  3. 평가표 문구로 돌아갑니다. 무엇이 통과인지 분명하게 적혀 있나요?
  4. 이 통화에 대한 결론에 합의하고 그 이유를 기록합니다.
  5. 문구가 문제라면 고칠 내용을 메모하세요. 그 자리에서 고쳐 사람들을 혼란스럽게 하지 마세요.

기본 규칙

가상의 세션 예시

평가자 세 명이 있는 6인 팀을 생각해 봅시다. 팀은 통화 네 건을 골라 각자 채점합니다. 세 번째 통화에서 고객 정보 확인 항목에 한 평가자는 통과를, 다른 평가자는 불합격을 줍니다. 진행자는 각자 근거로 삼은 장면을 들려 달라고 합니다. 알고 보니 상담원은 우편번호는 확인했지만 이름은 확인하지 않았고, 평가표에는 그저 "정보 확인"이라고만 적혀 있었습니다. 팀은 어떤 두 가지 정보를 확인해야 하는지 항목에 정확히 적기로 합의하고, 문구를 고친 뒤 결정을 기록합니다.

이 작은 변화로 앞으로의 모든 검토에서 불공정한 점수의 원인 하나가 사라집니다. 찾아야 할 패턴이 바로 이것입니다. 통화에 대한 의견 차이는 대개 평가표에 빈틈이 있다는 신호입니다.

상담원에게도 결과를 알려 주세요. 문구가 어떻게, 왜 바뀌었는지 설명하고, 지난 통화를 다시 채점하지 말고 정해진 날짜부터 변경을 적용하세요. 예전 문구 때문에 과거 점수가 명백히 불공정했다면 바로잡는 과정을 투명하게 공개하세요.

의견 차이를 더 나은 평가표로 바꾸기

세션의 가장 값진 결과는 대개 더 명확해진 평가표입니다. 평가자들이 한 항목에서 의견이 갈린다면 그 항목은 아마 모호할 것입니다. 구체적으로 만드세요.

모호한 항목더 명확한 버전
공감을 보였다해결책을 제시하기 전에 고객의 문제를 고객의 표현으로 인정했다.
문제를 해결했다완전한 답을 주었거나, 시간을 포함한 분명한 다음 단계를 정했다.
전문적인 말투끼어들지 않았고, 비꼬지 않았으며, 정중하게 시작하고 마무리했다.
절차를 따랐다현행 절차의 단계에 따라 고객 본인 확인을 했다.

각 항목에 통과와 불합격의 예시 문구를 한두 개씩 덧붙이세요. 통화 유형에 해당하지 않는 항목에는 짐작하지 말고 의도적으로 '해당 없음'을 쓰세요. 통화 전체를 불합격시킬 수 있는 핵심 항목은 아주 적게 유지하고, 해석의 여지가 없게 만드세요. 합격 기준을 어느 정도로 할지는 팀이 결정할 일이며, 상담원에게 알리지 않고 바꾸지 마세요.

시간에 따른 일치도 측정

복잡한 통계는 필요 없습니다. 간단한 척도는 보정한 통화마다 가장 높은 총점과 가장 낮은 총점의 차이입니다. 월별 평균 차이를 추적하고, 의견이 가장 많이 갈리는 항목을 살펴보세요.

점수 차이 읽기

차이가 작을 때차이가 클 때
의미하는 것평가자들이 평가표를 비슷하게 읽고 있음평가자들이 평가표를 다르게 읽고 있음
할 일루틴을 유지하고 통화를 바꿔 가며 사용항목을 다시 쓰고 예시를 추가하며 곧 다시 세션 진행
위험안주, 같은 사각지대불공정한 점수와 불신

경험적으로 100점 만점에서 점수 차이가 약 20점을 넘으면 평가자들이 평가표를 다르게 쓰고 있다는 신호이며, 문구를 함께 합의해 볼 가치가 있습니다. 이런 수치는 표준이 아니라 팀을 위한 참고 기준으로 다루세요.

결정 기록을 남기세요. 날짜, 통화, 이견이 있었던 항목, 합의한 해석을 적은 간단한 공유 문서면 충분합니다. 새 평가자는 이를 읽고 팀이 평가표를 어떻게 적용하는지 배울 수 있으며, 같은 논쟁이 매달 되풀이되는 것을 막을 수 있습니다. 평가표를 고칠 때 기록을 검토하고, 새 문구로 필요 없어진 항목은 정리하세요.

빈도와 참여자

평가자가 다양한 상담원과 통화 유형을 접하도록 평가 보정을 샘플링 계획과 연계하세요.통화는 몇 건이나 검토해야 할까? QA 샘플링 가이드를 참고하세요. AI 도구가 통화를 미리 채점한다면 그 결과도 몇 건 평가 보정에 포함해, 언제 믿고 언제 뒤집어야 하는지 익히게 하세요.

Call에서의 평가 보정

Call의 '검토와 코칭' 영역에는 '평가 보정' 섹션이 있어, 두 명 이상의 평가자가 채점한 통화를 평가자 간 점수 차이와 함께 보여 줍니다. 관리자와 매니저는 검토 대기 목록에서 평가표 항목마다 '통과', '실패', 해당 없음으로 통화를 채점하며, 핵심 항목이 실패하면 점수가 0이 됩니다. Call의 안내에 따르면 점수 차이가 20점을 넘으면 평가자들이 평가표를 다르게 읽고 있다는 뜻이므로 함께 합의해야 합니다.

'자동 채점' 규칙을 사용하면 말했거나 말하지 않은 단어로 설명한 일부 항목은 Call이 자체적으로 채점할 수도 있습니다. 이 규칙은 좁고 정확하게 유지하세요. 짐작으로 만든 규칙보다는 빈 규칙이 낫습니다. 검토 대기 목록과 평가표를 쓰려면 워크스페이스에 활성화된 평가표가 있어야 하므로, 이를 중심으로 평가 보정을 계획하기 전에 먼저 설정하세요.

자주 묻는 질문

평가 보정은 일반 품질 검토와 무엇이 다른가요?

일반 검토에서는 평가자 한 명이 통화를 채점합니다. 평가 보정에서는 여러 평가자가 같은 통화를 각자 채점한 뒤 비교합니다. 목적은 상담원을 평가하는 것이 아니라 평가자들의 기준을 맞추는 것입니다.

평가자들이 똑같은 점수를 줘야 하나요?

아닙니다. 작은 차이는 자연스럽습니다. 목표는 항목마다 무엇이 통과인지 합의하고 전체 점수 차이를 작게 유지하는 것입니다.

세션마다 통화는 몇 건을 써야 하나요?

대개 서너 건이면 충분합니다. 통화가 많아지면 회의가 길어지고 논의가 얕아집니다. 의견 차이를 드러내는 통화를 고르세요.

상담원에게 평가 보정 결과를 보여 줘야 하나요?

상담원은 평가표의 정의와 평가 보정으로 바뀐 내용을 볼 수 있어야 합니다. 통화별 비교까지 공유할지는 팀이 정할 일이지만, 투명할수록 신뢰가 쌓입니다.

한 평가자가 늘 더 엄격하다면 어떻게 하나요?

어떤 항목에서 차이가 생기는지 살펴보고 세션에서 논의하세요. 평가표 문구가 불분명한 경우가 많습니다. 차이가 계속된다면 해당 평가자에게 추가 지침과 예시를 주세요.

평가표는 얼마나 자주 업데이트해야 하나요?

평가 보정에서 같은 혼란이 반복될 때, 업무 절차나 제품이 바뀔 때, 고객의 요구가 달라질 때 업데이트하세요. 변경 사항은 상담원에게 알리세요.

Call에서 같은 통화에 대한 평가자별 점수 비교하기

데모 콘솔에서 수신 통화를 시뮬레이션으로 체험할 수 있습니다.

관련 가이드