AI 접수 담당자가 효과가 있는지 측정하기
부재중 전화와 메시지 품질부터 콜백, 발신자 의견까지, AI 접수 담당자가 도움이 되는지 알려 주는 숫자와 검토 방법을 소개합니다.
AI 접수 담당자가 전화를 받고 있으니 효과가 있다고 느끼기 쉽습니다. 하지만 그것이 사업에 도움이 되는지 알기는 더 어렵습니다. 측정 계획이 없으면 인상에 의존하게 됩니다. 대표가 좋은 통화 하나와 나쁜 통화 하나를 보고, 그에 따라 의견이 오락가락합니다.

이 가이드는 데이터 팀 없이도 소규모 사업체가 추적할 수 있는 몇 가지 지표와, 이를 개선으로 이어 가는 루틴을 제안합니다. 컨택센터의 더 넓은 지표는컨택센터 KPI 목록을 참고하십시오.
성공부터 정의하기
성공의 기준은 AI를 도입한 이유에 달려 있습니다. 데이터를 보기 전에 목표를 한 문장으로 적어 두십시오. 그렇지 않으면 좋아 보이는 숫자만 고르게 됩니다.
흔한 목표와 그 지표
- 부재중 전화 줄이기응답한 통화, 포기 통화, 무응답 통화.
- 영업시간 외 응대 개선영업시간 외에 받은 메시지와 그중 일로 이어진 수.
- 직원의 업무 중단 줄이기직원 없이 처리된 통화와 반복 질문에서 절약한 시간.
- 발신자 경험 개선불만, 반복 전화, 발신자의 의견.
처음에는 목표를 한두 개만 고르고, 팀 전체가 볼 수 있는 곳에 적어 두십시오. 지표가 스무 개나 되는 평가표는 거의 읽히지 않습니다.
기준치 잡기
비교하려면 '이전'이 필요합니다. 현재 방식으로 2~4주 동안 데이터를 모으십시오.
기준치 만들기
- 통화 세기전체 통화 수와 응답되지 않은 통화 수.
- 시간 기록공백이 언제 생겼고 발신자가 얼마나 기다렸는지.
- 용건 표본 조사표본을 읽거나 들어서 발신자가 무엇을 물었는지 확인.
- 소요 시간 기록반복 질문에 쓴 직원 시간 추정.
- 저장나중에 비교할 수 있도록 수치를 한곳에 보관.
리포트가 없다면 집계표로도 충분합니다. 기준치는 정밀할 필요가 없고, 정직하기만 하면 됩니다. 정의는응답률과 포기율을 참고하십시오.
핵심 지표
짧은 목록으로 대부분의 필요를 채울 수 있습니다. 매번 같은 방식으로 측정하십시오.
| 지표 | 알려 주는 것 | 확인 방법 |
|---|---|---|
| 응답한 통화 | 발신자가 누군가 또는 무언가와 연결되는지 | 상태별 통화 이력 |
| 포기 통화 | 발신자가 포기하는지 | 통화 이력에서 결과 없는 짧은 통화 |
| 쓸 만한 메시지 | 추가 통화 없이 조치할 수 있는 메시지인지 | 매주 메시지 10개 표본 검토 |
| 완료한 콜백 | 메시지가 실제 연락으로 이어지는지 | 메시지 대비 콜백 수 집계 |
| 사람 없이 처리된 통화 | AI가 간단한 질문을 해결하는지 | 메시지 없이 끝난 통화의 전사 검토 |
| 사람에게 인계된 통화 | AI가 자신의 한계를 아는지 | 넘겨진 통화와 그 이유 집계 |
| 불만 | 발신자가 불만족스러워하는지 | 직원 메모와 서면 의견 |
정확해 보이지만 의미 없는 계산은 피하십시오. 깔끔한 퍼센트가 나쁜 경험을 감출 수 있습니다. 예를 들어 대부분의 통화가 바로 끊긴 것이라면 "AI가 대부분의 통화를 처리했다"는 의미가 없습니다. AI가 받았다는 사실만이 아니라 통화에서 무슨 일이 있었는지 늘 물어보십시오. 콜백 지표는콜백 완료율을 읽어 보십시오.
통화 읽기
숫자는 무슨 일이 있었는지 보여 주고, 전사는 왜 그랬는지 보여 줍니다. 첫 달에는 일주일에 통화 스무 개를 읽는 것이 어떤 차트보다 많은 것을 알려 줍니다.
- 발신자는 어디에서 같은 말을 반복합니까?
- AI가 피하거나 잘못 답하는 질문은 무엇입니까?
- 발신자는 어디에서 사람을 찾습니까?
- 발신자 유형마다 말투가 적절합니까?
- 예상하지 못한 질문이 있습니까?
문제를 공유 목록에 표시하고, 정보 부족, 불분명한 표현, 잘못된 라우팅, 시스템의 한계처럼 원인별로 묶으십시오. 가장 자주 나타나는 원인부터 고치십시오.통화에서 지식의 빈틈 찾기와음성 AI 평가 지표를 참고하십시오.
발신자에게 부담 없이 묻기
직접 받은 의견은 가치 있지만 지나치기 쉽습니다. 모든 발신자에게 평가를 요청하지 마십시오. 일부 경우에 짧은 후속 질문을 하거나, 고객이 직원과 이야기할 때 하는 말에 기대는 것으로 충분합니다.
발신자의 의견을 듣는 방법
| 통화 후 묻기 | 하는 말 듣기 | |
|---|---|---|
| 수고 | 설문이나 후속 연락이 필요함 | 전사와 직원 메모를 읽음 |
| 편향 | 응답한 사람만 반영 | 전화한 모든 사람을 포함 |
| 적합한 용도 | 구체적인 질문 | 패턴 파악 |
설문을 한다면 질문은 한두 개로 제한하십시오. 피로감을 피하는 방법은통화 후 CSAT를 참고하고, 고객에게 연락하는 것에 관한 규정은 국가마다 다르다는 점을 기억하십시오.
검토 주기
1년에 한 번 크게 검토하는 것보다 습관이 낫습니다. 지금 단계에 맞게 빈도를 정하십시오.
검토 주기
- 첫 주에는 매일: 모든 메시지와 통화 몇 개 읽기
- 첫 달에는 매주: 핵심 지표를 검토하고 가장 큰 문제 고치기
- 그 후에는 매달: 기준치와 비교하고 팀과 공유하기
- 분기마다: 목표가 바뀌었는지 묻기
- 변경 후에는 언제나: 다음 한 주 동안 효과 확인하기
한 번에 하나씩 바꾸십시오. 인사말, 자료, 라우팅을 함께 바꾸면 어느 것이 효과가 있었는지 알 수 없습니다.
경고 신호
대표 수치가 어떻든 문제를 시사하는 패턴이 있습니다.
- 인사말 직후에 사람을 찾는 발신자.
- 번호가 빠졌거나 틀린 메시지가 많음.
- 직원이 발신자에게 같은 질문을 다시 함.
- 같은 문제로 인한 반복 전화 증가.
- 분명한 이유 없이 갑자기 끝나는 통화.
이런 신호가 보이면 관련 통화를 곧바로 읽으십시오. 자료, 지침, 음질을 확인하십시오. 에이전트가 어떤 주제에 계속 답하지 못한다면 콘텐츠를 추가하거나 그 주제를 사람에게 넘기십시오.
한 장짜리 평가표 예시
가상의 소규모 사업체를 위한 간단한 평가표입니다. 매주 우리 통화 이력의 수치로 채우십시오.
| 질문 | 이번 주 | 지난주 | 메모 |
|---|---|---|---|
| 전화가 몇 통 들어왔습니까? | 직접 기입 | 직접 기입 | 영업시간 외 포함 |
| 몇 통이 응답되지 않았습니까? | 직접 기입 | 직접 기입 | 기준치와 비교 |
| 쓸 만한 메시지는 몇 개입니까? | 직접 기입 | 직접 기입 | 10개 표본 |
| 콜백은 몇 건 완료했습니까? | 직접 기입 | 직접 기입 | 목표 시간 이내 |
| 사람을 찾은 발신자는 몇 명입니까? | 직접 기입 | 직접 기입 | 패턴 찾기 |
| 이번 주 가장 중요한 수정은 무엇이었습니까? | 직접 기입 | 직접 기입 | 변경은 하나만 |
이런 평가표는 10분이면 됩니다. 가치는 어느 한 숫자가 아니라 습관과 추세에 있습니다. 지난 평가표를 보관하십시오. 몇 주가 지나면 우리 사업의 평소 모습이 보이고, 이는 다른 곳의 벤치마크보다 유용하며, 변화도 금방 알아챌 수 있습니다. 콜백을 담당하는 사람과 평가표를 공유해 모두가 같은 그림을 보고 느낀 점을 말할 수 있게 하십시오. 도구가 효과가 있다는 것은 수치뿐 아니라 주변 사람들도 그렇게 말할 때입니다.
피해야 할 함정
- 응답한 통화를 성공으로 센다. 혼란으로 끝난 응답 통화는 실패입니다.
- 숫자 하나만 좇는다. 처리 시간을 줄이려고 밀어붙이면 도움이 되는 대화까지 짧아질 수 있습니다.
- 상황이 다른 주를 비교한다. 공휴일이나 프로모션은 패턴을 바꿉니다.
- 작은 표본을 무시한다. 통화가 몇 개뿐이면 나쁜 통화 하나가 추세처럼 보입니다. 결론을 내리기 전에 충분한 데이터를 모으십시오.
- 직원을 잊는다. 후속 업무에 대한 직원의 견해 자체가 하나의 지표입니다.
Call에서 측정하기
Call의 통화 이력에는 모든 통화가 상태, 회선, 결과, 통화 시간, 요약과 함께 나열되며, AI 통화 기록은 목록 옆에 각 대화를 보여 줍니다. 무응답이나 음성사서함 같은 상태로 필터링할 수 있고, 통화를 스프레드시트로 내보낼 수 있습니다. 분석 페이지에서는 통화 활동과 AI 수신 통화를 보여 주며, 에이전트가 통화에서 학습한 내용을 보여 주고 변경을 되돌릴 수 있는 페이지도 있습니다. 이런 도구가 숫자를 주고, 전사가 이유를 알려 줍니다.
자주 묻는 질문
가장 중요한 지표 하나를 꼽는다면 무엇입니까?
목표에 따라 다릅니다. 대부분의 소규모 사업체에는 응답한 통화 수보다, 답변이나 조치 가능한 메시지처럼 유용한 결과를 얻은 발신자 수가 더 많은 것을 알려 줍니다.
판단하기까지 얼마나 걸립니까?
패턴이 보일 만큼 통화가 쌓이도록 최소 몇 주는 지켜보십시오. 첫 주에는 눈에 띄는 문제를 잡기 위해 매일 결과를 보십시오.
대시보드가 필요합니까?
처음에는 필요 없습니다. 주간 집계와 전사 표본이면 충분합니다. 집계로는 답할 수 없는 질문이 생기면 그때 대시보드를 추가하십시오.
AI가 틀린 답을 하고 있는지 어떻게 압니까?
전사를 읽고, 답을 아는 질문으로 테스트하고, 직원에게 오류를 표시해 달라고 하십시오. 틀린 답은 발신자가 다시 전화하거나 AI의 말을 반박하는 형태로 드러나는 경우가 많습니다.
사람 접수 담당자와 비교해야 합니까?
같은 지표로 이전 방식과 비교하십시오. 사람과 AI는 잘하는 일이 다르므로, 비교는 점수를 매기는 것이 아니라 개선하는 데 쓰십시오.
숫자는 좋아 보이는데 직원이 불만스러워하면 어떻게 합니까?
직원을 믿으십시오. 직원은 후속 업무와 숫자가 감추는 문제를 봅니다. 무엇이 잘못되고 있는지 묻고 고치십시오.