음성 AI 기술

음성 에이전트의 대화를 평가하는 방법: 지표와 검토

전화 음성 에이전트를 판단하는 실무 방법입니다. 추적할 지표, 통화 표본 추출과 채점, 발견한 내용을 개선으로 이어 가는 방법을 다룹니다.

Call 편집팀 · 게시일 · 6분 소요

음성 에이전트가 실제 통화를 받기 시작하면 질문은 "작동하는가"에서 "잘 작동하는가"로 바뀝니다. 많은 팀이 몇 통의 통화에서 받은 막연한 인상으로 답합니다. 약간의 체계만 갖춰도 훨씬 나은 정보를 얻고, 다음에 무엇을 고칠지 알 수 있습니다.

동료와 함께 통화 품질 메모를 검토하는 팀장
참고 이미지

이 가이드는 전화 음성 에이전트를 위한 간단한 평가 방법을 제시합니다. 어떤 지표를 추적할지, 통화를 직접 검토하는 방법, 발견한 내용을 개선으로 바꾸는 방법입니다.음성 AI 에이전트 테스트와콜센터 KPI의 일반 지표를 바탕으로 합니다.

우리에게 '좋음'이 무엇인지부터 정하기

식당에게 좋은 통화와 병원에게 좋은 통화는 같지 않습니다. 지표를 고르기 전에, 예상되는 통화 유형마다 성공한 통화가 어떤 모습인지 한두 문장으로 적으십시오. 발신자의 질문에 답했다, 올바른 정보로 메시지를 받았다, 발신자가 알맞은 사람과 연결되었다 등입니다. 나머지는 모두 이 정의에서 출발합니다.

모든 평가가 던지는 다섯 가지 질문

  • 발신자의 말을 이해했는가?에이전트가 질문과 세부 정보를 정확히 들었습니까?
  • 답이 옳았는가?승인된 정보 범위 안에서, 지어낸 것 없이 정확했습니까?
  • 통화가 쓸모 있게 마무리되었는가?과제가 완료되었거나, 메시지를 받았거나, 인계가 이루어졌습니까?
  • 경험이 받아들일 만했는가?속도, 말투, 반복, 발신자가 들인 수고.
  • 안전했는가?에이전트가 한계를 지키고 필요할 때 넘겼습니까?

추적할 만한 지표

지표알려 주는 것얻는 방법
과제 완료발신자의 목적이 달성된 통화의 비율표본에 대한 사람의 검토와 통화 결과
답변 정확도말한 내용이 승인된 정보와 일치했는지자료와 대조한 사람의 검토
인계율발신자가 사람을 찾거나 사람이 필요한 빈도통화 결과와 헬프데스크의 요청
반복률에이전트가 발신자에게 다시 말해 달라고 한 빈도전사 검토
응답 공백발신자의 차례가 끝난 뒤 에이전트가 답하기까지의 시간통화 이력의 차례별 타이밍
포기율결과가 나오기 전에 끊은 발신자통화 기록
발신자 의견사람들이 통화에 대해 느낀 점짧은 설문이나 후속 의견

유용한 지표 대부분에 사람의 판단이 어느 정도 필요하다는 점에 주목하십시오. 기록의 집계는 얼마나 많은지 알려 주지만, 통화가 잘 되었는지는 대화를 읽는 사람만 알 수 있습니다. 둘을 함께 쓸 각오를 하십시오. 모든 종류의 통화에 적용되는 지표는첫 통화 해결과응답률과 포기율을 참고하십시오.

통화를 직접 검토하기

가끔 하는 대규모 검토보다 작고 규칙적인 표본이 낫습니다. 무작위로 통화를 고르고, 아주 짧거나 아주 긴 통화, 인계로 끝난 통화, 발신자가 끊어 버린 통화처럼 특이해 보이는 통화도 몇 개 더하십시오.

통화 검토 루틴

  1. 표본 추출매주 정해진 수의 통화를 무작위 통화와 특이한 통화를 섞어 고릅니다.
  2. 듣고 읽기녹음을 재생하면서 전사를 함께 읽습니다.
  3. 채점간단한 척도로 각 통화를 기준에 따라 평가합니다.
  4. 원인 기록무엇이 왜 잘못되었는지 적습니다.
  5. 수정과 재테스트자료, 프롬프트, 설정을 바꾸고 같은 사례를 다시 테스트합니다.

채점은 단순하게

세 단계면 충분합니다. 좋음, 보통, 나쁨, 또는 개별 발언에 대해 정확, 부분 정확, 틀림입니다. 세밀한 척도는 통찰은 더하지 않고 논쟁만 만듭니다. 가끔 두 사람이 같은 통화 몇 개를 채점해 보십시오. 의견이 자주 엇갈린다면 기준의 표현을 더 분명히 해야 합니다.

전사도 틀릴 수 있다는 점 기억하기

전사는 사실이 아니라 인식기의 추측입니다. 전사가 이상해 보이면 에이전트를 탓하기 전에 오디오를 들어 보십시오.전화 음성이 음성 인식에 어려운 이유를 참고하십시오.

속도와 리듬 측정하기

발신자는 다른 어떤 요소보다 지연을 잘 알아챕니다. 각 답변 전의 공백을 추적하되, 몇 번의 아주 긴 멈춤이 인상을 망치므로 평균만이 아니라 최악의 경우를 보십시오. 공백이 길다면 시간이 어디에 쓰이는지 나눠 보십시오.음성 AI 지연 시간에서 방법을 보여 줍니다. 끼어들기에도 주의하십시오. 에이전트가 얼마나 자주 발신자의 말 위로 말했고, 얼마나 자주 발신자를 기다리게 했습니까?

사람의 검토와 자동 채점

방법 고르기

사람의 검토자동 채점
강점뉘앙스, 말투, 맥락을 이해함모든 통화를 빠르게 다룸
약점느림, 표본만 가능미묘한 문제를 놓치거나 잘못 판단할 수 있음
적합한 용도정확성, 안전성, 발신자 경험사람이 볼 만한 통화 표시

다른 모델을 채점하는 모델을 포함한 자동 채점은 분류에 유용합니다. 문제의 징후에 따라 통화 순위를 매겨, 사람이 먼저 봐야 할 통화를 보게 해 줍니다. 하지만 특히 정확성과 안전성에 관해서는 사람의 표본 검토를 대신해서는 안 됩니다. 어떤 자동 점검을 쓰든, 직접 검토한 통화 세트에서 그 판정을 내 판단과 비교해 테스트하십시오.

숫자를 분별 있게 읽기

작은 표본은 오해를 낳습니다. 통화 열 개를 검토해 두 개가 나빴다고 해서 다섯 통화 중 하나가 나쁘다고 말할 수는 없습니다. 고칠 만한 문제 두 개를 찾았다고만 말할 수 있습니다. 표본이 그것을 뒷받침할 만큼 크고 무작위가 아니라면, 표본은 비율을 발표하는 데가 아니라 원인을 찾는 데 쓰십시오.

에이전트와 상황을 구분하십시오. 서비스 장애가 있던 주에 과제 완료율이 떨어진 것은 프롬프트에 대한 평가가 아닙니다. 새 영업시간, 새로운 질문을 가진 발신자를 몰고 온 캠페인, 자료 변경처럼 지표 옆에 사건을 기록해 두십시오. 간단한 변경 기록이 추세를 설명할 수 있게 해 줍니다.

마지막으로, 결과마다 무엇을 할지 미리 정하십시오. 반복이 늘면 무음 설정을 살펴보고, 특정 주제에서 인계가 늘면 그 주제에 정확한 답변을 추가할 수 있습니다. 연결된 조치가 없는 지표는 장식일 뿐입니다.

결과는 매니저뿐 아니라 전화를 받는 사람들과도 공유하십시오. 직원은 왜 그런 패턴이 생기는지 아는 경우가 많고, 에이전트가 넘긴 통화를 받는 것도 그들입니다. 잘된 통화 몇 개를 포함한 사례와 함께 매달 짧게 검토하면 실제 대화에 발을 딛고 일할 수 있습니다.

Call에서 평가하기

Call의 AI 통화 기록에는 기간별 통화가 결과, 그리고 파악된 경우 감정과 함께 나열되며, 대화 전체를 차례별로 열어 볼 수 있습니다. 매니저는 통화를 열어 각 발화 차례가 얼마나 걸렸는지 볼 수 있습니다. 자동 검토 영역은 최근 통화를 주제별로 묶고, 사람이 검토하지 않은 최근 통화를 신호에 따라 순위를 매기며, AI 요약 표본을 제공해 정확, 부분 정확, 틀림으로 표시하게 하고 이를 요약 정확도 추이에 반영합니다. 대화 AI에서는 저장된 모든 전사에서 특정 표현을 검색할 수도 있습니다. 이들을 함께 쓰면 필요한 집계와 표본 검토를 모두 할 수 있습니다. 에이전트의 표현에 가해진 수정은 수정 이력에서 확인하십시오.

주간 평가 체크리스트

  • 무작위 통화와 특이한 통화로 정해진 수의 표본 읽기
  • 과제 완료와 정확도 채점하기
  • 인계 건수를 세고 이유 기록하기
  • 가장 긴 응답 공백 확인하기
  • 혼란을 나타내는 표현을 전사에서 검색하기
  • 문제와 수정 내용을 모두 기록하기
  • 종료하기 전에 수정한 사례를 다시 테스트하기

자주 묻는 질문

음성 에이전트에서 가장 유용한 지표 하나를 꼽는다면 무엇입니까?

하나만 꼽을 수는 없습니다. 과제 완료는 발신자가 필요한 것을 얻었는지 알려 주지만, 그 이유를 보려면 정확도, 인계 품질, 타이밍도 필요합니다.

통화는 몇 개나 검토해야 합니까?

가끔 하는 대규모 검토보다 꾸준히 할 수 있는 매주 정해진 표본이 낫습니다. 적당한 수로 시작해, 운영 변경 후나 문제가 보일 때 늘리십시오.

자동 채점에만 의존해도 됩니까?

정확성이나 안전성에 대해서는 안 됩니다. 통화 순위를 매기고 표시하는 데 쓰고, 표시된 통화와 무작위 표본은 사람이 검토하게 하십시오.

전사가 녹음과 다를 때가 있는 이유는 무엇입니까?

전사는 음성 인식이 만든 것이라 오류가 있을 수 있습니다. 에이전트를 판단하기 전에 오디오를 들어 보십시오.

변경이 개선으로 이어졌는지 어떻게 압니까?

정해진 테스트 사례 세트와 정기 검토 루틴을 유지하고, 같은 기준으로 변경 전후의 결과를 비교하십시오.

발신자에게 설문을 해야 합니까?

통화 후 짧은 질문 하나는 유용한 정보가 될 수 있지만, 짧게 하고 연락에 관한 규정을 지키십시오. 대화를 직접 검토하는 것과 함께 쓰십시오.

Call의 통화 이력에서 AI 대화를 검토해 보십시오

데모 콘솔에서 수신 통화를 시뮬레이션으로 체험할 수 있습니다.

관련 가이드