Call 사용하기

연습 통화: 실전 투입 전 AI 에이전트 테스트하기

시뮬레이션 연습 통화로 AI 전화 에이전트를 어려운 상황부터 테스트하는 방법, 평가와 교훈 읽는 법, 발견한 문제를 개선으로 잇는 법을 설명합니다.

Call 편집팀 · 게시일 · 6분 소요

신입 직원을 교육해 본 팀이라면 전화 응대 첫 주가 가장 위험하다는 것을 압니다. 신입은 방침은 알지만, 말을 끊고 들어오는 발신자, 말하다가 화제를 바꾸는 발신자, 그저 탓할 누군가를 원하는 발신자는 아직 만나 보지 못했습니다. 잘하는 팀은 실전 전에 역할극으로 이런 순간을 연습합니다.

출시 전 모니터로 통화 점수와 녹취록을 검토하는 팀 리더
참고 이미지

AI 전화 에이전트에도 같은 리허설이 필요하며, 훨씬 더 많이, 훨씬 더 빠르게 할 수 있습니다. 이 가이드에서는 연습을 설계하는 방법, 결과를 읽는 방법, 교훈을 반영하는 방법을 설명합니다. AI 에이전트 설정하기와 효과적인 프롬프트 작성법을 바탕으로 합니다.

실전 전에 연습해야 하는 이유

첫 실제 통화는 서비스 전체에 대한 고객의 인상을 좌우합니다. 이름을 잘못 알아듣고, 발신자의 말을 끊고, 답을 지어내는 에이전트는 놓친 전화보다 더 큰 손해를 줍니다. 고객에게 남에게 들려줄 이야깃거리가 생기기 때문입니다. 연습하면 관객이 팀원뿐일 때 이런 문제를 찾을 수 있습니다.

연습은 증명이 아닙니다. 시뮬레이션 발신자에게 좋은 점수를 받았다고 실제 발신자도 똑같이 행동한다는 뜻은 아니며, 실제 음성 통화의 동작은 시뮬레이션과 다를 수 있습니다. 좋은 결과는 인증서가 아니라, 실제 통화에서 신중하게 시도해도 된다는 허락으로 받아들이십시오.

무엇을 테스트할까

배치의 가치는 다루는 상황에 달려 있습니다. 쉬운 사례와 어려운 사례를 의도적으로 섞으십시오.

약점을 드러내는 시나리오

  • 말 끊기에이전트의 말을 끊고 들어오는 발신자. 멈추고 듣습니까, 아니면 밀어붙입니까?
  • 언어 전환한 언어로 시작해 다른 언어로 바꾸는 발신자. 에이전트가 따라갑니까?
  • 사람 연결 요청발신자가 "담당자 바꿔 주세요"라고 말합니다. 인계가 명확하고 신속합니까?
  • 가격 문의발신자가 비용을 묻습니다. 에이전트가 아는 것만 답하고 추측을 피합니까?
  • 불만화가 난 발신자. 에이전트가 침착하게 다음 단계를 제시합니까?
  • 일상적인 질문에이전트 자신의 지식 베이스에서 뽑은 질문. 답이 정확하고 간결합니까?

균형이 중요합니다. 어려운 사례만 담은 배치는 항상 나빠 보이고 일상적인 성능에 대해서는 거의 알려 주지 않습니다. 쉬운 질문만 담은 배치는 압박 속에서 실패하는 에이전트를 좋게 포장합니다. 처음에는 대개 둘을 섞는 것이 가장 많은 정보를 줍니다.

Call에서 연습 배치 실행하기

Call에서 연습 기능은 AI 에이전트의 학습한 내용에 있는 연습 통화 탭에 있습니다. AI 발신자가 시뮬레이션 안에서 일본어와 영어로 AI 에이전트에게 전화하며, 모든 통화가 평가됩니다. 에이전트(한 번에 최대 10개, 아직 전화를 받을 수 없는 에이전트는 회색으로 표시), 에이전트별 일본어·영어 통화 수(각각 0~25건), 시나리오 구성을 선택합니다.

시나리오 구성다루는 내용사용하는 경우
균형형어려운 사례를 하나씩, 나머지는 에이전트의 지식 베이스에서 뽑은 질문새 에이전트를 처음 테스트할 때
지식 베이스에이전트가 아는 내용에서 뽑은 질문만지식을 변경해 정확성을 확인하고 싶을 때
까다로운 사례어려운 사례만행동 규칙이나 프롬프트를 변경했을 때

배치 실행하기

  1. 연습 통화 열기AI 에이전트 → 학습한 내용 → 연습 통화로 이동합니다.
  2. 에이전트와 건수 선택에이전트를 체크하고 언어별 통화 수를 정합니다.
  3. 구성 선택균형형, 지식 베이스, 까다로운 사례 중 하나를 고릅니다.
  4. 배치 시작버튼 옆의 숫자가 총 건수입니다. 에이전트 수에 두 언어의 통화 수를 곱한 값입니다.
  5. 진행 상황 확인목록은 자동으로 새로 고쳐집니다. 배치를 열면 점수와 통화 결과를 볼 수 있습니다.

통화가 0건이거나 총 300건을 넘으면 시작 버튼이 회색으로 비활성화되므로, 대규모 테스트는 나누어 실행합니다. 대기 중이거나 실행 중인 배치는 취소할 수도 있습니다. 시작되지 않은 통화는 취소되고, 이미 진행 중인 통화는 끝까지 진행됩니다. 배치에 음성을 켜면 각 발화에 재생 버튼이 추가되며, 오디오는 버튼을 누를 때만 생성됩니다.

결과 읽기

끝난 배치를 열면 개별 녹취록이 아니라 요약부터 보십시오. 합계에는 완료된 통화 수, 평균 점수, 수정된 답변, 답이 필요한 질문, 스타일 팁이 표시됩니다. 그 아래에는 기준별 점수, 에이전트별 평균이 포함된 주요 문제, 그리고 시나리오, 언어, 점수, 플래그가 담긴 통화 표가 이어집니다.

  1. 기준별 점수를 보고 가장 약한 영역을 찾습니다.
  2. 주요 문제를 읽습니다. 여러 에이전트에서 같은 문제가 보이면 공통 프롬프트나 규칙이 원인일 가능성이 높습니다.
  3. 통화를 점수순으로 정렬하고 가장 낮은 세 건의 녹취록을 끝까지 읽습니다.
  4. 최종 평가만이 아니라 각 답변에 대한 평가자의 메모를 읽습니다.
  5. 언어별로 비교합니다. 차이가 있다면 한 언어에 별도의 문구가 필요할 수 있습니다.

교훈 적용하기

연습은 교훈을 만들어 내며, 교훈은 에이전트를 자동으로 바꾸지 않고 검토를 기다립니다. 각 교훈을 적용하거나 기각할 수 있습니다. 수정된 답변과 답이 필요한 질문도 제안에서 대기합니다. 이는 의도된 설계입니다. 에이전트가 무엇을 배울지는 사람이 결정합니다.

교훈 검토하기

  • 교훈이 우리의 방침과 어조에 맞는가
  • 수정된 답변이 그럴듯한 정도가 아니라 실제로 정확한가
  • 모든 발신자에게 적용되는가, 아니면 이 시나리오에만 해당하는가
  • 서로 모순되는 교훈이 있는가
  • 프롬프트 변경이 아니라 새 지식 항목이 필요한가

변경을 적용한 뒤 작은 배치를 다시 실행해 비교하십시오. 가능하면 한 번에 하나씩 바꾸십시오. 그렇지 않으면 어떤 변경이 효과가 있었는지 알 수 없습니다. 사실에 관한 답을 어디에 두어야 하는지는 지식 소스를 참고하십시오.

합리적인 연습 주기

연습은 일회성 행사가 아니라 습관일 때 가장 효과가 큽니다. 무언가가 바뀌는 시점에 배치를 연결하십시오.

시점실행할 배치확인할 점
새 에이전트, 출시 전응대하는 언어마다 균형형 배치약한 기준, 인계 동작
프롬프트나 규칙 변경 후까다로운 사례 배치변경이 다른 것을 망가뜨리지 않고 문제를 해결했는지
지식 추가 후지식 베이스 배치정확하고 간결한 답, 지어낸 사실이 없는지
바쁜 시기 전가장 바빠질 회선에서 균형형 배치일반적인 질문 구성에서의 안정성
실제 통화 문제 발생 후실패를 재현하는 배치수정이 유지되는지

날짜, 변경 내용, 실행한 배치, 핵심 결과를 짧게 기록해 두십시오. 몇 달이 지나면 이 이력이 어떤 변경이 효과가 있었는지 보여 주고, 이미 실패한 실험을 반복하지 않게 해 줍니다.

가상의 클리닉이라면 새 회선을 열기 전에 접수 에이전트로 균형형 배치를, 긴급 증상에 관한 규칙을 추가한 뒤 까다로운 사례 배치를, 진료 시간이나 서비스가 바뀔 때마다 지식 베이스 배치를 실행할 수 있습니다. 적절한 시점에 실행한 작은 배치 세 개가 한 번 실행한 거대한 테스트보다 많은 것을 알려 줍니다.

시뮬레이션 너머

시뮬레이션은 리허설입니다. 출시 전에 본인 전화로 실제 테스트 통화도 걸어 고객처럼 들어 보십시오. 실전 투입은 신중하게 하십시오. 위험이 낮은 회선이나 제한된 시간대부터 시작하고, 사람에게 쉽게 연결되는 경로를 유지하며(참고: 사람에게 통화 넘기기), 첫 실제 통화들을 매일 들어 보십시오. 사람 상담원에게도 같은 생각이 적용됩니다. 사람과 함께하는 리허설과 피드백은 코칭 프레임워크를 참고하십시오.

자주 묻는 질문

연습 통화는 실제 전화 통화입니까?

AI 발신자가 AI 에이전트에게 전화하는 시뮬레이션 통화입니다. 실제 회선에서 에이전트의 목소리를 들으려면 본인 전화로 별도의 테스트 통화를 거십시오.

여러 언어로 연습할 수 있습니까?

연습 도구는 일본어와 영어로 시뮬레이션 통화를 실행합니다. 에이전트별로 각 언어의 통화 수를 정하십시오.

통화는 몇 건이나 실행해야 합니까?

에이전트별로 시나리오마다 몇 건씩 작게 시작하고 결과를 꼼꼼히 읽으십시오. 여러 언어에서 변경을 테스트하는 등 이유가 있을 때만 늘리십시오.

교훈이 에이전트를 자동으로 바꿉니까?

아닙니다. 교훈은 검토를 기다립니다. 동의하는 것은 적용하고 나머지는 기각합니다.

평가는 무엇을 알려 줍니까?

시뮬레이션 통화가 기준에 비추어 어땠는지를 각 답변에 대한 평가자의 메모와 함께 보여 줍니다. 근거일 뿐이며, 실제 발신자는 다르게 행동할 수 있습니다.

에이전트가 회색으로 표시되면 어떻게 합니까?

아직 전화를 받을 수 없는 에이전트는 응답 불가로 표시되어 선택할 수 없습니다. 먼저 설정을 완료하십시오.

Call에서 AI 에이전트 연습 통화 배치를 시작해 보세요

데모 콘솔에서 수신 통화를 시뮬레이션으로 체험할 수 있습니다.

관련 가이드