출시 전에 음성 AI 에이전트를 테스트하는 방법: 실무 계획
전화 음성 AI 에이전트를 출시하기 전에 테스트하는 단계별 계획입니다. 스크립트, 정확도, 청취, 흐름, 인계, 로그, 합격 여부 판단을 다룹니다.
조용한 사무실에서 만든 사람 앞에서는 잘 답하는 음성 에이전트도, 길모퉁이에서 웅얼거리는 발신자 앞에서는 전혀 다르게 동작할 수 있습니다. 출시 문제의 대부분은 신비로운 것이 아니라 아무도 시도해 보지 않은 것들입니다. 체계적인 테스트 계획은 고치는 비용이 적을 때 이를 찾아냅니다.

이 가이드는 실무 계획을 제시합니다. 무엇을 준비할지, 테스트할 여섯 영역, 결과를 판단하는 방법, 출시 후 해야 할 일을 다룹니다. 마지막에는 Call의 도구도 소개합니다. 판단의 근거가 되는 지표는 음성 AI 평가 지표를 참고하세요.
테스트 준비
실제 통화 목록에서 시작하세요. 이메일, 직원의 기억, 통화 메모에서 사람들이 실제로 하는 질문을 모으세요. 까다로운 경우도 더하세요. 화가 난 발신자, 모호하게 말하는 발신자, 제공하지 않는 것을 요구하는 발신자입니다. 좋은 테스트 세트에는 흔한 경우, 드문 경우, 어려운 경우가 섞여 있습니다.
스크립트에서 출시까지
- 테스트 스크립트 작성실제 질문과 각각의 정답을 준비합니다.
- 내용 테스트에이전트가 정확하게 답하고 범위를 지키는지 확인합니다.
- 청취 테스트이름, 숫자, 억양을 알아듣는지 확인합니다.
- 흐름 테스트대화가 자연스럽게 이어지고 잘 마무리되는지 확인합니다.
- 인계 테스트사람 연결 요청과 긴급 상황이 제대로 동작하는지 확인합니다.
- 기록 확인요약, 메시지, 로그가 올바른지 확인합니다.
- 판정결과를 합격 기준과 비교해 결정합니다.
누가 테스트할지 정하세요. 에이전트를 만들지 않은 사람을 포함하세요. 그들은 예상치 못한 방식으로 질문합니다. 발신자가 지역 억양을 쓰거나 여러 언어를 쓴다면 그런 목소리도 포함하세요.
내용 테스트
첫 질문은 에이전트가 사실을 말하는지입니다. 목록의 모든 질문을 하고 정답과 비교하세요. 각 응답을 정확, 부분적으로 정확, 오답, 지어낸 답으로 표시하세요. 에이전트가 받은 적 없는 내용을 단정적으로 말하는 지어낸 답변은 발신자가 믿기 때문에 가장 중요합니다.
- 같은 질문을 다른 표현으로 물어보세요.
- 지식에 없는 것을 물어보고, 에이전트가 모른다고 인정하는지 확인하세요.
- 조언이나 다른 고객의 정보처럼 반드시 거절해야 하는 것을 요청해 보세요.
- 확신에 찬 틀린 말로 유도해 보고, 그냥 동의하지 않는지 확인하세요.
지어낸 답변이 생기는 이유는 음성 AI의 환각을, 지식이 쓰이는 방식은 음성 에이전트를 위한 검색을 참고하세요.
듣는 것 테스트
음성 에이전트는 듣는 단계에서 자주 실패합니다. 이름, 우편번호, 전화번호, 날짜가 대표적인 문제입니다. 컴퓨터 마이크만이 아니라 실제 전화로 테스트하고, 배경 소음, 스피커폰, 열악한 휴대전화 수신 상태도 포함하세요.
| 확인 항목 | 방법 | 살펴볼 점 |
|---|---|---|
| 이름 | 특이한 이름의 철자를 말하고 발음해 본다 | 정확히 인식하거나 정중하게 다시 말해 달라고 요청한다 |
| 숫자 | 전화번호와 날짜를 읽어 준다 | 숫자를 정확히 인식하고 복창한다 |
| 억양 | 억양이 다른 동료에게 부탁한다 | 오해가 적고 매끄럽게 복구한다 |
| 소음 | 번잡한 곳에서 전화를 건다 | 오작동이 없고 다시 말해 달라는 요청이 분명하다 |
음성 AI의 숫자와 이름과 전화 음성의 음성 인식에서 이 문제들을 더 깊이 설명합니다.
대화 흐름 테스트
내용이 맞아도 대화가 어색할 수 있습니다. 첫 인사, 속도, 에이전트가 발신자의 말 위에 끼어드는지, 침묵을 어떻게 다루는지, 어떻게 끝내는지를 들어 보세요. 끼어들어 보고, 가만히 있어 보고, "여보세요?"라고 말해 보고, 중간에 생각을 바꿔 보세요.
시도해 볼 흐름 동작
- 끼어들기에이전트의 말 위에 말을 하고, 멈추고 듣는지 확인합니다.
- 침묵아무 말도 하지 않고, 정중하게 재촉한 뒤 적절하게 끝내는지 확인합니다.
- 생각 바꾸기답변 도중에 주제를 바꾸고, 따라오는지 확인합니다.
- 마무리감사와 작별 인사를 하고, 통화가 깔끔하게 끝나는지 확인합니다.
속도도 여기에 속합니다. 긴 멈춤과 그 원인을 기록하세요. 음성 AI 지연 시간에서 일반적인 이유를 설명합니다.
인계와 안전 테스트
모든 음성 에이전트에는 처리할 수 없거나 처리해서는 안 되는 요청을 위한 사람 연결 경로가 필요합니다. 영업시간 중, 영업시간 외, 아무도 받지 않을 때, 발신자가 힘들어할 때 등 각 조건에서 테스트하세요. 긴급한 표현도 시도해 보세요. 에이전트가 자신이 사람이라고 주장하지 않는지, 확정된 예약처럼 제공할 수 없는 것을 약속하지 않는지 확인하세요.
인계 점검
- 영업시간 중에 사람을 요청하면 적절한 담당자에게 연결된다
- 영업시간 외에 요청하면 솔직한 안내와 내용을 남길 방법이 제공된다
- 아무도 받지 않으면 발신자가 메시지를 남길 수 있다
- 긴급하거나 힘들어하는 발신자는 신속하게 인계된다
- 질문받으면 에이전트가 자신이 AI임을 밝힌다
- 수집해서는 안 되는 민감한 정보는 수집하지 않는다
기록과 로그 테스트
통화에는 두 가지 결과가 있습니다. 발신자가 경험한 것과 우리가 기록하는 것입니다. 각 테스트 후 요약, 대화 기록, 남긴 메시지, 후속 작업을 확인하세요. 이름과 숫자가 맞나요? 통화 사유가 정확하게 적혀 있나요? 요약이 무언가를 지어내지 않았나요? 통화가 완벽해도 기록이 틀리면 팀을 잘못된 방향으로 보냅니다. AI 통화 요약을 참고하세요.
합격 여부 판정
시작하기 전에 에이전트를 출시해도 되는지 결정하는 규칙을 작성하세요. 단순해도 됩니다. 테스트 세트에 지어낸 답이 없고, 모든 인계 사례가 동작하고, 정해 둔 비율의 흔한 질문에 정확히 답하는 것입니다. 문서로 남겨 두면 마감 압박에 떠밀린 출시를 막을 수 있습니다.
출시 판단
| 합격 기준을 먼저 작성 | 나중에 판단 | |
|---|---|---|
| 명확성 | 모두가 기준을 안다 | 기분에 따라 기준이 바뀐다 |
| 압박 | 아직 안 된다고 말하기 쉽다 | 마감의 압박을 뿌리치기 어렵다 |
| 학습 | 실패가 개선점을 알려 준다 | 실패가 논쟁이 된다 |
| 기록 | 시간에 따라 결과를 비교할 수 있다 | 비교할 것이 없다 |
모든 테스트의 기록을 남기세요. 날짜, 에이전트 버전, 발신자, 질문, 결과, 수정 사항입니다. 프롬프트나 지식을 바꾸면 이전 테스트를 반복하세요. 수정이 다른 것을 깨뜨리는 경우가 있기 때문입니다.
어떤 발신자도 불평하지 않지만 시간이 갈수록 비용을 치르게 하는 조용한 실패도 테스트할 가치가 있습니다. 일찍 끝난 통화도 합리적인 기록이 남는지, 문장 중간에 끊은 발신자가 절반만 끝난 작업을 남기지 않는지, 재통화 고객이 일관되게 처리되는지 확인하세요. 이런 경우는 첫 테스트 계획에 거의 들어가지 않지만 실제 통화에서 의외로 큰 비중을 차지합니다.
출시 후
테스트는 에이전트가 운영에 들어간 뒤에도 끝나지 않습니다. 영업시간 외나 넘침 통화처럼 제한된 범위로 시작하고, 첫 주에는 매일 실제 통화를 일부 골라 듣고, 안심이 되면 확대하세요. 답하지 못한 질문을 검토하고 부족한 지식을 추가하세요. 변경 때문에 상황이 나빠지면 이전 버전으로 되돌릴 수 있는 방법을 유지하세요. AI 리셉셔니스트의 첫 한 주를 함께 읽으면 좋습니다.
Call에서 테스트하기
Call에는 발신자보다 먼저 AI 에이전트를 테스트하는 여러 방법이 있습니다. AI 에이전트 아래의 플레이그라운드에서는 에이전트와 채팅하고, 각 답변에 일치한 지식 노트가 몇 개인지 목록으로 확인하며, 답변을 평가하거나 더 나은 답을 가르칠 수 있습니다. 에이전트의 테스트 통화는 해당 회선을 통해 본인의 전화를 울려, 발신자가 듣는 그대로 들을 수 있습니다. 이러한 테스트는 모두 요금이 부과되는 실제 통화입니다. 설정 마법사에서는 화면에서 대화하기, 내 전화로 걸기, 에이전트가 번호로 발신하기도 제공합니다. 아무에게도 발신하지 않고 실행하는 준비 상태 점검은 회선에서 AI 통화를 하려면 무엇이 더 필요한지 알려 줍니다.
연습 통화, AI 에이전트의 학습한 내용 아래에서 AI 발신자가 일본어와 영어로 에이전트에 전화를 겁니다. 각 통화는 채점되고, 배운 내용은 검토를 기다리므로 사용자의 승인 없이 바뀌는 것은 없습니다. 위험한 수정 전에는 에이전트에 복원 지점을 저장해 두면 되돌릴 수 있으며, 운영 중으로 전환과 초안으로 변경으로 에이전트가 응대하는 시점을 제어하세요. 설정 자체는 Call에서 AI 에이전트 설정하기를 참고하세요.
자주 묻는 질문
테스트 통화는 몇 번이면 충분한가요?
모든 흔한 질문, 모든 인계 사례, 어려운 행동의 샘플을 다룰 만큼입니다. 작은 에이전트라면 수십 통일 수 있으며, 새 테스트가 더 이상 새로운 문제를 찾아내지 못할 때까지 계속하세요.
누가 에이전트를 테스트해야 하나요?
만들지 않은 사람, 그중에서도 억양과 전화 사용 습관이 다른 사람들입니다. 만든 사람이 생각하지 못한 방식으로 질문합니다.
실제 전화로 테스트해야 하나요?
네. 전화 음성은 컴퓨터 음성보다 대역이 좁고 잡음이 많아, 실제 회선에서만 나타나는 문제가 많습니다.
무엇이 심각한 실패인가요?
확신에 차서 말한 지어낸 답, 실패하는 인계, 팀을 잘못된 방향으로 보내는 기록입니다. 이런 문제는 출시를 막아야 합니다.
작은 변경 후에도 다시 테스트해야 하나요?
네, 최소한 핵심 세트는 필요합니다. 프롬프트나 지식의 작은 변경이 다른 곳의 답변을 바꿀 수 있습니다.
출시 후에는 무엇을 봐야 하나요?
처음에는 매일 일부 통화를 골라 듣고, 답하지 못한 질문을 기록하고, 인계와 불만을 추적하세요. 매주 지식을 개선하세요.