전화 음성 AI가 답을 지어내지 않게 하는 방법
음성 에이전트가 사실이 아닌 말을 하는 이유와, 근거 자료, 안전한 대체 응답, 함정 질문, 검토로 이를 줄이는 실무 방법을 설명합니다.
음성 에이전트에 영업시간을 물으면 매끄럽게 답합니다. 문제는 들어 본 적도 없는 내용에 대해서도 똑같이 매끄럽게 답할 때 생깁니다. 이것이 할루시네이션입니다. 그럴듯하게 들리지만 우리 정보에는 근거가 없는 출력입니다.

전화에서는 채팅 창보다 위험이 더 큽니다. 발신자는 자신 있는 한 문장만 들을 뿐 링크도, 출처도, 쉽게 되돌아갈 방법도 없습니다. 이 가이드는 할루시네이션이 생기는 이유, 줄이는 방법, 그리고 대책이 효과가 있는지 확인하는 방법을 설명합니다.
할루시네이션이란 무엇이며 왜 생기는가
언어 모델은 대화에서 가장 그럴듯한 다음 내용을 만들어 냅니다. 방대한 텍스트로 학습했지만, 우리 사업에 대해 어떤 말이 사실인지 판단하는 감각은 내장되어 있지 않습니다. 프롬프트나 자료에 답이 없으면 모델은 합리적으로 보이는 무언가로 빈칸을 채울 수 있습니다.
전화 에이전트에서 흔한 원인
- 정보 부족아무도 적어 두지 않은 것을 발신자가 물어 모델이 즉흥적으로 답합니다.
- 오래된 정보예전 가격이나 영업시간이 자료에 남아 있습니다.
- 모호한 자료두 문서의 내용이 다르고 에이전트가 하나를 고릅니다.
- 도움이 되어야 한다는 압박"항상 답하라"는 프롬프트가 추측을 부추깁니다.
- 음성 인식 오류잘못 들은 단어가 질문을 바꿔, 에이전트가 다른 질문에 답합니다.
마지막 원인은 놓치기 쉽습니다. 발신자는 목요일이라고 했는데 전사에 화요일이라고 적혔다면, 답변은 엉뚱한 질문에 대해 완벽하게 정확할 수 있습니다. 인식 오류가 생기는 원리는전화 통화의 음성 인식을 참고하십시오.
실제로 나타나는 모습
가상의 치과가 에이전트에게 진료 시간과 제공 진료를 알려 주었다고 해 봅시다. 한 발신자가 특정 보험이 적용되는지 묻습니다. 관련 정보가 없으니, 허술한 에이전트는 많은 치과가 그렇다는 이유로 "네"라고 답할 수 있습니다. 발신자는 보험 적용을 기대하고 왔다가 실망합니다. 해결책은 더 똑똑한 모델이 아니라, 답을 모를 때 무엇을 해야 하는지 밝힌 분명한 지침과 자료입니다.
흔한 고위험 주제는 가격, 예약 가능 여부, 법률이나 의료 조언, 환불 약속, 그리고 약속처럼 들리는 모든 것입니다. 이런 주제를 에이전트가 즉흥적으로 답해서는 안 되는 영역으로 지정하십시오.
음성이 상황을 더 어렵게 만드는 이유
글로 된 챗봇 답변에는 링크, 면책 문구, 눈에 보이는 출처 목록을 붙일 수 있습니다. 말에는 이런 것이 없습니다. 합성 음성은 매끄럽고 안정적이어서 추측도 사실과 똑같이 들립니다. 발신자에게 경고가 될 머뭇거림이 없습니다. 발신자는 들은 대로 곧바로 행동하는 경우가 많습니다. 어딘가로 운전해 가고, 무언가를 취소하고, 무언가를 결제합니다.
그래서 전화 에이전트의 설계는 신중한 쪽으로 기울어야 합니다. 사람에게 안내하는 짧고 정직한 답변은 몇 초면 됩니다. 자신 있게 틀린 답변은 고객을 잃게 할 수 있습니다. 얼마나 엄격하게 할지 정할 때는 주제별로 틀린 답변이 낳을 수 있는 최악의 결과를 생각하고 그에 맞게 규칙을 정하십시오. 영업시간은 느슨하게, 돈, 건강, 법적 권리와 관련된 것은 엄격하게 하십시오.
지어낸 답변을 줄이는 방법
여러 겹의 접근
- 에이전트에 근거 주기승인된 사실을 주고 그것으로만 답하라고 지시합니다.
- 모르는 경우 정의하기답이 없을 때 무엇을 말할지 적어 둡니다.
- 약속 제한하기할인이나 예약 확정처럼 지킬 수 없는 약속을 금지합니다.
- 경로 제시하기다음 단계로 늘 사람, 메시지, 콜백을 제공합니다.
- 테스트하고 검토하기자료 밖의 질문을 시도하고 실제 전사를 읽습니다.
승인된 자료에 근거하게 하기
검색(retrieval)이란 질문이 들어오는 순간 문서에서 관련 구절을 찾아 그것만 모델에 주는 것입니다. 답변을 우리가 쓴 글에 묶어 둡니다.음성 에이전트를 위한 검색에서 개념을,Call의 지식 자료에서 제품에서의 모습을 설명합니다.
짧고 모호하지 않은 사실 쓰기
긴 안내 책자보다 조건을 포함해 항목마다 사실 하나를 쓰는 편이 효과적입니다. "주말에도 영업합니다" 대신 "토요일 9시~13시, 일요일 휴무"라고 쓰십시오. 예외가 있는 주제라면 같은 항목에 함께 적으십시오.
핵심 질문에는 정확한 답변 쓰기
취소 규정처럼 표현이 중요한 질문에는 에이전트가 읽을 정확한 답변을 주십시오. Call에서는 질문과 에이전트가 해야 할 정확한 답변을 추가할 수 있어, 바꿔 말할 필요가 없습니다.
"모릅니다"라고 말하도록 가르치기
"이 통화에서는 확인해 드릴 수 없지만, 연락처를 남겨 주시면 담당자가 다시 연락드리겠습니다"라는 정직한 답변이 추측보다 훨씬 낫습니다. Call의 에이전트는 지침이나 자료에 답이 없으면 확인할 수 없다고 분명히 말하고, 회선이 연결할 수 있는 경우 사람과의 연결을 제안하도록 설계되어 있습니다. 또한 지침과 자료에 없는 가격, 영업시간, 날짜 등의 사실을 지어내지 않으며, 지침으로 이 규칙을 끌 수 없습니다.
근거 있는 답변과 근거 없는 답변
같은 질문, 두 가지 설정
| 근거 없는 에이전트 | 근거 있는 에이전트 | |
|---|---|---|
| 답변의 출처 | 일반 지식과 그럴듯한 추측 | 승인된 사실만 |
| 정보가 없을 때 | 유창하게 무언가를 지어냄 | 확인할 수 없다고 말하고 다음 단계를 제안함 |
| 발신자에게 미치는 위험 | 잘못된 정보대로 행동할 수 있음 | 무엇이 불확실한지 앎 |
| 유지 관리 | 시작은 쉽지만 신뢰하기 어려움 | 자료를 최신으로 유지해야 함 |
일부러 할루시네이션 테스트하기
고객이 빈틈을 찾을 때까지 기다리지 마십시오. 작은 함정 질문 세트를 만들어 프롬프트나 자료를 바꿀 때마다 돌려 보십시오.
할루시네이션 테스트 세트
- 제공하지 않는 서비스에 대해 묻기
- 자료에 없는 가격 묻기
- 아무도 적어 두지 않은 정책 예외에 대해 묻기
- 먼 미래의 날짜 묻기
- 작성한 답변과 다른 표현으로 질문하기
- 다루는 주제와 비슷하게 들리는 것 묻기
- 모르는 질문이 모두 안전한 다음 단계로 끝나는지 확인하기
변경 후에는 세트를 반복하고, 발견한 실제 실패를 모두 세트에 추가하십시오. 더 넓은 테스트 과정은음성 AI 에이전트 테스트에서 설명합니다.
운영 전환 후에도 계속 지켜보기
할루시네이션 관리는 한 번으로 끝나는 일이 아닙니다. 정보는 바뀌고, 새로운 질문이 생기며, 사람들이 고치면서 프롬프트도 조금씩 변합니다. 루틴을 정하십시오. 매주 전사 표본을 읽고, 의심을 드러내는 표현을 검색하고, 자료를 갱신하십시오. Call에서는 어떤 통화든 전체 대화를 열어 볼 수 있고, 저장된 모든 전사에서 특정 표현을 검색할 수 있으며, 에이전트의 표현에 가해진 수정 이력을 볼 수 있습니다. 전사는 정해진 기간만 보관되므로 신속하게 검토하십시오.
Call에 적용하기
가장 많이 묻는 질문을 정확한 질문과 답변 쌍으로 쓰는 것부터 시작하고, 나머지는 짧은 사실 자료로 추가하고, 테스트한 뒤에만 에이전트를 회선에 연결하십시오. 추측을 막는 프롬프트 작성에 도움이 필요하다면LLM 전화 에이전트 프롬프트 작성을 읽어 보십시오. 이와 함께 작동하는 가드레일은음성 AI 에이전트를 위한 가드레일에서 다룹니다.
자주 묻는 질문
음성 AI 할루시네이션이란 무엇입니까?
지어낸 가격이나 정책처럼, 자신 있게 들리지만 우리 정보로 뒷받침되지 않는 답변입니다. 모델이 모른다고 인정하는 대신 빈칸을 채울 때 생깁니다.
할루시네이션을 완전히 없앨 수 있습니까?
그렇게 약속할 수 있는 도구는 없습니다. 에이전트가 말할 수 있는 범위를 제한하고, 자료를 최신으로 유지하고, 안전한 대체 응답을 주면 크게 줄일 수 있지만, 테스트와 검토는 계속해야 합니다.
가르친 적 없는 질문에 에이전트가 왜 답합니까?
언어 모델은 그럴듯한 텍스트를 만들도록 만들어졌습니다. 자료 범위 안에 머물고 확인할 수 없을 때는 그렇다고 말하라는 분명한 지침이 없으면 즉흥적으로 답할 수 있습니다.
잘못 들은 단어도 할루시네이션입니까?
정확히는 아닙니다. 잘못 들은 것은 인식 오류이지만, 할루시네이션처럼 보이는 틀린 답변으로 이어질 수 있습니다. 전사를 확인해 어느 쪽인지 보십시오.
가장 위험한 주제는 무엇입니까?
가격, 예약 가능 여부, 의료나 법률 조언, 환불, 그리고 모든 약속입니다. 이런 주제에는 에이전트에게 정확한 문구나 인계 경로를 주십시오.
전사는 얼마나 자주 검토해야 합니까?
운영 초기에는 매일 또는 며칠마다, 그 뒤로는 매주 검토하십시오. 프롬프트나 자료를 바꾼 뒤에는 더 자주 검토하십시오.