음성 상담원을 위한 RAG: 자사 콘텐츠로 답하기
검색 증강 생성(RAG)으로 전화 AI가 자사의 문서와 FAQ를 바탕으로 답하는 원리와, 콘텐츠 준비, 오류 억제, 답변 시험 요령을 설명합니다.
언어 모델은 세상에 대해 많이 알지만 우리 사업에 대해서는 아무것도 모릅니다. 영업시간, 취소 정책, 보일러 수리를 맡은 기술자의 이름을 모릅니다. 그런 정보 없이 발신자의 질문에 답하게 하면 추측할 수 있습니다. 보통 RAG라고 줄여 부르는 검색 증강 생성이 표준적인 해결책입니다. 자사 콘텐츠에서 관련 부분을 찾아 질문과 함께 모델에 건네고, 그 자료를 바탕으로 답하게 하는 것입니다.

이 가이드는 전화 통화에서 RAG가 어떻게 작동하는지, 이를 위해 콘텐츠를 어떻게 준비하는지, 어디서 문제가 생기는지, 어떻게 시험하는지를 설명합니다. 처리 흐름의 배경은 음성 AI의 작동 원리: STT, LLM, TTS를 참고하세요.
통화에서 RAG가 작동하는 방식
발신자가 질문하면 RAG를 쓰는 음성 상담원은 보통 다음과 같이 동작합니다.
검색 경로
- 듣기음성 인식이 발신자의 말을 텍스트로 바꿉니다.
- 검색시스템이 질문과 관련된 구절을 콘텐츠에서 찾습니다.
- 선택가장 관련 있는 몇 개의 구절만 남기고 나머지는 버립니다.
- 작성언어 모델이 질문과 그 구절을 이용해 짧은 답을 씁니다.
- 말하기텍스트 음성 변환이 답을 소리 내어 읽습니다.
모델에 모든 것을 주면 안 되는 이유
모든 콘텐츠를 지시문에 붙여 넣어 볼 수도 있습니다. 하지만 모델의 작업 공간은 한정되어 있고, 긴 지시문은 응답을 느리게 하며, 텍스트가 많으면 모델이 중요한 한 줄을 놓치기 쉽습니다. 검색은 작업 집합을 작고 관련성 있게 유지합니다.
"검색"의 의미
검색은 키워드 기반, 의미 기반(단어가 달라도 의미가 비슷한 구절을 찾음), 또는 혼합일 수 있습니다. 의미 기반 검색은 콘텐츠에 "주말 영업시간"이라고 되어 있는데 발신자가 "일요일에 가도 되나요?"처럼 예상 밖으로 질문할 때 도움이 됩니다. 어떤 방식이든 구절은 문서의 작은 조각이므로, 콘텐츠를 쓰고 나누는 방식이 무엇이 검색되는지에 직접 영향을 줍니다.
콘텐츠 고르고 준비하기
입력이 좋아야 출력이 좋다는 말은 여기서 특히 맞습니다. 음성 상담원은 뒷받침하는 자료만큼만 정확할 수 있습니다.
일반적인 콘텐츠 소스
- FAQ와 Q&A 쌍특정 질문에 대한 정확한 답변. 흔한 통화에 가장 믿을 수 있는 소스입니다.
- 웹 페이지서비스, 영업시간, 정책에 관한 기존 페이지를 한 번 읽어 들이거나 사이트 전체에서 수집합니다.
- 문서가격표, 메뉴, 절차가 담긴 PDF와 워드프로세서 파일. 텍스트를 선택할 수 있어야 합니다.
- 자유 텍스트공휴일 처리처럼 다른 곳에 맞지 않는 규칙을 위한 메모.
- 실제 통화에서의 수정사람이 통화를 듣고 바로잡은 답변.
귀로 듣는 글로 쓰기
읽기 위해 쓴 콘텐츠는 소리 내어 말하면 이상하게 들리는 경우가 많습니다. 표, 긴 목록, 약어는 말로 하기에 맞지 않습니다. 핵심 답변은 한 문장에 사실 하나로 쉬운 문장으로 다시 쓰고, 숫자와 시간을 어떻게 말할지 풀어 쓰세요. 각 구절은 주변 페이지 없이도 이해되도록 독립적으로 유지하세요.
모순 제거
한 페이지에는 5시에 닫는다고 되어 있고 다른 페이지에는 6시라고 되어 있다면 상담원은 둘 중 하나를 무작위로 말할 것입니다. 무엇이든 가져오기 전에 오래된 페이지, 초안, 중복 파일을 찾아 갱신하거나 삭제하세요. 정책에 날짜를 붙여 가장 최신 것이 우선하도록 하세요.
범위 밖을 정하기
상담원이 답하면 안 되는 것을 알려 주세요. 법률·의료·금융 조언, 특정인의 계정에 관한 내용, 사람만 처리하는 주제입니다. 알맞은 대응은 정중한 인계입니다. 음성 AI 상담원을 위한 가드레일을 참고하세요.
RAG가 잘못되는 경우
RAG는 환각을 줄이지만 없애지는 않습니다. 대표적인 실패는 다음과 같습니다.
실패 유형
| 일어나는 일 | 대처 | |
|---|---|---|
| 관련 내용을 찾지 못함 | 상담원이 일반 지식으로 즉흥적으로 답합니다. | 모른다고 말하고 담당자를 제안하도록 지시하고, 빠진 콘텐츠를 추가하세요. |
| 잘못된 구절을 찾음 | 다른 서비스의 비슷하게 들리는 정책이 사용됩니다. | 구절을 분명한 제목으로 다시 쓰고 비슷한 주제를 분리하세요. |
| 오래된 콘텐츠 | 상담원이 작년의 영업시간을 말합니다. | 소스마다 담당자와 검토 날짜를 정하세요. |
| 너무 긴 검색 결과 | 텍스트가 너무 많아 응답이 느려지고 답이 혼란스러워집니다. | 더 짧고 초점이 분명한 구절을 쓰세요. |
| 질문을 잘못 들음 | 음성 인식 오류로 잘못된 검색이 됩니다. | 소음이 있는 음성과 억양으로 시험하고, 중요한 정보는 확인하세요. |
지어낸 답변을 막는 방법은 음성 AI에서 지어낸 답변 막기를 읽어 보세요. 정적인 텍스트가 아니라 주문 상태 같은 실시간 사실을 상담원이 찾아보게 하려면 음성 상담원이 정보를 조회하게 하기를 참고하세요.
속도 허용치
전화 대화는 지연을 거의 허용하지 않습니다. 검색 같은 추가 단계마다 시간이 늘어납니다. 소스를 깔끔하고 작게 유지하고, 답에 필요한 것보다 많은 구절을 가져오지 말고, 노트북이 아니라 실제 통화에서 응답 시간을 시험하세요. 음성 AI 지연 시간에서 지연이 어떻게 느껴지고 어디서 생기는지 설명합니다.
최신 상태 유지
영업시간, 가격, 정책은 누구도 지식 베이스를 고칠 생각을 하기 전에 바뀝니다. 공유 캘린더에 반복 알림을 넣으세요. 계절, 공휴일, 가격 변경이 있기 전에 콘텐츠 담당자가 소스를 검토하고 다시 색인합니다. 변경 후에는 직접 상담원에게 전화해 바뀐 내용에 대해 물어보세요. 30초의 확인이 하루 동안의 잘못된 답변을 막습니다.
출시 전후 시험
질문 목록을 세 그룹으로 만드세요. 콘텐츠가 분명히 답하는 질문, 일부만 답하는 질문, 다루지 않는 질문입니다. 각각에 대해 상담원이 하는 말을 기록하세요. 정확한지, 소리 내어 말하기에 충분히 짧은지, 세 번째 그룹에서는 모른다고 인정하는지 확인하세요. 콘텐츠가 바뀔 때마다 목록을 다시 실행하세요.
시험 절차
- 흔한 질문 각각을 두세 가지 다른 표현으로 물어보세요.
- 같은 질문을 소음이 있는 회선이나 강한 억양으로 해 보세요.
- 콘텐츠에 없는 것을 요청해 보세요.
- 오래된 가격이나 휴무일 같은 함정이 있는 질문을 해 보세요.
- 귀로 따라가기에 너무 긴 답변이 없는지 들어 보세요.
- 첫 달에는 매주 실제 통화 전사본을 검토하세요.
정착되는 수정
사람이 잘못된 답변을 발견했을 때 전사본을 고치는 것으로는 충분하지 않습니다. 상담원이 다음에 올바르게 답하도록 수정 내용이 지식 베이스에 반영되어야 합니다. 그 변경을 할 수 있는 사람을 정하고 변경 이력을 보관하세요.
Call에서 설정하기
Call에서 지식은 AI 상담원에 속하며 소스 메뉴에서 추가합니다.
- Q&A. 질문과 정확한 답변을 추가하고, "질문 확인"으로 지식 베이스가 그 질문에 대해 무엇을 찾는지 확인합니다.
- 웹사이트. 한 페이지, 사이트 전체, 또는 선택한 페이지를 읽어 들입니다. 사이트의 robots.txt가 크롤러에게 읽지 말라고 요청한 페이지는 제외됩니다.
- 파일. PDF, Word, 텍스트, 마크다운, CSV, JSON 파일을 업로드합니다. PDF에는 선택할 수 있는 텍스트가 있어야 하며, 이미지로만 된 PDF는 먼저 문자 인식이 필요합니다.
- 텍스트. 자유 텍스트 메모를 추가합니다.
- 다시 색인. 변경이 많았을 때 상담원의 검색을 다시 구축합니다.
저장 공간은 조직 전체가 공유하며 소스마다 한도가 있고, 워크스페이스 관리자만 소스를 추가, 변경, 삭제할 수 있습니다. 실시간 통화가 아직 지식 베이스를 사용하지 않을 때는 배너가 표시됩니다. 통화 이력에서 상담원이 한 답변을 수정하고, 원한다면 다음을 위한 정답으로 저장할 수 있습니다. Call에서 지식 소스 사용하기 및 지원과 AI를 위한 지식 베이스 만들기부터 시작하세요.
자주 묻는 질문
RAG는 내 데이터로 모델을 학습시키는 것과 같은가요?
아닙니다. 학습은 모델 자체를 바꿉니다. RAG는 모델을 그대로 두고 질문하는 순간 콘텐츠의 관련 구절을 건네므로 갱신하기 쉽고 확인하기도 쉽습니다.
RAG를 쓰면 음성 상담원이 지어내지 않나요?
문제를 줄여 주지만 없애 주지는 않습니다. 상담원은 여전히 구절을 잘못 읽거나 콘텐츠가 다루지 않는 질문에 답할 수 있습니다. 명확한 지시문, 좋은 콘텐츠, 정기적인 시험이 오류를 낮게 유지합니다.
콘텐츠가 얼마나 필요한가요?
대부분의 예상보다 적습니다. 가장 흔한 통화를 다루는 정확한 Q&A 수십 개가 편집되지 않은 큰 자료 더미보다 낫기도 합니다. 실제 통화에서 빈틈이 드러나면 더 추가하세요.
상담원이 PDF의 내용을 쓸 수 있나요?
PDF에 선택할 수 있는 텍스트가 있다면 대개 가능합니다. 이미지로만 스캔된 PDF는 먼저 문자 인식이 필요합니다. 표나 단이 뒤섞여 추출될 수 있으므로 시스템이 추출한 내용을 확인하세요.
지식 베이스는 얼마나 자주 갱신해야 하나요?
사실이 바뀔 때마다, 그 외에는 정기 검토일에 하세요. 갱신이 우연에 맡겨지지 않도록 소스마다 담당자를 두세요.