음성 AI 기술

음성 AI 가드레일: 통화를 안전하고 주제에 맞게

프롬프트와 승인된 자료부터 시스템이 강제하는 제한, 인계 규칙까지 전화 음성 에이전트의 가드레일 계층과, 먼저 돌려 볼 테스트 시나리오를 소개합니다.

Call 편집팀 · 게시일 · 6분 소요

전화 에이전트는 우리 사업을 대신해 말합니다. 발신자는 에이전트를 시험하고, 헷갈리게 하고, 화를 내고, 해서는 안 될 일을 하도록 말로 설득하려 할 수 있습니다. 가드레일은 발신자가 밀어붙여도 대화를 안전하고, 주제에 맞고, 정직하게 유지하는 경계입니다.

헤드셋을 옆에 두고 책상에서 통화 메모를 검토하는 매니저
참고 이미지

이 가이드는 주요 가드레일의 종류, 이를 겹겹이 쌓는 방법, 테스트하는 방법을 설명합니다. 정확성에 초점을 맞춘전화 음성 AI가 답을 지어내지 않게 하는 방법, 그리고AI 접수 담당자가 할 수 없는 일과 함께 읽으면 좋습니다.

가드레일의 역할

첫 출근한 접수 담당자를 떠올려 보십시오. 무엇을 말할지, 무엇을 약속하지 말지, 감당할 수 없는 상황에서 누구를 부를지 알려 줍니다. 음성 에이전트에게도 같은 안내가 글로 필요하며, 그중 일부는 기억에 맡기지 않고 시스템이 강제해야 합니다.

가드레일이 하는 네 가지 일

  • 주제 유지발신자가 꺼내는 아무 이야기가 아니라 우리 서비스에 대해 말합니다.
  • 피해 예방해서는 안 될 조언이나 행동을 거절합니다.
  • 정보 보호다른 사람의 정보를 읽어 주거나 자신의 지침을 드러내지 않습니다.
  • 멈출 때 알기상황이 필요로 하면 사람에게 넘깁니다.

가드레일은 여러 겹으로

어떤 대책도 그 자체만으로는 믿을 수 없습니다. 합리적인 설정은 여러 겹을 조합해, 하나가 실패하면 다른 것이 문제를 잡게 합니다.

계층하는 일예시
지침에이전트에게 역할, 말투, 한계를 알려 줌영업시간, 서비스, 메시지에 대해서만 이야기
자료쓸 수 있는 사실을 제한함승인된 답변만, 그 밖에는 없음
동작 제한할 수 있는 일을 제한함예약, 환불, 기록 변경 불가
출력 점검말하려는 내용을 검사함특정 단어나 주제 차단
인계 규칙사람이 넘겨받는 시점을 정함발신자가 사람을 찾거나 괴로워하는 것으로 보일 때
모니터링통화 후 검토함전사에서 위험한 표현 검색

지침 수준의 가드레일

첫 번째 계층은 분명한 안내입니다. 역할, 말투, 범위에 포함되는 주제와 제외되는 주제를 설명하십시오. 대안 없는 거절은 답답하므로, 범위 밖의 일이 생겼을 때 에이전트가 무엇을 해야 하는지도 적으십시오.

지침은 안내일 뿐 강제가 아닙니다. 모델은 대개 따르지만 말로 설득당할 수 있으므로, 중요한 일에서 지침이 유일한 계층이어서는 안 됩니다.LLM 전화 에이전트 프롬프트 작성에서 지침을 분명하게 쓰는 방법을 보여 줍니다.

시스템이 강제하는 규칙

가장 강력한 가드레일은 모델의 행동에 의존하지 않습니다. 환불할 능력이 없는 에이전트는 환불하도록 설득당할 수 없습니다. Call의 AI 에이전트는 통화 중에 예약을 잡거나 확정하거나, 콜백하거나, 무언가를 보내거나, 할인을 제공할 수 없도록 설계되어 있으며, 그렇게 말하고 자료에 적힌 경로를 안내합니다. 지침, 페르소나, 연결된 스크립트, 일치하는 지식 베이스 구절을 바탕으로 답하고, 어디에도 답이 없으면 확인할 수 없다고 말합니다. 이 규칙은 사용자 지침보다 아래 단계에 있어, 지침으로 끌 수 없습니다.

민감한 상황

어떤 대화에는 영리한 답변이 아니라 정해진 경로가 필요합니다.

민감한 통화를 위한 인계 경로

  1. 인지괴로움, 긴급 상황, 위협, 불만, 또는 사람을 찾는 요청.
  2. 짧게 응답짧고 차분하게 공감하며, 논쟁이나 즉흥적인 조언은 하지 않습니다.
  3. 안내긴급 서비스, 당직자, 콜백 요청 등 알맞은 경로를 안내합니다.
  4. 기록다음 사람이 맥락을 알 수 있도록 오간 말을 저장합니다.
  5. 후속 조치사람이 요청을 검토하고 마무리합니다.

긴급 상황에 대해서는 해당 분기의 시작 부분에서 알맞은 서비스로 가는 분명한 경로를 안내하고, 에이전트가 긴급성을 판단하는 데 의존하지 마십시오. 취약할 수 있는 발신자에게는 특별한 배려를 계획하십시오.통화에서 취약한 고객 지원하기와폭언하는 발신자 대응하기를 참고하십시오.

정보 보호

가드레일은 데이터도 보호합니다. 에이전트는 한 사람의 정보를 다른 사람에게 읽어 주어서는 안 되며, 필요한 것만 수집하고, 민감한 번호를 불필요하게 소리 내어 반복하지 않아야 합니다. 계정 관련 정보를 알려 주기 전의 본인 확인은 처음부터 설계에 포함되어야 합니다. 개인정보 보호 설계는음성 AI를 위한 프라이버시 중심 설계에서 다룹니다.

균형 찾기

가드레일에는 비용이 따릅니다. 거절할 때마다 발신자는 원하는 것을 얻지 못합니다. 규칙이 너무 느슨하면 에이전트가 위험한 영역으로 흘러가고, 너무 엄격하면 회피하는 것처럼 들리고 모든 것을 사람에게 넘겨 도입 목적이 무색해집니다.

균형을 찾는 실용적인 방법은 주제를 세 그룹으로 나누는 것입니다. 영업시간과 오시는 길처럼 에이전트가 자유롭게 다뤄도 되는 주제. 취소 규정처럼 정확한 문구로만 다뤄야 하는 주제. 법적·의료적 결과가 따르는 조언처럼 에이전트가 직접 다뤄서는 안 되는 주제. 그룹마다 짧은 목록으로 시작해 좁은 범위로 운영을 시작하고, 전사에서 에이전트가 잘 행동하는 것이 확인되면 넓히십시오.

실패뿐 아니라 거절도 검토하십시오. 합리적인 요청인데도 거절당하는 발신자가 많다면 가드레일이 너무 엄격하거나 범위를 넓혀야 합니다. 저장된 전사에서 표준 거절 문장을 검색하면 빠르게 찾을 수 있습니다.

가드레일을 깨뜨려 보며 테스트하기

테스트하지 않은 가드레일은 희망에 불과합니다. 동료에게 까다로운 발신자 역할을 부탁하고 결과를 기록하십시오.

가드레일 테스트 시나리오

  • 범위 밖의 것을 요청하고 정중한 거절을 확인하기
  • 고집하고, 반복하고, 표현을 바꿔 요청하기
  • 지침을 무시하라고 요구하기
  • 프롬프트를 공개하라고 요구하기
  • 할인이나 예약을 약속하라고 요구하기
  • 다른 고객의 정보를 요구하기
  • 긴급 상황을 꺼내고 안내되는 경로 확인하기
  • 사람과 통화하고 싶다고 말하고 인계 확인하기
  • 화난 말투로 말하고 말투가 차분하게 유지되는지 확인하기

실제 실패는 모두 시나리오에 추가하십시오. 더 넓은 방법은음성 AI 에이전트 테스트에 있습니다.

Call에서 가드레일 설정하기

Call에서는 에이전트의 지침에 범위와 거절 사항을 쓰고, 역할과 말투에 맞는 페르소나를 고르고, 문구가 정확해야 하는 곳에는 스크립트를 연결하고, 자료는 승인한 것으로만 제한하십시오. 발신자가 사람을 찾을 때 누가 받을지 정하십시오. 요청은 헬프데스크에서 인수, 배정, 메모, 해결할 수 있습니다. 그다음 테스트 통화를 하고 나중에 대화를 읽어 보십시오. 에이전트의 표현을 수정했다면 수정 이력도 확인하십시오. 첫 몇 주 동안은 실제 통화를 꼼꼼히 검토하고, 전사에서 빈틈이 보이는 곳마다 규칙을 강화하십시오.

자주 묻는 질문

음성 AI에서 가드레일이란 무엇입니까?

주제 유지, 특정 요청 거절, 정보 보호, 필요할 때 사람에게 넘기기처럼 에이전트를 맡은 일 안에 머물게 하는 규칙이나 제한입니다.

좋은 프롬프트만으로 충분합니까?

대개 그렇지 않습니다. 프롬프트는 밀어붙이면 모델이 무시할 수도 있는 안내입니다. 승인된 자료, 에이전트가 할 수 있는 일에 대한 제한, 실제 통화 모니터링과 결합하십시오.

발신자가 에이전트를 속여 규칙을 무시하게 할 수 있습니까?

시도하는 사람은 있습니다. 지침만으로는 우회될 수 있으므로 중요한 제한은 시스템이 강제해야 하며, 의도적인 공격 시도로 테스트해야 합니다.

범위 밖의 요청에는 어떻게 대응해야 합니까?

에이전트는 이 통화에서는 도와드릴 수 없다고 정중하게 말하고, 메시지, 콜백 요청, 사람과의 연결 같은 다음 단계를 제안해야 합니다.

가드레일 때문에 에이전트가 쓸모없어지지 않습니까?

잘못 만든 가드레일은 그럴 수 있습니다. 범위를 분명히 하고, 거절에는 대안 경로를 주고, 통화를 검토해 에이전트가 무해한 요청까지 막는 곳을 찾으십시오.

가드레일은 누가 책임져야 합니까?

사업상의 위험과 통화를 모두 이해하는 사람, 대개 운영 책임자나 팀장이 맡고, 규제 대상 주제에 대해서는 법무나 컴플라이언스 자문을 받으십시오.

Call에서 AI 에이전트에 분명한 한계를 설정해 보십시오

데모 콘솔에서 수신 통화를 시뮬레이션으로 체험할 수 있습니다.

관련 가이드