음성 AI의 작동 원리: 음성 인식, LLM, 음성 합성
음성 AI 전화 에이전트의 파이프라인을 쉬운 말로 살펴봅니다. 음성 인식, 언어 모델, 음성 합성, 그리고 말 차례 전환, 지연, 안전한 인계를 다룹니다.
AI 에이전트와의 통화는 작동 여부에 따라 마법처럼 느껴질 수도, 퍼즐처럼 느껴질 수도 있습니다. 그 뒤에는 꽤 단순한 아이디어가 있습니다. 발신자의 음성을 텍스트로 바꾸고, 언어 모델이 할 말을 정하게 하고, 답변을 다시 음성으로 바꾸는 것을 대화처럼 느껴질 만큼 빠르게 처리합니다. 이 가이드는 각 단계, 잘못되는 지점, 그것이 에이전트 설정에 의미하는 바를 설명합니다. 더 넓은 그림은 AI 전화 응대란?에서 시작하십시오.

음성 AI 통화의 기본 순환
- 듣기발신자의 오디오를 수집하고 정리합니다.
- 전사음성 인식이 오디오를 단어로 바꿉니다.
- 판단언어 모델이 다음에 할 말이나 행동을 선택합니다.
- 말하기음성 합성이 답변을 오디오로 바꿉니다.
- 반복통화가 끝나거나 인계될 때까지 매 차례 이 순환이 실행됩니다.
1단계: 음성 인식
음성 인식은 소리를 단어로 변환합니다. 전화 회선에서는 오디오가 협대역이고 압축되어 있어 스튜디오 녹음보다 어렵습니다. 억양, 배경 소음, 겹쳐 말하기, 흔치 않은 이름이 모두 정확도에 영향을 줍니다. 최신 시스템은 일상적인 말은 잘 처리하지만, 숫자, 철자, 이름, 약품명이나 거리 이름 같은 전문 용어는 흔한 약점입니다.
- 스트리밍 인식은 발신자가 말하는 동안 단어를 만들어 시간을 절약합니다.
- 인식기는 제품이나 지명 목록 같은 힌트가 있어야 더 잘하는 경우가 많습니다.
- 신뢰도는 확실성이 아닙니다. 시스템은 자신 있게 틀릴 수 있습니다.
- 차례의 끝을 듣는 일은 단어를 인식하는 일과는 별개의 작업입니다.
자세한 내용은 전화 통화를 위한 음성 인식, 숫자와 이름 처리및 억양과 방언을 참고하십시오.
2단계: 언어 모델
대규모 언어 모델은 지금까지의 전사본을 작성한 지침, 제공한 정보와 함께 읽고 다음 답변을 만들어 냅니다. 스스로 정보를 찾아보지는 않으며, 받은 것에 의존합니다. 그래서 프롬프트와 지식베이스가 매우 중요합니다. 모델은 유창하게 들리면서도 틀릴 수 있으므로 가드레일과 테스트가 필수입니다.
모델의 답변을 결정하는 것
- 지침부여한 역할, 어조, 규칙, 한계.
- 지식참고할 수 있는 문서, Q&A, 사실.
- 지금까지의 대화이 통화에서 오간 말.
- 도구주문 조회나 메시지 기록처럼 취할 수 있는 조치.
다음과 같은 가이드가 더 깊이 다룹니다. 전화 에이전트 프롬프트 작성, 음성 에이전트를 위한 RAG, 환각, 가드레일. 확신이 없을 때 해야 할 일, 예를 들어 사람을 제안하거나 메시지를 받는 일을 알려 주는 프롬프트는 많은 문제를 막아 줍니다.
3단계: 음성 합성
음성 합성은 답변을 오디오로 바꿉니다. 음성은 명료도, 따뜻함, 언어에서 쉼과 숫자와 이름을 다루는 방식이 서로 다릅니다. 일부는 조정하거나 발음 사전으로 다듬을 수 있습니다. 새로움이 아니라 전화 회선에서의 명료도로 음성을 고르고, 실제로 말하게 될 문장으로 테스트하십시오. 언어별 문제의 예는 일본어 음성 합성을, 맞춤 음성을 사용할 때의 동의와 위험은 음성 복제를 참고하십시오.
타이밍이 경험을 좌우하는 이유
사람의 대화는 차례가 빠릅니다. 1초 이상의 공백은 어색하게 느껴집니다. 3단계 파이프라인에서는 각 단계가 지연을 더하고, 모델이 생각하는 데 시간이 걸릴 수도 있습니다. 설계자는 스트리밍으로 지연을 줄입니다. 답변 전체가 준비되기 전에 말을 시작하고, 발신자가 멈추기 전에 전사를 시작합니다. 또한 발신자가 말을 마쳤다고 판단하는 시점도 조정합니다.
파이프라인과 음성-음성 모델
| 3단계 파이프라인 | 음성-음성 모델 | |
|---|---|---|
| 작동 방식 | 인식, 모델, 음성이 분리되어 있음 | 하나의 모델이 오디오 입력과 출력을 처리 |
| 제어 | 각 단계를 조정하거나 교체할 수 있음 | 덜 보이지만 더 통합되어 있음 |
| 지연 | 단계마다 더해짐 | 더 낮을 수 있음 |
| 전사본 | 모든 단계에서 텍스트를 얻을 수 있음 | 텍스트를 만들려면 추가 작업이 필요할 수 있음 |
| 성숙도 | 널리 사용됨 | 비교적 새롭고 빠르게 변화 중 |
음성-음성 모델은 비교적 새로운 접근 방식입니다. 어느 쪽이든 지연 시간, 끼어들기, 말 차례 전환이 에이전트가 자연스럽게 느껴지는지를 결정합니다.
끼어들기
사람들은 끼어듭니다. 좋은 에이전트는 발신자가 말을 시작하면 말을 멈추고, 기침이나 배경 목소리를 끼어들기로 착각하지 않습니다. 이는 말소리 감지에 달려 있으며, 음성 활동 감지에서 다룹니다. 제대로 조정되지 않은 시스템은 발신자의 말에 겹쳐 말하거나 너무 오래 기다립니다.
도구, 지식, 조치
음성 에이전트는 대화 이상의 일을 할 수 있을 때 유용해집니다. 연결된 도구로 정보를 찾고, 메시지를 기록하고, 콜백 요청을 남기거나, 통화를 사람에게 넘길 수 있습니다. 각 도구는 좁은 목적과 분명한 규칙을 가져야 합니다. 에이전트는 예약 요청을 받을 수 있지만 확정은 다른 문제이며, 많은 사업체가 사람이 확정하기를 선호합니다. 함수 호출이 도구가 모델에 어떻게 설명되는지 설명합니다.
오디오와 텍스트는 어떻게 되는가
각 단계는 개인정보를 다룹니다. 오디오에는 음성이 있고, 전사본에는 이름, 주소, 전화한 이유 등 오간 말이 담깁니다. 배포하기 전에 각 단계가 어디서 실행되는지, 무엇이 저장되는지, 얼마나 오래, 누가 읽을 수 있는지 알아보십시오. 결제나 건강 정보 같은 민감한 정보를 에이전트가 아예 수집해도 되는지, 사람에게 넘겨야 하는지 결정하십시오. 개인정보를 고려한 음성 AI 설계에서 더 깊이 다룹니다.
에이전트의 역할을 좁게 유지하십시오. 흔한 질문에 답하고, 메시지를 받고, 인계하는 에이전트는 모든 것을 하려는 에이전트보다 테스트하기 쉽고, 발신자에게 설명하기 쉽고, 개인정보 약속 범위 안에 두기 쉽습니다.
실제로 기대할 수 있는 것
단순하고 예측 가능한 통화에서는 좋은 결과를 기대하십시오. 영업 시간, 길 안내, 기본적인 질문, 메시지 받기입니다. 길거나, 감정적이거나, 모호한 통화, 강한 억양, 나쁜 통화 품질, 판단이 필요한 요청에서는 더 어려움을 예상하십시오. 합리적인 도입은 소수의 통화 유형으로 시작해, 처음에는 모든 통화를 듣고, 확신이 커지면서 넓힙니다. 기억해야 할 말은 에이전트가 정해진 업무를 돕도록 설계된 것이지 판단을 대체하려는 것이 아니라는 점입니다.
잘못되는 지점
- 잘못 들은 단어나 숫자가 틀린 답으로 이어집니다.
- 모델이 모른다고 인정하는 대신 답을 지어냅니다.
- 지연 때문에 발신자가 같은 말을 반복하거나 끊습니다.
- 배경 소음이나 혼선이 말소리로 처리됩니다.
- 발신자가 에이전트의 범위 밖의 것을 원하는데 빠져나가지 못합니다.
이에 대비해 설계하십시오. 사람에게 쉽게 연결되게 하고, 답변을 짧게 유지하고, 숫자와 날짜 같은 중요한 세부 사항을 확인하고, 실제 통화를 정기적으로 검토하십시오. 음성 에이전트 테스트와 평가 지표가 방법을 설명합니다.
Call에서 설정하기
Call에서 AI 에이전트는 페르소나와 프롬프트, 음성, 언어, 지식 소스로 구성되며, 회선에 켜기 전에 화면과 전화로 테스트합니다. Call에서는 음성을 선택하고, 사전으로 발음을 조정하고, 음성 인식 방식을 조절하고, 소스를 최신으로 유지할 수 있습니다. 에이전트는 요청이 있으면 발신자를 사람에게 연결하도록 설계되어 있으며 메시지를 받을 수 있습니다. 회선에 에이전트를 켜기 전까지는 전화가 팀에게 울립니다. 항상 먼저 직접 통화로 테스트하십시오. Call에서 AI 에이전트 설정하기에서 단계를 안내합니다.
자주 묻는 질문
음성 AI 에이전트의 세 부분은 무엇인가요?
발신자의 말을 듣는 음성 인식, 할 말을 정하는 언어 모델, 답변을 말하는 음성 합성입니다. 일부 최신 시스템은 이를 결합합니다.
AI가 답하기 전에 가끔 멈추는 이유는 무엇인가요?
각 단계에 시간이 걸리고, 시스템은 발신자가 말을 마쳤다고 판단해야 합니다. 스트리밍과 조정으로 간격을 줄일 수 있지만 없앨 수는 없습니다.
AI가 지어낼 수 있나요?
네. 언어 모델은 그럴듯하지만 틀린 답을 만들 수 있습니다. 좋은 지식, 분명한 한계, 확신이 없을 때 사람을 제안하라는 지침을 주십시오.
음성 에이전트가 예약을 할 수 있나요?
요청을 받아 전달할 수 있습니다. 많은 사업체가 사람이 확정하기를 선호하므로 에이전트가 무엇을 약속해도 되는지 정하십시오.
AI라는 것을 발신자에게 알려야 하나요?
많은 곳에서 사람들은 알 권리가 있거나 알 것으로 기대합니다. 통화 시작 때 분명하게 말하고 적용되는 규칙을 확인하십시오.
제대로 작동하는지 어떻게 확인하나요?
다양한 억양과 소음 수준에서 실제 통화로 테스트하고, 결과를 듣고, 변경할 때마다 다시 실행할 질문 목록을 유지하십시오.