전화 음성 인식 개선: 실용적인 해결책
전화 회선에서 음성 인식이 어려운 이유와 도움이 되는 방법을 정리했습니다. 선명한 음질, 언어와 어휘 설정, 신중한 질문, 되읽기, 시험을 다룹니다.
음성 상담원은 들은 만큼만 좋습니다. 음성 인식이 "화요일 열 시"를 "화요일 여덟 시"로 바꿔 버리면, 언어 모델이 아무리 좋아도 그 뒤의 모든 것이 틀어집니다. 통화 전사본과 요약도 마찬가지입니다. 인식 단계의 실수는 이후의 모든 단계로 퍼집니다.

이 가이드는 전화 음성이 어려운 이유, 가장 흔한 오류, 시간을 들일 만한 해결책을 설명합니다. 처리 흐름의 배경은 음성 AI의 작동 원리: STT, LLM, TTS를, 음질 측면은 전화 음질이 음성 인식에 어려운 이유를 참고하세요.
전화 음성이 어려운 이유
전화 통화는 사람의 목소리를 좁은 통로로 짜냅니다. 고음과 저음이 잘리고, 신호는 압축되고, 중간에 패킷이 손실될 수 있습니다. 거기에 발신자의 주변 환경이 더해집니다. 교통 소음, 텔레비전, 바람, 부엌에서의 스피커폰입니다. 인식 시스템은 많은 음성으로 학습하지만 이런 조건에서는 오류율이 올라갑니다.
인식을 떨어뜨리는 요인
- 좁은 대역폭전화 음성은 일반 녹음보다 세부 정보가 적어 비슷한 소리가 흐려집니다.
- 배경 소음자동차, 군중, 기계가 목소리와 경쟁합니다.
- 나쁜 마이크스피커폰, 저가 헤드셋, 먼 마이크는 에코를 더합니다.
- 말하는 방식빠른 말, 웅얼거림, 낯선 억양은 더 어렵습니다.
- 드문 단어이름, 브랜드, 도로명, 전문 용어처럼 시스템이 거의 보지 못한 단어.
- 겹치는 말소리끼어들기, 옆 사람과의 대화, 두 사람이 동시에 말함.
대표적인 오류
동음이의어나 발음이 비슷한 단어(영어의 to, two, too 등), 묶어서 읽는 숫자, 철자를 불러 주는 이름, 날짜와 시간, 문장 첫머리의 짧은 단어에서 문제가 생깁니다. 어떤 오류가 있는지 알면 고치기가 쉬워집니다. 음성으로 이름, 숫자, 주소를 정확히 받는 법을 참고하세요.
기본부터 시작하기
기발한 것을 바꾸기 전에 단순한 것부터 확인하세요.
순서대로 보는 기본 체크리스트
- 음질 확인실제 통화 녹음을 들어 보세요. 알아들을 수 없는 구간은 시스템도 알아듣지 못합니다.
- 언어 설정발신자가 쓰는 언어를 선택하거나, 발신자가 다양하다면 자동 감지를 켜세요.
- 쉼 조정발신자가 말을 끝냈다고 판단하기까지 무음이 이어지는 시간을 조정하세요.
- 소음 처리 조정시스템이 배경 소리에 더 민감하거나 덜 민감하게 만드세요.
- 실제 목소리로 시험다른 화자, 기기, 장소로 시험하세요.
언어와 감지
대부분의 발신자가 한 언어를 쓴다면 명시적으로 설정하세요. 자동 감지는 발신자가 다양할 때 유용하지만 안정되기까지 몇 단어가 걸릴 수 있고, "네" 같은 짧은 발화는 잘못 판정될 수 있습니다. 다국어 회선은 AI 다국어 전화 지원을 읽어 보세요. 억양과 방언도 중요합니다. 음성 AI의 억양과 방언을 참고하세요.
쉼과 말 차례
시스템이 문장 도중에 사람의 말을 끊는다면 무음 임계값을 올려 더 오래 기다리게 하세요. 응답이 느린 것 같으면 낮추세요. 고령의 발신자와 숫자를 읽어 주는 사람은 더 많이 쉬므로 그들과 시험하세요. 빠른 대화에 맞는 임계값은 소리 내어 생각하는 사람을 답답하게 할 수 있습니다. 음성 활동 감지 및 음성 상담원의 말 차례 주고받기를 참고하세요.
소음 민감도
시끄러운 거리에서는 시스템이 말이 없는데도 말소리를 듣거나, 작은 말소리를 놓칠 수 있습니다. 사무실만이 아니라 시끄러운 환경에서도 시험하고, 민감도를 단계적으로 조정하세요.
인식하기 쉬운 질문 설계하기
가장 저렴한 개선은 인식기가 아니라 상담원이 무엇을 묻느냐에 있는 경우가 많습니다.
- 한 번에 한 가지만 물으세요. "성함이 어떻게 되시나요?"가 "성함, 전화번호, 용건을 말씀해 주세요"보다 더 깔끔한 답을 얻습니다.
- 예, 아니요, 두 가지 중 선택처럼 짧게 답할 수 있게 하세요.
- 숫자를 말하는 방법을 안내하세요. "숫자를 한 자리씩 말씀해 주세요."
- 짧은 닫힌 질문으로 충분하다면 길고 열린 질문은 피하세요.
- 상담원이 다시 말하기 전에 발신자가 답할 시간을 주세요.
중요한 것은 확인하기
이름, 전화번호, 날짜, 주소, 결과가 따르는 모든 것은 들은 내용을 다시 말하고 발신자에게 확인을 요청하세요. "4일 화요일 오전 10시로 알고 있습니다. 맞으신가요?"가 그냥 가정하는 것보다 훨씬 믿을 수 있습니다. 허용되는 경우에는 어려운 정보를 전달하는 다른 방법, 예를 들어 나중에 본인이 직접 입력하도록 메시지를 보내는 방법도 제공하세요.
단어로 시스템 돕기
인식 오류는 제품명, 직원 이름, 지명, 의료·기술 용어처럼 사업에 특유한 단어에 몰리는 경우가 많습니다. 도움이 되는 방법은 다음과 같습니다.
- 잘못 들린 용어의 목록을 만들고 개선되는지 지켜보세요.
- 시스템이 사용자 정의 어휘나 힌트를 허용한다면 중요한 용어를 추가하세요.
- 이후 단계에서 일치시킬 수 있도록 지식 소스에서 이름의 표기를 일관되게 유지하세요.
- 상담원이 그 단어들을 소리 내어 말하는 방식에 대한 발음 사전을 만드세요. 이는 인식이 아니라 음성 출력에 영향을 주지만, 발신자가 이해하고 같은 방식으로 답하는 데 도움이 됩니다.
듣기와 말하기의 구분에 유의하세요. 발음 사전은 단어가 어떻게 읽히는지를 바꾸는 것이지, 어떻게 들리는지를 바꾸는 것이 아닙니다.
실패를 부드럽게 처리하기
잘 조정된 시스템도 가끔 잘못 듣습니다. 대안을 설계하세요. 한 번 실패하면 질문을 바꿔 말하고, 두 번째에는 담당자, 콜백, 메시지 같은 다른 방법을 제안합니다. 발신자를 같은 안내로 세 번 돌리지 마세요. 부드러운 퇴장은 기술이 실패했을 때 관계를 지켜 줍니다.
측정과 시험
측정하지 않으면 변경이 도움이 됐는지 알 수 없습니다. 동의와 허락을 기록한 실제 통화로 작은 시험 세트를 만드세요. 일반적인 목소리, 기기, 소음을 포괄하는 짧은 구간 50개 정도가 적당합니다. 각각에 대해 말한 내용과 인식된 내용을 비교하고, 사소한 단어 하나하나가 아니라 숫자 하나가 틀린 것처럼 중요한 오류를 세세요.
월간 인식 검토
- 실패한 통화를 포함해 실제 통화의 표본을 들어 보세요.
- 잘못 들린 단어나 구절 상위 다섯 개를 나열하세요.
- 문구, 설정, 어휘로 해결할 수 있는지 확인하세요.
- 변경할 때마다 같은 구간으로 다시 시험하세요.
- 깨끗한 샘플만이 아니라 소음과 억양이 있는 샘플도 포함하세요.
- 같은 실험을 반복하지 않도록 변경 사항과 결과를 기록하세요.
다음을 참고하세요. 출시 전 음성 AI 상담원 시험 방법 및 음성 상담원의 대화 평가 방법.
Call에서 설정하기
Call에서는 AI 상담원마다 음성 설정에서 듣기를 조정할 수 있습니다. 전사 섹션에서 언어를 선택하거나 자동으로 감지하게 하고, 무음 임계값과 소음 민감도 조절을 움직입니다. 페이지의 배너에 현재 실시간 통화가 사용하는 설정이 표시됩니다. 상담원이 발신자의 말을 문장 도중에 끊는다면 무음 임계값을 올리세요.
- 발음 사전. AI 음성에게 잘못 읽는 이름, 지명, 단어를 읽는 방법을 가르칩니다. 인식되는 내용이 아니라 말하는 내용이 바뀝니다.
- 전사본. 녹음 아래에서 통화의 전사본을 읽고, 통화 후 화자를 구분해 표시하면 누가 무엇을 말했는지 알 수 있습니다.
- 통화 품질. AI 상담원과의 통화는 종료 후 이유와 인용문과 함께 채점되므로 부족한 통화를 쉽게 찾을 수 있습니다.
- 수정. 통화 기록에서 답변을 수정하고 수정한 답변을 상담원의 지식에 저장할 수 있습니다.
Call의 인식은 통화와 전화 회선에 따라 달라지므로 실제 회선에서 시험하세요. Call의 통화 이력과 요약 사용하기 및 Call에서 통화 전사본 검색하기를 참고하세요.
자주 묻는 질문
전화 음성 인식이 스마트폰보다 정확도가 낮은 이유는 무엇인가요?
전화 회선은 최신 마이크보다 대역이 좁고 압축된 음성을 전달하며, 발신자는 시끄러운 곳이나 스피커폰에 있는 경우가 많습니다. 소프트웨어가 활용할 정보가 적어 오류가 늘어납니다.
언어를 하나로 설정해야 하나요, 자동 감지를 써야 하나요?
거의 모든 발신자가 한 언어를 쓴다면 설정하세요. 발신자가 다양하다면 자동 감지를 사용하되, 잘못 감지될 수 있는 "네", "아니요" 같은 짧은 답을 시험하세요.
이름과 숫자의 인식을 개선하려면 어떻게 하나요?
한 번에 하나씩 묻고, 숫자를 말하는 방법을 안내하고, 되읽어 확인하고, 시스템이 허용한다면 중요한 용어를 어휘에 추가하세요.
발음 사전이 상담원이 듣는 것을 개선하나요?
아닙니다. 상담원이 단어를 소리 내어 발음하는 방식을 개선합니다. 발신자가 상담원을 이해하는 데는 도움이 될 수 있지만 인식은 별개의 설정입니다.
변경이 도움이 됐는지 어떻게 알 수 있나요?
실제 통화 구간의 고정된 세트를 유지하고, 변경 전후에 중요한 오류를 세고, 변경할 때마다 같은 세트로 다시 실행하세요. 운 좋은 통화 한 건은 아무것도 증명하지 않습니다.