为什么电话音频难以被语音识别,以及如何改善
窄带、压缩且嘈杂的电话音频为什么会让语音识别出错,如何从转写文本和录音中识别这些症状,以及在设备、设置和话术上可以改进的地方。
一个在演示中表现完美的语音助手,到了真实通话中可能会频频出错。原因很少出在语言模型上,通常出在音频上。电话线路对语音识别来说是一个恶劣的环境;了解其中的原因,能帮您设定合理的预期,并解决那些可以解决的问题。

本文追踪声音从来电者嘴边到识别器的全过程,指出质量在哪里流失。它是电话中的语音识别和语音活动检测的姊妹篇。
电话音频的旅程
声音可能在哪里受损
- 麦克风手机或耳麦采集人声,同时也采集了周围的环境声。
- 手机端处理降噪和增益控制会重塑声音。
- 网络音频经过压缩,以数据包的形式通过移动网络和互联网传输。
- 电话平台通话被桥接、转换,有时还会混音。
- 识别器音频被转换成文字,用的是剩下的那点质量。
每个阶段只能保持或损失质量,没有一个阶段能把已经丢失的东西补回来。这就是为什么糟糕的第一环,比如在车里用免提,会限制之后的一切。
窄带音频:基本限制
传统电话音频是窄带的:它承载的频率范围有限,远少于录音棚麦克风所能采集的范围。结果是,用来区分 s、f、th 等字母的高频声音被削弱了。在 s 和 f、p 和 t 之间,电话几乎没有留下可以分辨的依据。人可以借助上下文来应对,而软件,尤其是面对拼读名字这类孤立的词时,可依赖的上下文要少得多。
有些通话使用宽带编解码器,能承载更多细节,这会有帮助。某通电话能否受益,取决于链路中的每一环是否都支持;而跨网络的通话往往会退回到双方都支持的最低格式。
受影响最大的声音
- 拼读的字母B、D、P、T、S、F 混在一起,让通过语音拼读变得不可靠。
- 数字在音质不好时,「一」和「七」、「四」和「十」很容易混淆。
- 轻辅音词尾那些轻微的声音会被噪音淹没。
- 短词上下文少意味着错误多,比如在嘈杂环境中的「是」和「不是」。
导致音质差的其他原因
压缩与丢包
为了节省带宽,音频会被压缩。如果网络数据包延迟或丢失,就会出现短暂的空白或一阵乱码般的声音。人能补上缺失的音节,识别器却可能识别出错误的词,或者什么也识别不出来。
背景噪音与音频处理
来电者会在街上、厨房、车里和商店里打电话。手机中的降噪功能能去除噪音,但也可能截掉一个词的开头,或者把轻声的话压平。结果可能是,一段在人听来很清楚的语音,对软件来说反而更难识别。
回声与免提
当来电者的扬声器声音进入其麦克风时,助手自己的声音可能以回声的形式返回,这会同时干扰识别以及「谁在说话」的检测。在关键时刻鼓励来电者使用听筒或耳麦,会有帮助。
训练数据不匹配
许多识别器主要用较干净或频带更宽的录音训练。电话音频听起来不一样,所以准确率会下降。有些服务商提供针对电话场景调优的模型;可以问问看,并实际测试。
在转写文本中的表现
| 症状 | 可能的音频原因 |
|---|---|
| 拼读名字中的字母出错 | 窄带导致发音相近的字母模糊不清 |
| 数字被调换或遗漏 | 丢包、噪音或语速过快 |
| 开头的词缺失 | 手机降噪截掉了开头 |
| 出现没说过的奇怪词语 | 回声或背景中的说话声 |
| 座机准确率高,手机准确率低 | 手机的噪音和压缩 |
| 长时间没有文字 | 对轻声说话的静音检测失效 |
要听录音,而不只是看转写文本。听一听就能知道问题出在音频还是识别上。如果您能听得很清楚而识别器没识别出来,薄弱环节就是识别器;如果您自己也听不清,就去解决音频问题。
先衡量问题,再动手解决
把每个错误都归咎于识别器是很诱人的。更可靠的习惯是:对一批有问题的通话按原因分类。挑出二十通助手理解出错的通话,逐一收听录音并判断:是音频太差?是来电者说得异常快或异常轻?是识别器在清晰的语音上直接识别错了?还是文字正确、但语言模型理解错了?
分类结果往往出人意料。一家手机来电较多的企业,可能发现大部分错误来自音频;一家有大量专业词汇(例如产品编码)的企业,可能发现识别器才是薄弱环节。每种原因的解决办法都不同,修错了地方会浪费好几周时间。
还要按时间和线路来观察规律。如果错误集中在某个时段,原因可能是您这一侧的网络拥堵;如果错误集中在来自某个地区或某家运营商的来电上,可能是音频路径出了问题。在修改任何设置之前先记下这个规律,这样之后才能判断修改是否有效。
在样本中也要包含那些顺利的通话,让样本保持客观。如果只审核失败案例,您就无法判断一项修复了失败的改动,是否悄悄破坏了原本正常的通话。在同一组混合样本上做前后对比,是最简单的防护措施。
您可以做些什么
针对差音质设计对话
- 确认关键信息。把号码和名字分成小段复述,让来电者纠正。
- 尽量避免口头拼读。提供替代方式,例如使用编号,或者通过消息或预约页面收集信息。
- 使用简短、直接的问题。字越少,听错的机会就越少。
- 提供转真人。如果助手两次都没听懂,就转交给真人,而不是反复绕圈。
处理姓名和号码的技巧,请参阅用语音准确获取姓名、号码和地址。
解决您能掌控的问题
- 为您自己的员工配备优质耳麦,因为他们这一侧的音质同样影响转写。
- 检查网络的抖动和丢包情况,尤其是共用的办公室网络。
- 选择适合电话音频的识别设置,如果您的平台提供噪音灵敏度调节,也可以进行调整。
- 用手机在嘈杂的地方进行测试。
Call 中的音频与识别
在 Call 中,每个 AI 助手都有语音转写设置:识别的语言(可以设为自动检测)、「静音阈值」和「噪音灵敏度」滑块。对于使用浏览器电话的员工,「实时转录」可以在通话进行时记下双方的话,标注为「你」和「对方」,并与通话一起保存。它需要运营商连接和公网地址,如果不具备这些条件,面板会说明原因。转写文本只保留有限的时间。请把它们当作诊断工具来使用:如果某通电话的实时文字质量很差,就播放录音,判断问题出在音频还是识别器。浏览器通话本身的原理,请参阅浏览器通话如何运作:WebRTC 详解。
常见问题
为什么电话音频比我手机上的语音消息差?
电话通话使用的是窄带、经过压缩的音频,设计目标是让人听得懂,而不是让软件听得懂。语音消息应用通常直接在设备上录制更丰富的音频。
电话中的语音识别能做到完美吗?
不能。即使是人,在线路不好时也会听错。目标是减少错误,并通过设计对话,让错误在确认环节被发现。
更好的麦克风对 AI 助手有帮助吗?
对您自己的员工和使用耳麦的来电者有帮助,但您无法控制来电者的设备。请按照现实中可能遇到的最差音质来设计。
为什么拼读名字这么难?
在窄带线路上,许多字母听起来很像,而单个字母又没有上下文可以帮忙。提供另一种收集信息的方式,或者逐个复述字母,能减少错误。
我应该针对电话场景调整识别设置吗?
如果您的平台提供针对电话调优的模型或噪音设置,请在真实通话中测试它们。比较结果,因为合适的设置取决于您的来电者。
我怎么判断错误出在音频还是识别上?
听录音。如果人能清楚地听出说了什么,而转写文本是错的,那就是识别的问题。如果人听起来音质也很差,就去解决音频路径的问题。