语音 AI 技术

为什么电话音频难以被语音识别,以及如何改善

窄带、压缩且嘈杂的电话音频为什么会让语音识别出错,如何从转写文本和录音中识别这些症状,以及在设备、设置和话术上可以改进的地方。

Call 编辑部 · 发布于 · 阅读约需 5 分钟

一个在演示中表现完美的语音助手,到了真实通话中可能会频频出错。原因很少出在语言模型上,通常出在音频上。电话线路对语音识别来说是一个恶劣的环境;了解其中的原因,能帮您设定合理的预期,并解决那些可以解决的问题。

一位来电者在繁忙的街道上用手机通话
示意图

本文追踪声音从来电者嘴边到识别器的全过程,指出质量在哪里流失。它是电话中的语音识别和语音活动检测的姊妹篇。

电话音频的旅程

声音可能在哪里受损

  1. 麦克风手机或耳麦采集人声,同时也采集了周围的环境声。
  2. 手机端处理降噪和增益控制会重塑声音。
  3. 网络音频经过压缩,以数据包的形式通过移动网络和互联网传输。
  4. 电话平台通话被桥接、转换,有时还会混音。
  5. 识别器音频被转换成文字,用的是剩下的那点质量。

每个阶段只能保持或损失质量,没有一个阶段能把已经丢失的东西补回来。这就是为什么糟糕的第一环,比如在车里用免提,会限制之后的一切。

窄带音频:基本限制

传统电话音频是窄带的:它承载的频率范围有限,远少于录音棚麦克风所能采集的范围。结果是,用来区分 s、f、th 等字母的高频声音被削弱了。在 s 和 f、p 和 t 之间,电话几乎没有留下可以分辨的依据。人可以借助上下文来应对,而软件,尤其是面对拼读名字这类孤立的词时,可依赖的上下文要少得多。

有些通话使用宽带编解码器,能承载更多细节,这会有帮助。某通电话能否受益,取决于链路中的每一环是否都支持;而跨网络的通话往往会退回到双方都支持的最低格式。

受影响最大的声音

  • 拼读的字母B、D、P、T、S、F 混在一起,让通过语音拼读变得不可靠。
  • 数字在音质不好时,「一」和「七」、「四」和「十」很容易混淆。
  • 轻辅音词尾那些轻微的声音会被噪音淹没。
  • 短词上下文少意味着错误多,比如在嘈杂环境中的「是」和「不是」。

导致音质差的其他原因

压缩与丢包

为了节省带宽,音频会被压缩。如果网络数据包延迟或丢失,就会出现短暂的空白或一阵乱码般的声音。人能补上缺失的音节,识别器却可能识别出错误的词,或者什么也识别不出来。

背景噪音与音频处理

来电者会在街上、厨房、车里和商店里打电话。手机中的降噪功能能去除噪音,但也可能截掉一个词的开头,或者把轻声的话压平。结果可能是,一段在人听来很清楚的语音,对软件来说反而更难识别。

回声与免提

当来电者的扬声器声音进入其麦克风时,助手自己的声音可能以回声的形式返回,这会同时干扰识别以及「谁在说话」的检测。在关键时刻鼓励来电者使用听筒或耳麦,会有帮助。

训练数据不匹配

许多识别器主要用较干净或频带更宽的录音训练。电话音频听起来不一样,所以准确率会下降。有些服务商提供针对电话场景调优的模型;可以问问看,并实际测试。

在转写文本中的表现

症状可能的音频原因
拼读名字中的字母出错窄带导致发音相近的字母模糊不清
数字被调换或遗漏丢包、噪音或语速过快
开头的词缺失手机降噪截掉了开头
出现没说过的奇怪词语回声或背景中的说话声
座机准确率高,手机准确率低手机的噪音和压缩
长时间没有文字对轻声说话的静音检测失效

要听录音,而不只是看转写文本。听一听就能知道问题出在音频还是识别上。如果您能听得很清楚而识别器没识别出来,薄弱环节就是识别器;如果您自己也听不清,就去解决音频问题。

先衡量问题,再动手解决

把每个错误都归咎于识别器是很诱人的。更可靠的习惯是:对一批有问题的通话按原因分类。挑出二十通助手理解出错的通话,逐一收听录音并判断:是音频太差?是来电者说得异常快或异常轻?是识别器在清晰的语音上直接识别错了?还是文字正确、但语言模型理解错了?

分类结果往往出人意料。一家手机来电较多的企业,可能发现大部分错误来自音频;一家有大量专业词汇(例如产品编码)的企业,可能发现识别器才是薄弱环节。每种原因的解决办法都不同,修错了地方会浪费好几周时间。

还要按时间和线路来观察规律。如果错误集中在某个时段,原因可能是您这一侧的网络拥堵;如果错误集中在来自某个地区或某家运营商的来电上,可能是音频路径出了问题。在修改任何设置之前先记下这个规律,这样之后才能判断修改是否有效。

在样本中也要包含那些顺利的通话,让样本保持客观。如果只审核失败案例,您就无法判断一项修复了失败的改动,是否悄悄破坏了原本正常的通话。在同一组混合样本上做前后对比,是最简单的防护措施。

您可以做些什么

针对差音质设计对话

处理姓名和号码的技巧,请参阅用语音准确获取姓名、号码和地址。

解决您能掌控的问题

Call 中的音频与识别

在 Call 中,每个 AI 助手都有语音转写设置:识别的语言(可以设为自动检测)、「静音阈值」和「噪音灵敏度」滑块。对于使用浏览器电话的员工,「实时转录」可以在通话进行时记下双方的话,标注为「你」和「对方」,并与通话一起保存。它需要运营商连接和公网地址,如果不具备这些条件,面板会说明原因。转写文本只保留有限的时间。请把它们当作诊断工具来使用:如果某通电话的实时文字质量很差,就播放录音,判断问题出在音频还是识别器。浏览器通话本身的原理,请参阅浏览器通话如何运作:WebRTC 详解。

常见问题

为什么电话音频比我手机上的语音消息差?

电话通话使用的是窄带、经过压缩的音频,设计目标是让人听得懂,而不是让软件听得懂。语音消息应用通常直接在设备上录制更丰富的音频。

电话中的语音识别能做到完美吗?

不能。即使是人,在线路不好时也会听错。目标是减少错误,并通过设计对话,让错误在确认环节被发现。

更好的麦克风对 AI 助手有帮助吗?

对您自己的员工和使用耳麦的来电者有帮助,但您无法控制来电者的设备。请按照现实中可能遇到的最差音质来设计。

为什么拼读名字这么难?

在窄带线路上,许多字母听起来很像,而单个字母又没有上下文可以帮忙。提供另一种收集信息的方式,或者逐个复述字母,能减少错误。

我应该针对电话场景调整识别设置吗?

如果您的平台提供针对电话调优的模型或噪音设置,请在真实通话中测试它们。比较结果,因为合适的设置取决于您的来电者。

我怎么判断错误出在音频还是识别上?

听录音。如果人能清楚地听出说了什么,而转写文本是错的,那就是识别的问题。如果人听起来音质也很差,就去解决音频路径的问题。

在 Call 中检查通话转写文本和音频

在演示控制台中,您可以通过模拟体验来电。

相关指南