改善电话通话中的语音识别:实用对策
语音识别为何在电话线路上吃力,以及哪些做法真正有帮助:更清晰的音频、语言与词汇设置、谨慎提问、复述确认和持续测试。
语音坐席能达到的水平,取决于它听到的内容。如果语音识别把“周二十点”听成了“两天后那时候”,那么无论语言模型多好,之后的一切都会出错。通话转写和摘要也是如此:识别阶段的错误会蔓延到之后的每一步。

本文介绍电话语音为何困难、哪些错误最常见,以及哪些对策值得花时间。关于流程的背景,请参阅《语音 AI 如何工作:语音识别、大语言模型与文字转语音》,关于音频方面,请参阅《电话音频为何让语音识别吃力》。
电话语音为何困难
一通电话把人声挤进一条狭窄的通道。高频和低频被切掉,信号被压缩,数据包还可能在途中丢失。再加上来电者周围的环境:交通声、电视、风声、厨房里的免提电话。识别系统是用大量语音训练的,但这样的条件仍会推高错误率。
什么会降低识别效果
- 窄带宽电话音频承载的细节比普通录音少,因此相似的声音会模糊。
- 背景噪音汽车、人群和机器与人声竞争。
- 麦克风质量差免提电话、廉价耳麦和远距离麦克风会带来回声。
- 说话风格语速快、含糊不清和陌生的口音更难识别。
- 生僻词系统很少见过的人名、品牌、街道名和行话。
- 重叠的语音打断、旁边的交谈,以及两个人同时说话。
典型的错误
预计会在同音字、成组读出的数字、逐字拼读的姓名、日期和时间,以及句首的短词上遇到麻烦。了解您有哪些错误,更容易修复它们。请参阅《让语音准确获取姓名、数字和地址》。
从基础做起
在改动任何花哨的东西之前,先检查简单的事情。
按顺序的基本检查清单
- 检查音频收听真实通话的录音。如果您听不懂某一段,系统也听不懂。
- 设置语言选择来电者使用的语言,如果来电者各不相同,则启用自动检测。
- 调整停顿调整静默持续多久,系统才判断来电者说完了。
- 调整噪音处理让系统对背景声音更敏感或更不敏感。
- 用真实的声音测试尝试不同的说话者、设备和地点。
语言与检测
如果大多数来电者说同一种语言,请明确设置它。自动检测在来电者各不相同时有用,但可能需要几个词才能稳定下来,而“是”之类的简短话语可能被误判。对于多语言线路,请阅读《AI 多语言电话客服》。口音和方言也很重要;请参阅《语音 AI 中的口音与方言》。
停顿与轮流说话
如果系统把人说到一半打断,请提高静默阈值,让它等待更久。如果它似乎响应迟缓,则降低阈值。年长的来电者和在念数字的人停顿更多;请与他们一起测试。适合快节奏交流的阈值,可能会让那些边想边说的人感到沮丧。请参阅《语音活动检测》和《语音坐席中的轮流发言》。
噪音敏感度
嘈杂的街道可能让系统在没有语音的地方听到语音,或者掩盖轻声的话语。请在嘈杂的环境中而不仅仅是在办公室里测试,并逐步调整灵敏度。
设计易于识别的问题
最便宜的改进往往根本不在识别器中,而在于坐席问了什么。
- 一次只问一件事。“您的姓名是?”比“姓名、电话号码和事由?”得到的回答更清晰。
- 提供用很少的词回答的方式,如是或否,或在两个选项中选一个。
- 告诉来电者如何给出数字:“请逐位说出数字。”
- 能用简短的封闭式问题时,就避免冗长的开放式问题。
- 在坐席再次开口之前,给来电者留出回答的时间。
确认重要的内容
对于姓名、电话号码、日期、地址以及任何会产生后果的内容,复述您听到的并请来电者确认。“我记录的是四号周二上午十点,对吗?”比想当然可靠得多。在允许的情况下,提供另一种提供困难信息的方式,例如事后给对方发一条消息,让他们自己补充完成。
用您的词汇帮助系统
识别错误往往集中在您业务特有的词上:产品名、员工姓名、地名、医疗或技术术语。有帮助的做法包括:
- 保留一份被听错的术语清单,并观察它们是否有所改善。
- 在系统允许自定义词汇或提示的情况下,添加重要的术语。
- 确保您的知识来源对名称的拼写一致,这样后续步骤才能匹配它们。
- 建立发音词典,教坐席如何大声读出这些词;这会影响语音输出而不是识别,但有助于来电者理解并以同样方式回应。
请注意“听”与“说”的区别。发音词典改变的是一个词怎么读出来,而不是怎么被听到。
从容应对失败
即使调整良好的系统,有时也会听错。请设计兜底方案:第一次失败后,换一种方式重新提问;第二次之后,提供另一种方式,如真人、回拨或留言。绝不要让来电者在同一个提示里循环三次。当技术失灵时,体面的退出可以保护关系。
衡量与测试
没有衡量,就无法判断某项改动是否有帮助。用经同意并注明许可的真实通话建立一个小型测试集:也许是五十段简短的片段,涵盖您典型的声音、设备和噪音。对每一段,比较所说的内容与识别出的内容,并统计那些要紧的错误(如数字错误),而不是每个次要的词。
每月的识别复查
- 收听一批真实通话,包括失败的通话。
- 列出最常被听错的五个词或短语。
- 检查是否可以通过措辞、设置或词汇来解决。
- 每次改动之后,重新测试相同的片段。
- 包含有噪音和有口音的样本,而不只是干净的样本。
- 记录改动和结果,避免重复试验。
请参阅《如何在上线前测试语音 AI 坐席》和《如何评估语音坐席的对话》。
在 Call 中操作
Call 允许您在语音设置下,为每个 AI 坐席调整收听。在转写部分,您可以选择语言或自动检测,并调节静默阈值和噪音敏感度控件。页面上的横幅说明实时通话目前使用哪些设置。如果坐席把来电者说到一半打断,请提高静默阈值。
- 发音词典。教 AI 声音如何读出它读错的人名、地名和词语;它改变的是说出的内容,而不是识别的内容。
- 转写。在录音下方阅读通话的转写,并在通话后标注说话者,这样就能看出谁说了什么。
- 通话质量。与 AI 坐席的通话在结束后评分,并附有原因和引文,因此很容易找到表现薄弱的通话。
- 更正。您可以在通话记录中更正一个答案,并将更正后的答案保存到坐席的知识中。
Call 的识别取决于通话和电话线路,所以请在真实线路上测试。请参阅《使用 Call 中的通话记录与摘要》和《在 Call 中搜索通话转写》。
常见问题
为什么电话语音识别不如我的智能手机准确?
电话线路传输的音频比现代麦克风更窄、压缩更多,来电者又常常身处嘈杂的地方或使用免提。软件可利用的信息更少,所以出现更多错误。
应该设置一种语言,还是使用自动检测?
如果几乎所有来电者都使用同一种语言,就设置它。当来电者各不相同时使用自动检测,并测试“是”“不是”之类可能被误判的简短回答。
如何提高对姓名和数字的识别?
一次询问一项,告诉来电者如何说数字,通过复述来确认,并在系统允许时将重要术语添加到词汇中。
发音词典能改善坐席听到的内容吗?
不能。它改善的是坐席大声读出词语的方式。它可以帮助来电者听懂坐席,但识别是另一项设置。
如何知道某项改动是否有帮助?
保留一组固定的真实通话片段,统计改动前后要紧的错误,并在每次改动后重新运行同一组。一通幸运的电话什么也证明不了。