语音 AI 与口音方言:面向真实来电者的测试与调优
为什么语音助手对某些口音理解得更好、您可以调整哪些地方,以及如何用真实的声音做公平的测试,让每位来电者都不被拒之门外。
每个人都有口音。然而,语音助手是用某种特定组合的声音训练出来的,它往往最能听懂那些它听得最多的声音。对于服务广大公众的企业来说,这不是一个无关紧要的技术细节,而是决定来电者得到帮助还是感到沮丧的关键。

本文介绍口音和方言为什么会影响语音 AI、您可以调整哪些地方,以及如何公平地测试。相关文章多语言语音 AI和为什么电话音频难以被语音识别分别补充了语言和音频方面的内容。
为什么口音对识别器很重要
语音识别器从配有文字的录音中学习规律。如果训练录音中某种地方口音、某个年龄段或非母语说话者的占比不足,识别器对这些声音的规律掌握就较弱。识别器并没有人类意义上的偏见,只是证据较少而已。但其结果可能是不平等的服务。
说话人之间的差异
- 发音元音和辅音因地区和母语而不同。
- 节奏与重音哪个音节是重音,以及词与词连读得有多快。
- 词汇日常事物的地方叫法、地名和俚语。
- 语法习惯与教科书语言不同的方言形式和句式。
- 语码转换在一句话中在两种语言之间切换。
读取转写文本的语言模型也存在类似的问题。在某种方言中很自然的说法,在它学习过的书面文本中可能很少见,其含义就可能被忽略。
同一种语言内部的方言
认为一种语言就是铁板一块,是一种常见的误解。不同国家说的英语在发音和用词上差异很大,许多语言也是如此,包括有各地方言的日语,以及西班牙语、阿拉伯语和中文。一个针对标准语调优的系统,可能只能部分应对地方口音。
地方词汇是一个特殊的难题。街道名、街区名、产品的俗称和姓氏,往往不在通用词典里。如果您的来电者经常说这些词,识别器很可能会把它们识别成发音相近的常用词。
您可以调整什么
慎重选择语言和地区
许多识别器提供按地区区分的语言变体。选择最接近您来电者的变体会有帮助。对于来电者构成多样的情况,自动语言检测很方便,但它会在通话早期就做出判断,所以要测试它在面对简短话语和带口音的语音时表现如何。在 Call 中,「语音转写」让您可以选择一种语言或自动检测语言;除非来电者要求换成另一种语言,否则助手会在通话的剩余部分一直使用它识别出的第一种语言。
添加关键词汇
如果平台支持自定义词汇或提示词,请添加企业名称、产品名称、员工姓名和本地地名。即使平台不支持,您也可以通过口头确认这些词,并在助手的资料中提供一份简短的常见名称列表,让它能够匹配接近的结果,从而减少损害。
写得清楚明白
简短、平实的问题,比冗长、口语化的问题更容易回答,也更容易识别。在助手自己说的话里避免使用俚语,也避免依赖本地说法的幽默。
给来电者留出空间
非母语说话者和不太确定的人可能会停顿或说得较慢。较长的静音阈值会有帮助,详见语音活动检测。
用真实的声音测试
仅凭几位背景相似的同事,无法判断是否公平。请组建一个与您的来电者相似的测试小组。
公平的测试计划
- 列出您的来电者地区、语言、年龄段和常用的电话类型。
- 招募测试者在取得同意的前提下,找到说话方式与这些来电者相似的志愿者。
- 编写脚本包含姓名、号码和本地地点的真实任务。
- 拨打电话使用普通手机,并加入贴近真实的噪音。
- 比较结果寻找错误明显偏多的群体。
| 指标 | 说明了什么 |
|---|---|
| 正确识别的词语 | 识别器对每个群体的处理效果 |
| 完成的任务 | 来电者是否得到了所需的帮助 |
| 重复与更正 | 助手多久需要再问一次 |
| 转人工率 | 来电者多久会放弃并要求找真人 |
| 来电者的舒适度 | 测试者对体验的评价 |
用同样的指标比较各个群体。即使整体平均值看起来不错,群体之间任务完成率的差异也是一个需要调查的信号。保护测试者的隐私,录音只保留必要的时长。
两个假设的例子
一家海滨小镇上的小型宠物医院,接到的来电中当地人常用街道和海滩的俗称。识别器总是把其中一个俗称识别成一个毫不相干的常用词。医院把这些本地名称加进助手的资料,并让助手复述地点,错误就减少了。模型本身没有任何变化,解决办法只是一张词汇表。
一家地区银行网点接到的来电中,有些客户是成年后才学这门语言的,说话慢,停顿长。助手总是在他们说完之前就开口回答。调高静音阈值、缩短助手的提问,给了他们足够的空间,重复率随之下降。同样,解决办法是一项设置和一段话术,而不是新技术。
两个故事有一个共同的模式:倾听失败的案例,找出涉及的具体词语或时机,然后做一个小小的改动。关于准确率的宏大说法,不如一本记录您自己线路上哪里出了错、什么办法修好了它的笔记本有用。
上线后也要持续更新这本笔记。来电者会变,新的街区和产品会出现,今天做的修正也可能过时。每月看一看最常被更正的词语,是让助手保持与时俱进的轻量级例行工作。
绝不让系统成为一堵墙
无论调得多好,总有一些来电者的话无法被听懂。请为此做好设计。在两次尝试获取某项信息都失败之后,助手应该换一种方式或转交真人,而不是反复绕圈。主动提出记录留言、安排回电,或在有人值班的时段把来电者转给真人。
公平性检查清单
- 已用每个主要来电者群体的说话人进行测试
- 语言和地区设置与来电者相符
- 已添加本地名称和术语,或通过口头方式确认
- 静音设置允许较慢的语速
- 关键信息在使用前已复述确认
- 两次尝试失败后可以联系到真人
- 已按群体审核转人工率和重复率
在 Call 中着手处理
在 Call 中,选择助手的语言设置,设定「静音阈值」和「噪音灵敏度」,并用平实的语言编写开场白和错误提示。然后使用测试通话,在您自己的手机上听听助手的表现,并请口音不同的同事也这样做。之后在「通话记录」中打开每一通电话,阅读逐轮对话,并在转写文本中搜索反复被听错的词语。修正您的资料,在措辞重要的地方添加准确答案,并通过服务台保持转人工的途径畅通。
常见问题
语音 AI 对所有口音的理解程度都一样吗?
不一样。准确率往往因口音和方言而异,取决于系统学习过哪些声音。请用您自己的来电者来测试,而不是依赖笼统的说法。
我能告诉助手要预期哪种口音吗?
通常您可以为识别器选择一种语言变体,有些系统还可以添加词汇。请确认您的平台支持哪些功能,并测试效果。
为什么助手会听错本地地名?
通用词典很少收录所有的本地名称,所以识别器会选一个发音相近的常用词。请口头确认名称,并尽可能提供常见名称列表。
助手应该自动切换语言吗?
这对来电者构成多样的情况有帮助,但请用简短和带口音的语音测试它。在 Call 中,除非来电者要求换成另一种语言,否则通话中会一直使用识别出的第一种语言。
我怎么知道助手是否对某些来电者不公平?
在说话方式不同的测试者群体之间,比较任务完成率、重复率和转人工率。差距过大,就说明需要调整设置、资料或话术。
如果来电者的话完全无法被听懂怎么办?
尽快提供其他途径:留言、回拨请求或转真人。不应让任何来电者被一个听不懂他们的系统困住。