语音 AI 技术

语音活动检测:判断来电者何时说完

语音活动检测如何在通话中区分语音与静音、时机为什么会出错,以及如何调整静音阈值和噪音灵敏度,让助手既不抢话也不迟钝。

Call 编辑部 · 发布于 · 阅读约需 5 分钟

两个人打电话时,很少会去想下一句该谁说。语音助手却必须把它算出来。第一步是一个出奇简单、每秒要问很多次的问题:此刻有人在说话吗?回答这个问题的组件叫作语音活动检测,简称 VAD。

一个人坐在办公桌前,对着电话耳麦说话
示意图

本文介绍 VAD 的作用、为什么它在电话线路上比在安静房间里更难、各项设置的含义,以及如何调整。想了解语音助手工作原理的全貌,请阅读语音 AI 在电话中如何工作。

语音活动检测做什么

VAD 把音频流切成极短的片段来观察,并给每个片段打上「语音」或「非语音」的标签。简单的版本只测量音量。更好的版本是经过训练的模型,能识别人类语音的模式,并忽略键盘敲击声、路过的卡车或背景里的电视声。

这些标签为语音助手的三项判断提供依据:

由于 VAD 之后的所有环节都依赖于它,糟糕的 VAD 会让一个好助手显得很差。在来电者还在说话时就冒出来的回答,很少是语言问题,通常是时机问题。

为什么电话让它更难

电话线路是一条狭窄、经过压缩的通道,来电者往往身处街头、车里或商店中。这种组合模糊了语音与噪音之间的界限。为什么电话音频对语音识别来说很难着眼于音频本身;下面是 VAD 特有的影响。

什么会干扰检测器

  • 背景噪音车流声、风声和咖啡馆里的交谈声可能被误认为语音,让这一轮迟迟不能结束。
  • 说话声音小轻柔的声音可能被归为静音,导致助手抢在来电者说话时开口。
  • 句中停顿人们会停下来思考、拼读一个名字,或者在包里找一个号码。
  • 回声与侧音助手自己的声音漏回线路中,看起来就像来电者在说话。
  • 呼吸声与语气词「嗯」或一声叹气之类的声音,可能算作一轮发言,也可能不算。

静音阈值的权衡

最重要的设置,是静音必须持续多久,系统才判定来电者已经说完。我们称之为静音阈值。这是一种权衡,不存在完美的数值。

短静音阈值与长静音阈值

等待短等待长
通话感受快速、活跃较慢、更从容
风险在来电者思考或报号码时插话每次回答后都有冷场,来电者会重复自己的话
适合简短的是非问答姓名、地址、账户信息,以及年长或说话犹豫的来电者

想一想通话的内容。如果您主要问的是是非题,短的等待时间就够用。如果来电者必须提供邮箱地址或编号,较长的等待时间能防止助手在数字之间的停顿中抢话。

针对不同问题使用不同的速度

有些系统允许按问题调整耐心程度。问来电者是否需要回电时可以快一些;问邮政编码时则要有耐心。如果您的平台不支持这样做,请选择适合最难那个问题的设置,因为打断来电者比短暂的停顿更让人恼火。

在 Call 中调整 VAD 设置

在 Call 中,每个 AI 助手都有一个「语音转写」区域,您可以在这里选择它要识别的语言,或者让它自动检测语言。两个滑块决定了它如何判断来电者已经说完。「静音阈值」是来电者这一轮结束前需要的安静秒数,可在 0 到 1.5 秒之间调整;数值越低,轮换越快,数值越高,就越能容忍较长的停顿。「噪音灵敏度」滑块让助手对背景声音更敏感或更不敏感。该页面上的提示横幅会告诉您,目前真实通话实际使用的是这些设置中的哪几项,所以在花时间调整之前,请先查看它。

简单的调整循环

  1. 从默认值开始在修改任何设置之前,先拨打一组测试电话作为基线。
  2. 测试困难的情况在嘈杂的地方打电话,说得慢一些,在号码中间停顿,小声说话。
  3. 只改一项设置调整静音阈值或噪音灵敏度中的一项,不要同时改两项。
  4. 重新测试并比较使用同样的脚本,让差异只来自于设置的变化。
  5. 审核真实通话在转写文本中查找来电者被打断或长时间冷场的地方,然后再次调整。

设想一位假设中的来电者在报预约编号。他说出前四个字符,看了一眼确认邮件,两秒后接着往下说。如果等待时间短,助手已经开口回答了,来电者只好重新开始,两人说话撞在一起。如果等待时间长,同一位来电者能一口气报完编号。再设想一位只需要说「是」的来电者。较长的等待时间会让他在每一轮都多承受一秒钟的静默。合适的设置,取决于您预计哪种来电最多。

手机来电者还会带来另一个变数。降噪功能很强的手机有时会截掉句子的第一个音节,导致语音开始的信号来得太晚。如果来电者似乎经常开口说话却被忽略,试试调高噪音灵敏度,再用手机测试一次。

从症状判断原因

通过收听通话,您通常就能判断设置偏向了哪一边。

您听到的情况可能的原因可以尝试
助手抢在来电者说话时开口静音等待太短,或漏掉了轻声的语音调高静音阈值,提高噪音灵敏度
每次回答前都有长时间停顿静音等待太长稍微调低阈值
没人说话助手却作出回应噪音被当成语音,导致这一轮一直无法结束降低噪音灵敏度
助手忽略了说话轻柔的来电者语音被当成噪音提高噪音灵敏度
即使等待时间很短,回答仍然感觉很慢延迟出在处理链路的其他环节请参阅延迟指南

除了 VAD,延迟还有好几个来源。语音 AI 延迟:为什么回答感觉很慢对它们做了区分,处理插话与打断则介绍了助手说话时来电者开口会发生什么。

不止静音:更智能的话轮结束判断

单靠静音是一个粗糙的信号。较新的方法还会考虑说了什么:以「而且」结尾的句子,或者说了一半的号码,很可能意味着后面还有话;而一个完整的问题大概就说完了。这些方法在语音助手的话轮转换中有更详细的介绍。无论采用哪种技术,都请把供应商的说法当作假设,并用您自己的通话来验证。

上线之前,请确认

  • 来电者报号码时,助手不会打断
  • 一两秒的停顿不会被当作这一轮的结束
  • 在嘈杂街头打电话的来电者仍然能被听懂
  • 助手自己的声音不会触发检测器
  • 您收听过来自手机的通话,而不只是座机
  • 如果真实通话暴露出问题,您知道去哪里修改设置

在 Call 中的下一步

打开助手的语音设置,检查「语音转写」区域,然后拨打一通会经由这条线路打到您自己手机上的测试通话。接着在「通话记录」中打开这通电话,管理员可以在这里看到每一轮发言用了多长时间,并与通话的实际感受进行比较。静音阈值的微小变化,通过并排对比收听来判断,要比凭记忆判断容易得多。

常见问题

VAD 是什么的缩写?

语音活动检测(Voice Activity Detection)。它是语音系统中区分语音与静音、背景噪音的部分。

VAD 和语音识别是一回事吗?

不是。VAD 只判断是否有人在说话,语音识别则把语音转成文字。两者协同工作,而 VAD 还决定什么时候停止倾听、开始回答。

为什么助手有时会打断我?

对于您的说话方式来说,静音等待可能太短了,或者某次停顿被当成了您这一轮的结束。调高静音阈值通常会有帮助。

为什么助手回答之前会有长时间的停顿?

可能是静音等待时间较长,也可能是延迟出在其他环节,例如生成回答。先检查设置,再到「通话记录」中查看响应时间。

背景噪音会影响结果吗?

会。噪音可能被误认为语音,让这一轮迟迟不能结束;轻声的语音也可能被误认为噪音。噪音灵敏度设置,加上在真实环境中拨打的测试电话,能帮您找到平衡点。

一种设置能适合所有来电者吗?

很少能。请选择适合您要求最高的那些问题的数值,并审核真实通话,因为有耐心的来电者和语速快的来电者表现各不相同。

在 Call 中调整 AI 助手判断来电者已说完的方式

在演示控制台中,您可以通过模拟体验来电。

相关指南