端到端语音模型与级联语音管线对比
构建电话语音助手的两种方式:端到端语音模型与级联管线。两者在自然度、响应速度和可控性上的优势与短板,以及如何通过实测做出选择。
当您听到一个语音助手说话时,背后通常是两种设计之一。第一种,软件把来电者的语音转成文字,语言模型写出文字回答,再由语音引擎读出来。第二种,由一个模型直接听音频、用音频回答。供应商们争论哪种更好,而老实说,两者各有取舍。

本文用通俗的语言比较这两种设计,帮助您在选择平台时提出更好的问题。如需更全面的介绍,请从语音 AI 在电话中如何工作开始。
级联管线
级联管线有时也称为「语音转文字 → 模型 → 文字转语音」,多年来一直是标准做法。每个阶段都是一个独立的组件,阶段之间传递的是文字。
级联管线
- 语音识别把来电者的音频转换成文字。
- 语言模型结合指令和资料阅读文字,并写出回答。
- 语音合成把回答文字转换成语音。
- 电话在来电者与系统之间传输音频。
由于系统的中间环节是纯文本,您可以阅读、搜索、存储它,按规则检查它,并替换任何一个阶段。您可以换上一个更擅长识别您来电者口音的识别器,或者一个更符合品牌形象的声音。
端到端语音模型
端到端语音模型也被称为原生音频模型,它直接处理音频:直接聆听声音本身,并生成声音作为输出,不过许多此类系统也会同时生成文字用于记录。
端到端语音
- 音频输入来电者的声音直接进入模型。
- 单一模型它理解含义、语气和节奏,并规划回答。
- 音频输出它直接生成语音回答。
- 电话音频在来电者与系统之间传输。
它的吸引力在于各阶段之间不会丢失任何信息。一次停顿、一声笑、一丝犹豫或一声叹息都可能影响回答,而且模型可以更早开口,因为它不必等待三个独立的步骤。
并排对比
级联管线与端到端语音
| 级联管线 | 端到端语音 | |
|---|---|---|
| 自然度 | 取决于每个阶段,可能有分步感 | 往往更流畅,保留了节奏和语气 |
| 响应时间 | 三个阶段之和,可以逐个调优 | 可能更短,因为交接更少 |
| 控制力 | 高:可以在每一步对文字施加规则 | 较低:更难看到内部发生了什么 |
| 转写与日志 | 自然而然的副产品 | 通常单独生成,可能与实际说的内容有出入 |
| 替换组件 | 容易:可以单独更换识别器或声音 | 受限于模型所提供的功能 |
| 声音选择 | 可选声音丰富 | 通常选择较少 |
| 成熟度 | 有长期的应用记录 | 较新,变化很快 |
对任何声称绝对更优的说法都要保持谨慎。每个类别内部的产品质量都参差不齐,在干净的演示中得到的结果,放到嘈杂的手机通话中未必成立。
电话通话中的关键因素
电话音频频带窄、噪音多
电话音频经过压缩,而且往往很嘈杂。无论选择哪种设计,都要检查它在真实电话音频上的表现,而不只是在录音棚录音上的表现。为什么电话音频对语音识别来说很难解释了其中的影响。
控制力与可审计性
如果您必须证明助手说了什么以及为什么这样说,每个阶段都有文字会很有帮助。级联设计让您可以在模型的回答与语音之间加入一道检查。使用端到端模型时,您更多地依赖供应商的控制机制和测试。请查看语音 AI 助手的安全护栏,并决定哪些规则需要强制执行。
打断与时机
原生音频模型通常能更流畅地处理说话重叠和打断,因为它持续地在听来电者说话。级联系统则依靠语音与静音的检测来决定何时停止、何时开口;请参阅语音活动检测和语音助手的话轮转换。更好的工程设计可以缩小这一差距,而且这个差距可能还会持续变化。
语言与口音
请通过实测来检查对您重要的语言和口音,而不是接受宣传册上的一份列表。一个在某种语言上很强的模型,在另一种语言上可能较弱;管线中的各个阶段也是如此。
根据您的情况做选择
几个假设的场景说明了不同的优先级会把选择引向不同的方向。
- 一家小诊所需要每通电话都有可靠的转写记录,并在少数话题上使用准确的措辞,它可能更看重级联设计带来的控制力。
- 一条以温暖、流畅的对话为核心的礼宾热线,如果测试表明端到端语音模型能守住事实,可能会更看重它的自然度。
- 一家需要经常更换声音或语言的企业,可能更喜欢独立组件带来的灵活性。
- 一个有严格内部审查要求的团队,可能需要确认任何端到端系统如何记录并呈现所说的内容。
向供应商提出的问题
- 系统使用了哪些阶段?我能更换它们吗?
- 我能拿到每通电话的转写文本吗?它是否就是模型听到的内容?
- 规则和限制是如何强制执行的?
- 它在手机和嘈杂线路上表现如何?
- 在真实电话中,典型的响应时间是多少?
- 如何处理打断?
- 音频和文字事后会如何处理?
两者的界限并不分明
这两个类别并不像营销宣传说的那样泾渭分明。许多端到端语音产品仍会在音频之外生成转写文本,许多级联产品也会在阶段之间流式传递部分结果,让语音在模型写完之前就开始播放。有些系统用原生音频模型进行对话,再用文字环节来查询信息或检查规则。当供应商说自己的产品是端到端的时候,问清楚具体哪一部分是端到端的,以及在哪里仍然会出现文字。
这一点很重要,因为实际的问题并不会改变:在哪里可以读到说了什么?在哪里可以执行规则?错误的回答如何被发现?一个既能提供可靠转写、又能提供自然声音的混合方案,可能是明智的折中之路,前提是您能对两部分都进行验证。
公平地测试
比较很容易在不经意间失真。对每个候选方案,使用同样的脚本、同样类型的电话线路和同样的背景噪音。不只在安静的房间里测试,还要在车里或街上用手机测试。加入真实来电者会制造的那些尴尬时刻:说到一半的更正、逐字拼读的名字、超出范围的问题,以及要求找真人。
用几个简单的指标给每通电话打分:答案是否正确?助手是否等来电者说完?每次回答前的空白有多长?通话是如何结束的?一组数量不大、但评分一致的通话,比一场精心打磨的演示更能说明问题。
Call 的做法
实际的经验是:架构不如它在您通话中的表现重要。在 Call 中,AI 助手在回答的第一部分准备好时就开始说话,在外呼时提前准备好问候语,并保持回答简短。您可以设置声音和语音转写选项,通过拨打自己的手机进行测试,事后在「通话记录」中阅读对话内容。无论底层技术是什么,都用同样的标准来要求它:它是否回答准确、是否礼貌地转交、来电者听起来是否能接受?如何评估语音助手的对话中介绍的衡量方法对两者都适用。
常见问题
什么是端到端语音模型?
它是一种以语音音频作为输入、并输出语音音频的模型,在识别和发声之间没有单独的文字环节。
什么是级联语音管线?
它是由语音识别、语言模型和语音合成组成的链条,各阶段之间传递的是文字。
哪种更自然?
端到端语音系统通常被认为更流畅,但不同产品的质量各不相同。请通过收听与您的业务类似的通话来判断。
哪种更容易审计?
级联管线在每一步都会产生文字,因此日志、检查和规则都更简单。对于端到端模型,请弄清楚供应商记录了什么,以及这些记录有多可靠。
两种方式可以混合使用吗?
有些平台会把两者结合起来,例如对某些通话使用级联设计。请问清楚无论系统处于哪种模式,它是如何处理转写文本和规则的。
这个选择会影响成本吗?
可能会,但价格和模型都在变化,所以请向供应商索取当前的条款,并与实测结果进行比较,而不是只看宣传口径。