语音 AI 如何工作:语音识别、大语言模型与文字转语音
通俗易懂地介绍语音 AI 电话智能体背后的流程:语音转文字、语言模型、文字转语音,以及轮流发言、延迟和安全转接。
与 AI 智能体的通话,可能让人觉得神奇,也可能像个谜题,取决于它是否运转良好。背后是一个相当简单的想法:把来电者的声音转成文字,让语言模型决定说什么,再把回复变回语音,而且要快到让人觉得像是在对话。本文介绍每个阶段、容易出问题的地方,以及这对您如何设置智能体意味着什么。关于更全面的视角,请从什么是 AI 电话接待?开始。

语音 AI 通话的基本循环
- 聆听捕获并清理来电者的音频。
- 转写语音转文字把音频变成文字。
- 决策语言模型选择接下来说什么或做什么。
- 说话文字转语音把回复变成音频。
- 重复这个循环在每个回合中运行,直到通话结束或被转接。
第一阶段:语音转文字
语音识别把声音转换为文字。在电话线路上,音频是窄带且经过压缩的,这比录音棚录制更难。口音、背景噪音、同时说话和不常见的名字,都会影响准确度。现代系统在日常语音上可以做得很好,但数字、拼写、姓名,以及药品或街道名称等专业词汇,是常见的薄弱点。
- 流式识别会在来电者还在说话时就产生文字,从而节省时间。
- 识别器往往需要提示,例如产品或地名的列表,才能做得更好。
- 置信度不等于确定性;系统可能很自信地出错。
- 判断一个回合何时结束,与识别文字是两项不同的工作。
更多细节请参阅电话通话的语音识别、处理数字和姓名和口音与方言。
第二阶段:语言模型
大语言模型会阅读到目前为止的转写文本,连同您编写的指令和提供的任何信息,然后生成下一条回复。它自己不会去查找东西;它依赖于所得到的内容。这就是提示词和知识库如此重要的原因。模型可以说得很流畅,却是错的,这就是护栏和测试必不可少的原因。
决定模型回复的因素
- 指令您赋予它的角色、语气、规则和限制。
- 知识它可以参考的文档、问答和事实。
- 到目前为止的对话这通电话中已经说过的内容。
- 工具它可以采取的操作,例如查询订单或记录留言。
像电话智能体的提示词写作、语音智能体的 RAG、幻觉和护栏这样的指南讲得更深入。一条说明不确定时该怎么办(例如提供真人或记录留言)的提示词,可以避免许多问题。
第三阶段:文字转语音
文字转语音把回复变成音频。不同声音在清晰度、温暖程度,以及对停顿、数字和您所用语言中的名字的处理上各不相同。有些可以通过发音词典进行调整。请选择在电话线路上清晰的声音,而不是追求新奇,并用它实际会说的短语进行测试。语言特有问题的示例,请参阅日语文字转语音,关于使用自定义声音时的同意与风险,请参阅声音克隆。
为什么时机决定体验
人类的对话节奏很快。超过一秒左右的间隔会让人觉得别扭。在三阶段流程中,每一步都会增加延迟,而模型也可能需要思考的时间。设计者通过流式处理来减少延迟:在整条回复准备好之前就开始说话,在来电者停止之前就开始转写。他们还会调整何时判定来电者已说完。
流程式与语音到语音
| 三阶段流程 | 语音到语音模型 | |
|---|---|---|
| 工作方式 | 识别、模型和声音各自独立 | 一个模型处理音频的输入和输出 |
| 控制 | 每个阶段都可以调整或替换 | 可见度较低,集成度更高 |
| 延迟 | 各阶段累加 | 可以更低 |
| 转写文本 | 每一步都有文本可用 | 可能需要额外工作才能产生文本 |
| 成熟度 | 广泛使用 | 较新,变化迅速 |
语音到语音模型是一种较新的方法。无论哪种方式,延迟、打断和轮流发言都决定了智能体听起来是否自然。
打断
人们会打断别人。好的智能体在来电者开口时会停止说话,并且不会把咳嗽或背景人声误认为打断。这取决于对语音的检测,相关内容见语音活动检测。调整不当的系统,要么抢在来电者前面说话,要么等得太久。
工具、知识与操作
当语音智能体能做的不止聊天时,它才变得有用。借助连接的工具,它可以查询信息、记录留言、记下回电请求,或把通话转给真人。每个工具都应有狭窄的用途和清晰的规则。智能体可以受理预约请求;确认预约则是另一回事,许多企业更愿意由真人来确认。函数调用解释了工具是如何向模型描述的。
音频和文字会怎样
每个阶段都会处理个人数据。音频包含声音;转写文本包含所说的内容,往往包括姓名、地址和来电原因。在部署之前,请弄清楚每个阶段在哪里运行、存储了什么、存储多久,以及谁可以阅读。决定付款或健康信息等敏感细节是否应该由智能体收集,还是转交给真人。以隐私为本设计语音 AI对此有更深入的介绍。
让智能体的工作范围保持狭窄。一个回答常见问题、记录留言并转接的智能体,比一个试图包办一切的智能体更容易测试、更容易向来电者解释,也更容易遵守您的隐私承诺。
实际中的预期
在简单、可预见的通话上,例如营业时间、路线指引、基本问题和记录留言,预期会有良好的结果。在冗长、情绪化或含糊的通话、浓重的口音、糟糕的线路以及需要判断的请求上,预期会有更多困难。稳妥的推行方式,是从少量通话类型开始,起初收听每一通电话,然后随着信心增长再扩大。需要记住的一句话是:智能体的设计是协助完成明确界定的任务,而不是取代判断。
容易出问题的地方
- 听错字词或数字会导致错误的答案。
- 模型编造答案,而不是承认自己不知道。
- 延迟让来电者重复自己的话或挂断。
- 背景噪音或串音被当作语音。
- 来电者想要的超出了智能体的范围,却无法脱身。
请针对这些情形进行设计。让联系真人变得容易,保持回答简短,确认数字和日期等重要细节,并定期复查真实通话。测试语音智能体和评估指标介绍了具体做法。
在 Call 中实现
在 Call 中,AI 智能体由人设和提示词、声音、语言和知识来源构建,然后在为某条线路开启之前,先在屏幕上和通过电话进行测试。Call 让您可以在多种声音中选择,用词典调整发音,调整语音的识别方式,并保持来源最新。智能体的设计是在被要求时把来电者转接给真人,并且可以记录留言。在为某条线路开启智能体之前,来电会响铃到您的团队。请务必先用您自己的通话进行测试。在 Call 中设置 AI 智能体介绍了具体步骤。
常见问题
语音 AI 智能体的三个组成部分是什么?
用语音转文字听取来电者,用语言模型决定说什么,用文字转语音说出回复。一些较新的系统将它们合并在一起。
为什么 AI 有时在回答之前会停顿?
每个阶段都需要时间,而且系统必须判定来电者已经说完。流式处理和调整可以缩短间隔,但无法消除。
AI 会编造内容吗?
会。语言模型可能产生看似合理却错误的答案。请给它良好的知识、明确的限制,以及不确定时提供真人的指令。
语音智能体可以预约吗?
它可以受理请求并转交。许多企业更愿意由真人确认,所以请决定智能体被允许承诺什么。
需要告知来电者这是 AI 吗?
在许多地方,人们期望或有权知道。请在通话开头明确说明,并核对适用于您的规则。
我如何检查它是否正常工作?
用不同口音和噪音水平的真实通话来测试,收听结果,并保留一份问题清单,在每次改动后重新运行。