防止语音 AI 在电话中编造答案
语音助手为什么有时会说出不实内容,以及限制这种情况的实用方法:基于可靠资料作答、安全的兜底回应、陷阱问题测试和持续审核。
问语音助手您的营业时间,它会对答如流。问题在于,当被问到从未被告知过的事情时,它也同样对答如流。这就是人们所说的「幻觉」:听起来正确、却在您的信息中毫无依据的输出。

在电话线路上,这种风险比在聊天窗口中更突出。来电者听到的是一句自信的话,没有链接、没有来源,也没有方便回头查看的办法。本文介绍幻觉为什么会发生、如何减少,以及如何检验您的修正是否有效。
什么是幻觉,为什么会发生
语言模型会生成对话中最「合理」的后续内容。它用海量文本训练而成,本身并不知道哪些说法对您的企业来说是真实的。当提示词或资料中缺少答案时,模型可能会用看起来合理的内容来填补空白。
电话助手出现幻觉的典型原因
- 信息缺失来电者问了没人写下来的问题,于是模型临场发挥。
- 信息过时资料中还留着旧的价格或营业时间。
- 资料含糊两份文档说法不一,助手选了其中一份。
- 急于帮忙的压力写着「务必回答」的提示词会助长猜测。
- 语音识别错误一个听错的词改变了问题,于是助手回答了另一个问题。
最后一个原因很容易被忽略。如果来电者说的是「周四」,转写文本却写成「周二」,那么回答可能对于一个错误的问题来说完全准确。识别错误是如何产生的,请参阅电话中的语音识别。
实际中是什么样子
一家假设的牙科诊所可能告诉了助手营业时间和提供的服务。一位来电者问诊所是否接受某种保险。由于没有相关信息,一个不严谨的助手可能会回答「接受」,因为很多诊所都接受。来电者满怀期待地上门,结果发现无法报销,非常不满。解决办法不是换一个更聪明的模型,而是一条明确的指令,以及一份说明「答案未知时该怎么做」的资料。
常见的高风险话题包括价格、空档、法律或医疗建议、退款承诺,以及任何听起来像承诺的内容。把这些标记为助手不得临场发挥的领域。
为什么语音会让情况更糟
文字聊天机器人的回答可以附上链接、免责声明或可见的来源列表,语音却一样都带不了。合成语音还很流畅平稳,所以猜测听起来和事实一模一样,没有任何迟疑来提醒来电者。来电者往往会立即根据听到的内容行动:开车去某个地方、取消某件事或支付某笔钱。
这就是为什么电话助手的设计倾向应当偏向克制。一个指向真人的简短而诚实的回答,只需要几秒钟;一个自信的错误回答,可能会让您失去一位客户。在决定严格程度时,想一想每个话题上回答错误可能带来的最坏后果,并据此设定规则:营业时间可以宽松一些,涉及金钱、健康或法律权利的事情则要严格。
如何减少编造的答案
分层防护
- 让助手有据可依给它已批准的事实,并要求它只依据这些事实作答。
- 定义「未知」时的说法写下它在缺少答案时应该说什么。
- 限制承诺禁止它做出无法兑现的承诺,例如折扣或已确认的预约。
- 提供后续途径始终把转真人、留言或回电作为下一步。
- 测试与审核用资料范围之外的问题进行测试,并阅读真实的转写文本。
以已批准的资料为依据
检索是指在提问时从您的文档中查找相关段落,只把这些段落交给模型。它让回答始终与您写下的文字挂钩。语音助手的检索机制解释了这一思路,Call 中的知识来源则展示了它在产品中的样子。
写简短、无歧义的事实
每个条目只写一个事实并附带条件,比一本冗长的宣传册效果更好。与其写「我们周末营业」,不如写「周六 9 点至 13 点营业,周日休息」。如果某个话题有例外情况,就写在同一个条目里。
为关键问题提供准确答案
对于措辞很重要的问题,例如取消规定,给助手一个可以直接念出来的准确答案。在 Call 中,您可以添加一个问题以及助手应给出的准确答案,这样它就不必自己转述。
教它说「我不知道」
一句诚实的「这个我在电话里无法确认,但可以记下您的信息,请工作人员给您回复」,远比猜测要好。在 Call 中,当指令或资料中没有任何内容能回答问题时,助手的设计是直接说明自己无法确认,并在线路能够转接的情况下提出转给真人。它也绝不会编造您的指令和资料中没有写明的价格、营业时间、日期或其他事实,而且您的指令无法关闭这些规则。
有依据与无依据的回答
同一个问题,两种设置
| 无依据的助手 | 有依据的助手 | |
|---|---|---|
| 答案来源 | 一般常识和看似合理的猜测 | 仅限您批准的事实 |
| 信息缺失时 | 编出一段流畅的内容 | 说明无法确认,并提供下一步 |
| 对来电者的风险 | 可能根据错误信息行事 | 知道哪些内容尚不确定 |
| 维护 | 容易上手,难以信任 | 需要保持资料最新 |
有意识地测试幻觉
不要等客户来发现漏洞。准备一小组陷阱问题,每次修改提示词或资料时都跑一遍。
幻觉测试题组
- 询问一项您并不提供的服务
- 询问资料中没有的价格
- 询问一个没人写下来的政策例外
- 询问一个很久以后的日期
- 用与书面答案不同的措辞提问
- 问一个听起来与已覆盖话题相似的问题
- 检查每个未知问题是否都以安全的下一步结束
每次修改后重复这组测试,并把发现的每个真实失败案例都加进去。更完整的测试流程请参阅测试语音 AI 助手。
上线后持续关注
控制幻觉不是一次性的任务。信息会变,新问题会出现,提示词也会在大家的编辑中逐渐走样。建立一套例行流程:每周抽读一部分转写文本,搜索那些表示不确定的说法,并更新资料。在 Call 中,您可以打开任何一通电话的完整对话,在所有已存储的转写文本中搜索某个短语,并查看对助手措辞所做修正的历史。请记住,转写文本只保留有限的时间,所以要及时审核。
在 Call 中实践
先把最常被问到的问题写成准确的问答对,为其他所有内容添加简短的事实资料,并且只在测试之后才把助手绑定到线路上。如果您需要帮助编写不鼓励猜测的提示词,请阅读为 LLM 电话助手编写提示词。与这项工作相辅相成的安全护栏,请参阅语音 AI 助手的安全护栏。
常见问题
什么是语音 AI 幻觉?
它是一种听起来很自信、却没有您的信息作为依据的回答,例如编造的价格或政策。当模型选择填补空白、而不是承认自己不知道时,就会发生幻觉。
幻觉能被完全消除吗?
没有任何工具能做出这样的承诺。通过限制助手可以说的内容、保持资料最新、并给它一个安全的兜底方案,您可以大幅减少幻觉,但仍应持续测试和审核。
为什么助手会回答我从没教过它的问题?
语言模型的本质就是生成看似合理的文本。如果没有明确的指令要求它只依据您的资料作答、并在无法确认时说明,它就可能临场发挥。
听错一个词和幻觉是一回事吗?
不完全是。听错一个词属于识别错误,但它可能导致一个看起来像幻觉的错误回答。查看转写文本,就能判断是哪一种情况。
哪些话题风险最高?
价格、空档、医疗或法律建议、退款,以及任何承诺。对于这些话题,请给助手准确的措辞,或安排转交真人。
我应该多久审核一次转写文本?
上线初期每天或每隔几天一次,之后每周一次。在修改提示词或资料之后,要更频繁地审核。