语音 AI 技术

防止语音 AI 在电话中编造答案

语音助手为什么有时会说出不实内容,以及限制这种情况的实用方法:基于可靠资料作答、安全的兜底回应、陷阱问题测试和持续审核。

Call 编辑部 · 发布于 · 阅读约需 5 分钟

问语音助手您的营业时间,它会对答如流。问题在于,当被问到从未被告知过的事情时,它也同样对答如流。这就是人们所说的「幻觉」:听起来正确、却在您的信息中毫无依据的输出。

一个人坐在办公桌前,认真地听着电话
示意图

在电话线路上,这种风险比在聊天窗口中更突出。来电者听到的是一句自信的话,没有链接、没有来源,也没有方便回头查看的办法。本文介绍幻觉为什么会发生、如何减少,以及如何检验您的修正是否有效。

什么是幻觉,为什么会发生

语言模型会生成对话中最「合理」的后续内容。它用海量文本训练而成,本身并不知道哪些说法对您的企业来说是真实的。当提示词或资料中缺少答案时,模型可能会用看起来合理的内容来填补空白。

电话助手出现幻觉的典型原因

  • 信息缺失来电者问了没人写下来的问题,于是模型临场发挥。
  • 信息过时资料中还留着旧的价格或营业时间。
  • 资料含糊两份文档说法不一,助手选了其中一份。
  • 急于帮忙的压力写着「务必回答」的提示词会助长猜测。
  • 语音识别错误一个听错的词改变了问题,于是助手回答了另一个问题。

最后一个原因很容易被忽略。如果来电者说的是「周四」,转写文本却写成「周二」,那么回答可能对于一个错误的问题来说完全准确。识别错误是如何产生的,请参阅电话中的语音识别。

实际中是什么样子

一家假设的牙科诊所可能告诉了助手营业时间和提供的服务。一位来电者问诊所是否接受某种保险。由于没有相关信息,一个不严谨的助手可能会回答「接受」,因为很多诊所都接受。来电者满怀期待地上门,结果发现无法报销,非常不满。解决办法不是换一个更聪明的模型,而是一条明确的指令,以及一份说明「答案未知时该怎么做」的资料。

常见的高风险话题包括价格、空档、法律或医疗建议、退款承诺,以及任何听起来像承诺的内容。把这些标记为助手不得临场发挥的领域。

为什么语音会让情况更糟

文字聊天机器人的回答可以附上链接、免责声明或可见的来源列表,语音却一样都带不了。合成语音还很流畅平稳,所以猜测听起来和事实一模一样,没有任何迟疑来提醒来电者。来电者往往会立即根据听到的内容行动:开车去某个地方、取消某件事或支付某笔钱。

这就是为什么电话助手的设计倾向应当偏向克制。一个指向真人的简短而诚实的回答,只需要几秒钟;一个自信的错误回答,可能会让您失去一位客户。在决定严格程度时,想一想每个话题上回答错误可能带来的最坏后果,并据此设定规则:营业时间可以宽松一些,涉及金钱、健康或法律权利的事情则要严格。

如何减少编造的答案

分层防护

  1. 让助手有据可依给它已批准的事实,并要求它只依据这些事实作答。
  2. 定义「未知」时的说法写下它在缺少答案时应该说什么。
  3. 限制承诺禁止它做出无法兑现的承诺,例如折扣或已确认的预约。
  4. 提供后续途径始终把转真人、留言或回电作为下一步。
  5. 测试与审核用资料范围之外的问题进行测试,并阅读真实的转写文本。

以已批准的资料为依据

检索是指在提问时从您的文档中查找相关段落,只把这些段落交给模型。它让回答始终与您写下的文字挂钩。语音助手的检索机制解释了这一思路,Call 中的知识来源则展示了它在产品中的样子。

写简短、无歧义的事实

每个条目只写一个事实并附带条件,比一本冗长的宣传册效果更好。与其写「我们周末营业」,不如写「周六 9 点至 13 点营业,周日休息」。如果某个话题有例外情况,就写在同一个条目里。

为关键问题提供准确答案

对于措辞很重要的问题,例如取消规定,给助手一个可以直接念出来的准确答案。在 Call 中,您可以添加一个问题以及助手应给出的准确答案,这样它就不必自己转述。

教它说「我不知道」

一句诚实的「这个我在电话里无法确认,但可以记下您的信息,请工作人员给您回复」,远比猜测要好。在 Call 中,当指令或资料中没有任何内容能回答问题时,助手的设计是直接说明自己无法确认,并在线路能够转接的情况下提出转给真人。它也绝不会编造您的指令和资料中没有写明的价格、营业时间、日期或其他事实,而且您的指令无法关闭这些规则。

有依据与无依据的回答

同一个问题,两种设置

无依据的助手有依据的助手
答案来源一般常识和看似合理的猜测仅限您批准的事实
信息缺失时编出一段流畅的内容说明无法确认,并提供下一步
对来电者的风险可能根据错误信息行事知道哪些内容尚不确定
维护容易上手,难以信任需要保持资料最新

有意识地测试幻觉

不要等客户来发现漏洞。准备一小组陷阱问题,每次修改提示词或资料时都跑一遍。

幻觉测试题组

  • 询问一项您并不提供的服务
  • 询问资料中没有的价格
  • 询问一个没人写下来的政策例外
  • 询问一个很久以后的日期
  • 用与书面答案不同的措辞提问
  • 问一个听起来与已覆盖话题相似的问题
  • 检查每个未知问题是否都以安全的下一步结束

每次修改后重复这组测试,并把发现的每个真实失败案例都加进去。更完整的测试流程请参阅测试语音 AI 助手。

上线后持续关注

控制幻觉不是一次性的任务。信息会变,新问题会出现,提示词也会在大家的编辑中逐渐走样。建立一套例行流程:每周抽读一部分转写文本,搜索那些表示不确定的说法,并更新资料。在 Call 中,您可以打开任何一通电话的完整对话,在所有已存储的转写文本中搜索某个短语,并查看对助手措辞所做修正的历史。请记住,转写文本只保留有限的时间,所以要及时审核。

在 Call 中实践

先把最常被问到的问题写成准确的问答对,为其他所有内容添加简短的事实资料,并且只在测试之后才把助手绑定到线路上。如果您需要帮助编写不鼓励猜测的提示词,请阅读为 LLM 电话助手编写提示词。与这项工作相辅相成的安全护栏,请参阅语音 AI 助手的安全护栏。

常见问题

什么是语音 AI 幻觉?

它是一种听起来很自信、却没有您的信息作为依据的回答,例如编造的价格或政策。当模型选择填补空白、而不是承认自己不知道时,就会发生幻觉。

幻觉能被完全消除吗?

没有任何工具能做出这样的承诺。通过限制助手可以说的内容、保持资料最新、并给它一个安全的兜底方案,您可以大幅减少幻觉,但仍应持续测试和审核。

为什么助手会回答我从没教过它的问题?

语言模型的本质就是生成看似合理的文本。如果没有明确的指令要求它只依据您的资料作答、并在无法确认时说明,它就可能临场发挥。

听错一个词和幻觉是一回事吗?

不完全是。听错一个词属于识别错误,但它可能导致一个看起来像幻觉的错误回答。查看转写文本,就能判断是哪一种情况。

哪些话题风险最高?

价格、空档、医疗或法律建议、退款,以及任何承诺。对于这些话题,请给助手准确的措辞,或安排转交真人。

我应该多久审核一次转写文本?

上线初期每天或每隔几天一次,之后每周一次。在修改提示词或资料之后,要更频繁地审核。

在 Call 中让 AI 助手基于已批准的答案作答

在演示控制台中,您可以通过模拟体验来电。

相关指南