语音坐席的 RAG:基于您自己的内容作答
检索增强生成(RAG)如何让电话 AI 依据您的文档和常见问题作答,以及准备内容、减少错误和测试答案的要点,一文讲清。
语言模型对世界了解很多,却对您的业务一无所知。它不知道您的营业时间、取消政策,也不知道负责锅炉维修的技术员叫什么名字。如果让它在没有这些信息的情况下回答来电者的问题,它可能会猜。检索增强生成,通常简称为 RAG,是标准的补救办法:找到您自己内容中的相关部分,连同问题一起交给模型,并要求它依据这些资料作答。

本文介绍 RAG 在电话场景中如何工作、如何为它准备内容、它在哪里会出错,以及如何测试。关于流程的背景,请参阅《语音 AI 如何工作:语音识别、大语言模型与文字转语音》。
RAG 在通话中如何工作
当来电者提出问题时,使用 RAG 的语音坐席通常这样做:
检索路径
- 听语音识别把来电者的话转成文字。
- 搜索系统在您的内容中搜索与问题相关的段落。
- 筛选保留最相关的几个段落,丢掉其余的。
- 组织语言模型利用问题和这些段落写出一个简短的答案。
- 说出文字转语音将答案读出来。
为什么不把所有内容都交给模型?
您可以尝试把所有内容都粘贴到指令里。但模型的工作空间是有限的,冗长的指令会拖慢回复,而一大堆文字也让模型更容易漏掉关键的那一行。检索让工作集保持小而相关。
“搜索”是什么意思
搜索可以基于关键词、基于语义(即使用词不同,也能找到含义相近的段落),或两者混合。基于语义的搜索,有助于应对来电者用意想不到的方式提问,比如您的内容写的是“周末营业时间”,而来电者问“周日能来吗?”。无论用哪种方法,段落都是您文档中的小块,因此您书写和拆分内容的方式会直接影响能找到什么。
选择并准备内容
“进来的是什么质量,出去的就是什么质量”在这里尤其适用。语音坐席的准确性,最多只能和它背后的资料一样。
常见的内容来源
- 常见问题与问答对针对具体问题的确切答案;对常见来电来说是最可靠的来源。
- 网页关于服务、营业时间和政策的现有页面,可读取单页或抓取整个网站。
- 文档含有价目表、菜单或流程的 PDF 和文字处理文件,前提是文字可以选中。
- 自由文本适用于不属于其他任何地方的规则的备注,如何处理节假日。
- 来自真实通话的更正真人在听过通话后修正的答案。
为耳朵而写
为阅读而写的内容,说出来往往很奇怪。表格、长列表和缩写,念出来行不通。请用平实的句子重写关键答案,每句一个事实,并写明数字和时间应如何念。让每个段落自成一体,脱离周围的页面也说得通。
消除矛盾
如果一个页面说五点关门,另一个说六点,坐席就会随机说其中一个。导入任何内容之前,先找出旧页面、草稿和重复的文件,更新或删除它们。给政策加上日期,让最新的生效。
决定哪些内容不在范围内
告诉坐席哪些不该回答:法律、医疗或财务建议,任何涉及某个人账户的内容,或您只由真人处理的话题。正确的回应是礼貌地转交。请参阅《语音 AI 坐席的护栏》。
RAG 在哪里会出错
RAG 减少了幻觉,但不能消除。典型的失败有:
失败模式
| 发生什么 | 补救办法 | |
|---|---|---|
| 没有找到相关内容 | 坐席凭通用知识即兴发挥。 | 指示它说不知道并提供转接真人;补充缺失的内容。 |
| 找到了错误的段落 | 用了针对另一项服务的、听起来相似的政策。 | 用清晰的标题重写段落;把相似的主题分开。 |
| 内容过时 | 坐席说的是去年的营业时间。 | 给每个来源指定负责人和复查日期。 |
| 检索内容过长 | 文字太多会拖慢回复并混淆答案。 | 使用更短、更聚焦的段落。 |
| 听错了问题 | 语音识别错误导致搜索错误。 | 用有噪音的音频和口音测试;确认重要的细节。 |
关于如何防止编造答案的更深入内容,请阅读《防止语音 AI 编造答案》。如果要让坐席查询订单状态等实时事实,而不是静态文本,请参阅《让语音坐席查询信息》。
速度预算
电话交谈几乎无法容忍延迟。每增加一步,如搜索,都会增加时间。保持来源整洁而精简,避免检索超出答案所需的段落,并在真实通话而不是笔记本电脑上测试响应时间。《语音 AI 延迟》解释了延迟如何被感知以及来自哪里。
保持更新
营业时间、价格和政策的变化,比任何人想起来编辑知识库都要快。在共享日历中设一个重复提醒:每个季节、假期或价格变动之前,内容负责人检查来源并重新建立索引。变更之后,亲自拨打坐席,询问发生变化的内容。三十秒的检查,可以避免一整天的错误回答。
上线前后都要测试
把问题分成三组列出清单:内容明确回答的问题、内容部分回答的问题,以及内容没有涵盖的问题。对每个问题,记录坐席说了什么。检查它是否正确、是否短到可以大声说出来,以及对于第三组,它是否承认不知道。每当内容改变,就重新运行这份清单。
测试流程
- 用两三种不同的措辞询问每个常见问题。
- 在有噪音的线路上或带有浓重口音时询问同样的问题。
- 询问内容中不包含的东西。
- 询问一个带陷阱的问题,如旧价格或休息日。
- 留意那些长到无法靠听来理解的回答。
- 在第一个月,每周查看真实的通话转写。
能留下来的更正
当真人发现错误的答案时,仅仅修正转写是不够的;更正应当回到知识库中,这样坐席下次才会答对。决定谁可以进行这一更改,并保留更改的历史记录。
在 Call 中操作
在 Call 中,知识属于某个 AI 坐席,并在“来源”下添加:
- 问答。添加一个问题及其确切答案,并使用“检查问题”查看知识库为它找到了什么。
- 网站。读取单个页面、整个网站或选定的页面;网站 robots.txt 要求爬虫不要读取的页面会被排除。
- 文件。上传 PDF、Word、文本、Markdown、CSV 或 JSON 文件。PDF 必须有可选中的文字;仅有图片的 PDF 需要先进行文字识别。
- 文本。添加自由文本备注。
- 重新索引。在多次更改之后重建坐席的搜索。
存储在整个组织内共享,每个来源有限额,只有工作区管理者可以添加、更改或删除来源。当实时通话尚未使用知识库时,会显示一个横幅。在通话记录中,您可以更正坐席给出的答案,并且如果您选择,将其保存为下次的正确答案。请从《使用 Call 中的知识来源》和《为客服与 AI 构建知识库》开始。
常见问题
RAG 和用我的数据训练模型是一回事吗?
不是。训练会改变模型本身。RAG 不改变模型,而是在提问的那一刻,把您内容中的相关段落提供给它,这样更容易更新,也更容易检查。
RAG 能阻止语音坐席编造内容吗?
它能减少问题,但不能消除。坐席仍可能误读段落,或回答您的内容没有涵盖的问题。清晰的指令、优质的内容和定期的测试可以把错误保持在低位。
我需要多少内容?
比大多数人预期的少。覆盖最常见来电的几十个准确的问答对,往往胜过大量未经整理的档案。当真实通话显示出缺口时,再添加更多。
坐席可以使用 PDF 中的内容吗?
通常可以,只要 PDF 有可选中的文字。仅有图片的扫描 PDF 需要先做文字识别。请检查系统提取了什么,因为表格和分栏可能会变得混乱。
应该多久更新一次知识库?
事实变化时更新,其他内容则按固定的复查日期更新。给每个来源指定负责人,让更新不靠碰运气。