练习通话:AI 智能体上线前的测试
如何用模拟练习通话先让 AI 电话智能体经受难缠场景的考验,如何解读评分和改进建议,以及如何把发现的问题转化为具体改进。
培训过新员工的团队都知道,上线接电话的第一周风险最大。新人熟悉政策,但还没遇到过抢着说话的来电者、说到一半突然换话题的来电者,或者只想找个人出气的来电者。好的团队会在实战之前,通过角色扮演把这些时刻演练一遍。

AI 电话智能体也需要同样的演练,而且可以练得多得多、快得多。本指南介绍如何设计练习、如何解读结果,以及如何把改进建议反馈回去。它以设置 AI 智能体和编写有效的提示词为基础。
为什么要在上线前练习
最初的几通真实通话,会决定客户对整个服务的看法。一个听错名字、抢着说话或编造答案的智能体,代价比漏接一个电话更大,因为客户从此有了一个可以讲给别人听的故事。练习能在只有自己团队旁观的时候发现这些问题。
- 覆盖面。一批可以测试几十通电话,包括在最初几周可能都碰不到的特殊情况。
- 可重复。修改提示词后,再跑一批同类测试进行比较。
- 安全。出错不会影响任何真实客户。
- 有据可依。分数和标记让讨论有了依据,而不只是各执一词。
练习并不是证明。在模拟来电者身上得高分,并不意味着真实来电者会有同样的表现,实时语音的表现也可能与模拟不同。请把好的结果视为可以谨慎尝试真实通话的许可,而不是一张合格证书。
测试什么
一批练习的价值取决于它覆盖的场景。请有意识地把简单和困难的情况混合起来。
能暴露弱点的场景
- 打断来电者抢着说话。智能体是停下来倾听,还是自顾自说下去?
- 切换语言来电者先用一种语言,后来换成另一种。智能体能跟上吗?
- 要求转人工来电者说“让我跟真人说”。交接是否清楚、及时?
- 询问价格来电者问要多少钱。智能体是否只回答自己知道的,不去猜测?
- 投诉一位情绪激动的来电者。智能体能否保持冷静并给出下一步?
- 日常问题取自智能体自身知识库的问题。回答是否正确、简短?
平衡很重要。只有难题的一批练习总会显得很糟,对日常表现却说明不了多少;只有简单问题的一批练习,又会让一个在压力下就失灵的智能体显得很出色。两者混合,通常是最能说明问题的起点。
在 Call 中运行一批练习
在 Call 中,练习位于「AI 智能体」下「它学到的内容」中的「练习通话」标签。AI 来电者会在模拟环境中用日语和英语给你的 AI 智能体打电话,每通电话都会被评分。你可以选择智能体(一次最多十个;尚不能接听电话的智能体会显示为灰色)、每个智能体分别接多少通日语和英语电话(每种语言从零到二十五通),以及场景组合。
| 场景组合 | 涵盖内容 | 适用时机 |
|---|---|---|
| 均衡 | 每种困难情况各一次,其余为来自智能体知识库的问题 | 首次测试一个新的智能体 |
| 知识库 | 只包含取自智能体已知内容的问题 | 修改了知识内容,想检查准确性 |
| 边缘情况 | 只包含困难情况 | 修改了行为规则或提示词 |
运行一批练习
- 打开「练习通话」依次进入「AI 智能体」→「它学到的内容」→「练习通话」。
- 选择智能体和数量勾选智能体,并设置每种语言的通话数量。
- 选择组合均衡、知识库或边缘情况。
- 开始这一批按钮旁的数字是总数:智能体数量乘以两种语言的通话数。
- 跟踪进度列表会自动刷新;打开某一批即可查看分数和通话结果。
当通话数为零或总数超过三百时,开始按钮会保持灰色,因此大规模测试需要分批进行。你也可以取消正在等待或运行中的一批:尚未开始的通话会被取消,正在进行的通话会继续完成。你还可以为某一批开启语音,在每一轮对话旁加上播放按钮,音频只在你点击时才会生成。
解读结果
打开已完成的一批,先看摘要,而不是某一份文字记录。汇总数据显示已完成的通话数、平均分、修正后的回复、需要补充答案的问题以及风格建议。下面是按标准评分、主要问题(附每个智能体的平均分),以及一张列出各通电话场景、语言、分数和标记的表格。
- 查看按标准评分,找出最薄弱的环节。
- 阅读主要问题;如果某个问题在多个智能体中都出现,很可能是共用的提示词或规则造成的。
- 按分数排序,完整阅读得分最低的三份文字记录。
- 阅读评分者对每条回复的说明,而不只是最终分数。
- 比较不同语言;存在差距可能意味着某种语言需要单独的措辞。
采纳改进建议
练习会产生改进建议,这些建议会等待你审阅,而不会自动修改智能体。你可以逐条采纳或忽略。修正后的回复和需要补充答案的问题也会在「建议」中等待处理。这是有意为之:由人来决定智能体该学什么。
审阅改进建议
- 建议是否符合你的政策和语气
- 修正后的回复是否真的正确,而不只是听起来合理
- 它适用于所有来电者,还是只适用于这个场景
- 是否有两条建议相互矛盾
- 智能体需要的是新的知识条目,而不是修改提示词吗
做出修改后,再跑一小批进行比较。尽量一次只改一处,否则你无法知道是哪处修改起了作用。事实类答案应放在哪里,请参阅知识来源。
合理的练习节奏
练习成为习惯而不是一次性活动时,回报最大。把每一批练习与发生变化的时刻挂钩。
| 时机 | 运行什么 | 关注什么 |
|---|---|---|
| 新智能体上线前 | 为你服务的每种语言各跑一批均衡练习 | 薄弱的评分标准、交接表现 |
| 修改提示词或规则后 | 一批边缘情况练习 | 修改是否解决了问题,又没有破坏其他地方 |
| 新增知识后 | 一批知识库练习 | 回答正确、简短,没有编造事实 |
| 繁忙时段之前 | 在最繁忙的线路上跑一批均衡练习 | 面对典型问题组合时是否稳定 |
| 真实通话出问题后 | 跑一批模拟该故障的练习 | 修复是否站得住 |
简单记个日志:日期、修改了什么、跑了哪一批、主要结果。几个月后,这份历史会告诉你哪些修改有效,也能避免你重复一个已经失败过的实验。
假设一家诊所:在开通新线路前为前台智能体跑一批均衡练习,在添加关于紧急症状的规则后跑一批边缘情况练习,每当营业时间或服务项目变动时再跑一批知识库练习。在恰当时机跑三小批,比一次性跑一个超大测试更能说明问题。
模拟之外
模拟只是彩排。上线前,还要用自己的电话真实拨打一次,以客户的身份听一听。谨慎上线:先从低风险的线路或有限的时段开始,保留一条便捷的转人工通道(参阅把通话转交给真人),并在最初阶段每天收听真实通话。这一思路同样适用于人工坐席,关于对人的演练和反馈,请参阅辅导框架。
常见问题
练习通话是真实的电话吗?
它们是模拟通话,由 AI 来电者给你的 AI 智能体打电话。如果想在真实线路上听智能体的表现,请另外用自己的电话拨打一次测试。
可以用多种语言练习吗?
练习工具会用日语和英语进行模拟通话。你可以为每个智能体分别设置两种语言的数量。
应该跑多少通电话?
从小规模开始,每个智能体每种场景跑几通,并仔细阅读结果。只有在有理由时才增加数量,例如要跨语言测试某项修改。
改进建议会自动修改我的智能体吗?
不会。改进建议会等待你审阅。你采纳认同的,忽略其余的。
评分能告诉我什么?
它显示模拟通话在各项标准上的表现,并附有评分者对每条回复的说明。这是一种依据,真实来电者的表现仍可能不同。
智能体显示为灰色怎么办?
尚不能接听电话的智能体会被标记为无法接听,因此无法选择。请先完成它的设置。