Call 使用指南

练习通话:AI 智能体上线前的测试

如何用模拟练习通话先让 AI 电话智能体经受难缠场景的考验,如何解读评分和改进建议,以及如何把发现的问题转化为具体改进。

Call 编辑部 · 发布于 · 阅读约需 5 分钟

培训过新员工的团队都知道,上线接电话的第一周风险最大。新人熟悉政策,但还没遇到过抢着说话的来电者、说到一半突然换话题的来电者,或者只想找个人出气的来电者。好的团队会在实战之前,通过角色扮演把这些时刻演练一遍。

一位团队负责人在上线前查看显示器上的通话评分和文字记录
示意图

AI 电话智能体也需要同样的演练,而且可以练得多得多、快得多。本指南介绍如何设计练习、如何解读结果,以及如何把改进建议反馈回去。它以设置 AI 智能体和编写有效的提示词为基础。

为什么要在上线前练习

最初的几通真实通话,会决定客户对整个服务的看法。一个听错名字、抢着说话或编造答案的智能体,代价比漏接一个电话更大,因为客户从此有了一个可以讲给别人听的故事。练习能在只有自己团队旁观的时候发现这些问题。

练习并不是证明。在模拟来电者身上得高分,并不意味着真实来电者会有同样的表现,实时语音的表现也可能与模拟不同。请把好的结果视为可以谨慎尝试真实通话的许可,而不是一张合格证书。

测试什么

一批练习的价值取决于它覆盖的场景。请有意识地把简单和困难的情况混合起来。

能暴露弱点的场景

  • 打断来电者抢着说话。智能体是停下来倾听,还是自顾自说下去?
  • 切换语言来电者先用一种语言,后来换成另一种。智能体能跟上吗?
  • 要求转人工来电者说“让我跟真人说”。交接是否清楚、及时?
  • 询问价格来电者问要多少钱。智能体是否只回答自己知道的,不去猜测?
  • 投诉一位情绪激动的来电者。智能体能否保持冷静并给出下一步?
  • 日常问题取自智能体自身知识库的问题。回答是否正确、简短?

平衡很重要。只有难题的一批练习总会显得很糟,对日常表现却说明不了多少;只有简单问题的一批练习,又会让一个在压力下就失灵的智能体显得很出色。两者混合,通常是最能说明问题的起点。

在 Call 中运行一批练习

在 Call 中,练习位于「AI 智能体」下「它学到的内容」中的「练习通话」标签。AI 来电者会在模拟环境中用日语和英语给你的 AI 智能体打电话,每通电话都会被评分。你可以选择智能体(一次最多十个;尚不能接听电话的智能体会显示为灰色)、每个智能体分别接多少通日语和英语电话(每种语言从零到二十五通),以及场景组合。

场景组合涵盖内容适用时机
均衡每种困难情况各一次,其余为来自智能体知识库的问题首次测试一个新的智能体
知识库只包含取自智能体已知内容的问题修改了知识内容,想检查准确性
边缘情况只包含困难情况修改了行为规则或提示词

运行一批练习

  1. 打开「练习通话」依次进入「AI 智能体」→「它学到的内容」→「练习通话」。
  2. 选择智能体和数量勾选智能体,并设置每种语言的通话数量。
  3. 选择组合均衡、知识库或边缘情况。
  4. 开始这一批按钮旁的数字是总数:智能体数量乘以两种语言的通话数。
  5. 跟踪进度列表会自动刷新;打开某一批即可查看分数和通话结果。

当通话数为零或总数超过三百时,开始按钮会保持灰色,因此大规模测试需要分批进行。你也可以取消正在等待或运行中的一批:尚未开始的通话会被取消,正在进行的通话会继续完成。你还可以为某一批开启语音,在每一轮对话旁加上播放按钮,音频只在你点击时才会生成。

解读结果

打开已完成的一批,先看摘要,而不是某一份文字记录。汇总数据显示已完成的通话数、平均分、修正后的回复、需要补充答案的问题以及风格建议。下面是按标准评分、主要问题(附每个智能体的平均分),以及一张列出各通电话场景、语言、分数和标记的表格。

  1. 查看按标准评分,找出最薄弱的环节。
  2. 阅读主要问题;如果某个问题在多个智能体中都出现,很可能是共用的提示词或规则造成的。
  3. 按分数排序,完整阅读得分最低的三份文字记录。
  4. 阅读评分者对每条回复的说明,而不只是最终分数。
  5. 比较不同语言;存在差距可能意味着某种语言需要单独的措辞。

采纳改进建议

练习会产生改进建议,这些建议会等待你审阅,而不会自动修改智能体。你可以逐条采纳或忽略。修正后的回复和需要补充答案的问题也会在「建议」中等待处理。这是有意为之:由人来决定智能体该学什么。

审阅改进建议

  • 建议是否符合你的政策和语气
  • 修正后的回复是否真的正确,而不只是听起来合理
  • 它适用于所有来电者,还是只适用于这个场景
  • 是否有两条建议相互矛盾
  • 智能体需要的是新的知识条目,而不是修改提示词吗

做出修改后,再跑一小批进行比较。尽量一次只改一处,否则你无法知道是哪处修改起了作用。事实类答案应放在哪里,请参阅知识来源。

合理的练习节奏

练习成为习惯而不是一次性活动时,回报最大。把每一批练习与发生变化的时刻挂钩。

时机运行什么关注什么
新智能体上线前为你服务的每种语言各跑一批均衡练习薄弱的评分标准、交接表现
修改提示词或规则后一批边缘情况练习修改是否解决了问题,又没有破坏其他地方
新增知识后一批知识库练习回答正确、简短,没有编造事实
繁忙时段之前在最繁忙的线路上跑一批均衡练习面对典型问题组合时是否稳定
真实通话出问题后跑一批模拟该故障的练习修复是否站得住

简单记个日志:日期、修改了什么、跑了哪一批、主要结果。几个月后,这份历史会告诉你哪些修改有效,也能避免你重复一个已经失败过的实验。

假设一家诊所:在开通新线路前为前台智能体跑一批均衡练习,在添加关于紧急症状的规则后跑一批边缘情况练习,每当营业时间或服务项目变动时再跑一批知识库练习。在恰当时机跑三小批,比一次性跑一个超大测试更能说明问题。

模拟之外

模拟只是彩排。上线前,还要用自己的电话真实拨打一次,以客户的身份听一听。谨慎上线:先从低风险的线路或有限的时段开始,保留一条便捷的转人工通道(参阅把通话转交给真人),并在最初阶段每天收听真实通话。这一思路同样适用于人工坐席,关于对人的演练和反馈,请参阅辅导框架。

常见问题

练习通话是真实的电话吗?

它们是模拟通话,由 AI 来电者给你的 AI 智能体打电话。如果想在真实线路上听智能体的表现,请另外用自己的电话拨打一次测试。

可以用多种语言练习吗?

练习工具会用日语和英语进行模拟通话。你可以为每个智能体分别设置两种语言的数量。

应该跑多少通电话?

从小规模开始,每个智能体每种场景跑几通,并仔细阅读结果。只有在有理由时才增加数量,例如要跨语言测试某项修改。

改进建议会自动修改我的智能体吗?

不会。改进建议会等待你审阅。你采纳认同的,忽略其余的。

评分能告诉我什么?

它显示模拟通话在各项标准上的表现,并附有评分者对每条回复的说明。这是一种依据,真实来电者的表现仍可能不同。

智能体显示为灰色怎么办?

尚不能接听电话的智能体会被标记为无法接听,因此无法选择。请先完成它的设置。

在 Call 中为你的 AI 智能体开始一批练习通话

在演示控制台中,您可以通过模拟体验来电。

相关指南