上线前如何测试语音 AI 智能体:实用方案
电话语音 AI 智能体上线前的分步测试方案:话术、准确性、听辨、流程、转接、记录,以及明确的通过或不通过决定。
一个在安静办公室里、在搭建者面前表现良好的语音智能体,到了街角、遇上含糊嘟囔的来电者,表现可能大不相同。大多数上线问题并不神秘,只是没人试过。结构化的测试方案能在修复成本还低的时候发现它们。

本指南提供一套实用方案:要准备什么、要测试的六个方面、如何判断结果,以及上线之后怎么办,最后介绍 Call 中的工具。关于判断所依据的指标,请参阅语音 AI 评估指标。
测试准备
先从真实通话的清单入手。从邮件、员工的记忆和通话备注中收集人们实际会问的问题。再加上棘手的:愤怒的来电者、含糊其辞的来电者、要求你不提供的东西的来电者。好的测试集会混合常见、罕见和困难的情形。
从话术到上线
- 编写测试话术真实的问题,每个都附有正确答案。
- 测试内容智能体回答是否正确、是否不越界。
- 测试听辨它能否听懂姓名、数字和口音。
- 测试流程对话是否自然推进并妥善结束。
- 测试转接转接真人的请求和紧急情况是否有效。
- 检查记录摘要、消息和日志是否正确。
- 决定将结果与通过标准对比后做出选择。
决定谁来测试。要包括没有参与搭建智能体的人,因为他们会以意想不到的方式提问。如果你的来电者带有地方口音或使用多种语言,也要把这些声音包括进来。
测试内容
首先要问的是:智能体说的是不是事实。把清单上的每个问题都问一遍,并与正确答案比对。把每条回答标记为正确、部分正确、错误或编造。编造的回答,即智能体说出了从未提供给它的内容,影响最大,因为来电者会相信。
- 用不同的措辞问同一个问题。
- 询问知识库里没有的内容,检查智能体是否承认不知道。
- 要求它做它必须拒绝的事,例如给出建议或透露其他客户的详情。
- 试着用一句自信满满的错误说法把它带偏,检查它是否并非一味附和。
关于编造回答为何出现,请参阅语音 AI 幻觉;关于知识如何被使用,请参阅语音智能体的检索。
测试它听到什么
语音智能体常在“听”这一步出错。姓名、邮编、电话号码和日期是常见的麻烦。要用真实电话测试,而不只是电脑麦克风,并包括背景噪声、免提和较差的手机信号。
| 检查 | 方法 | 查找内容 |
|---|---|---|
| 姓名 | 拼读并说出不常见的姓名 | 正确记录,或礼貌地请求重复 |
| 数字 | 读出一个电话号码和一个日期 | 数字正确,并有复述确认 |
| 口音 | 请口音不同的同事来问 | 误解更少,并能从容纠正 |
| 噪声 | 在嘈杂的地方拨打 | 没有误触发,重复请求清晰 |
语音 AI 中的数字与姓名和电话音频上的语音识别更深入地说明了这些问题。
测试对话流程
内容可能正确,但对话仍然别扭。留意开场、节奏、智能体是否抢话、如何处理沉默以及怎样结束。打断它、保持沉默、说“喂?”,并在中途改变主意。
可以尝试的流程行为
- 打断盖过智能体说话,检查它是否停下来倾听。
- 沉默什么都不说,检查它是否礼貌地提示,然后合理地结束。
- 改变主意在回答中途切换话题,检查它是否跟得上。
- 结束说谢谢和再见,检查通话是否干净利落地结束。
速度也属于这一类。记下长时间的停顿及其原因。语音 AI 延迟解释了常见的原因。
测试转接与安全
每个语音智能体都需要一条通往真人的路径,用于它不能或不该处理的请求。在每种情形下测试:工作时间内、非工作时间、无人接听时,以及来电者情绪痛苦时。试试紧急用语。检查智能体绝不自称是真人,也绝不承诺它无法兑现的事,例如已确认的预订。
转接检查
- 工作时间内要求转真人,能接通正确的人员
- 非工作时间提出要求,会得到诚实的提示和留下详情的方式
- 如果无人接听,来电者可以留言
- 紧急或情绪痛苦的来电者会被迅速转接
- 被问到时,智能体会表明自己是 AI
- 不该收集的敏感信息不会被收集
测试记录与日志
一通电话有两个结果:来电者的体验,以及你留下的记录。每次测试之后,检查摘要、转写、留言和后续任务。姓名和数字是否正确?来电原因的表述是否准确?摘要有没有编造内容?一通完美的通话如果记录有误,仍会让团队走错方向。请参阅AI 通话摘要。
判定通过与否
开始之前,先写好决定智能体能否上线的规则。可以很简单:测试集中没有编造的回答,每个转接情形都有效,且常见问题中有规定比例回答正确。白纸黑字能避免因截止日期压力而仓促上线。
上线决定
| 先写好通过标准 | 事后再评判 | |
|---|---|---|
| 清晰度 | 人人都知道门槛 | 门槛随心情变动 |
| 压力 | 容易说出“还没到时候” | 难以抗拒截止日期 |
| 学习 | 失败指向改进之处 | 失败变成争论 |
| 记录 | 结果可以长期对比 | 没有可对比之物 |
为每次测试保留日志:日期、智能体版本、来电者、问题、结果和修正。当你更改提示词或知识库时,重复之前的测试,因为修正有时会弄坏其他地方。
同样值得测试的还有那些悄无声息的失败,没有来电者会为此投诉,但它们会随时间消耗你。检查提前结束的通话是否仍会产生合理的记录,来电者说到一半挂断是否不会留下做了一半的任务,以及回头客是否得到一致的处理。这些情形很少出现在首个测试方案里,却占据了真实话务量中出人意料的比例。
上线之后
智能体上线后,测试并未停止。先从有限的范围开始,例如非工作时间或溢出呼叫,第一周每天抽听一部分真实通话,感觉有把握后再扩大。复查它答不上来的问题,然后补充缺失的知识。保留一种回滚到以前版本的办法,以防某次改动让情况变糟。你的 AI 前台的第一周是很好的配套阅读。
在 Call 中测试
Call 提供了多种方式,让你在来电者之前测试 AI 智能体。「AI 智能体」下的测试场可以让你与智能体聊天,显示每条回答匹配了多少知识条目并列出它们,还可以让你给回复打分或教它更好的答案。智能体的测试通话会通过其线路拨打你自己的手机,让你像来电者那样听到它;每次这样的测试都是一通真实的、计费的通话。设置向导还提供在屏幕上交谈、拨打你的手机,以及让智能体拨打某个号码的方式。就绪检查无需拨给任何人,即可报告该线路的 AI 通话还缺少什么。
练习通话位于「AI 智能体」下的「它学到的内容」,让 AI 来电者用日语和英语给你的智能体打电话。每通电话都会被评分,经验教训等待你审核,所以没有你的同意不会有任何改变。在进行有风险的修改之前,先在智能体上保存一个还原点以便回滚,并用「设为正式」或「设为草稿」控制智能体何时应答。设置本身请参阅在 Call 中设置 AI 智能体。
常见问题
多少测试通话才够?
足以覆盖每个常见问题、每种转接情形和一部分困难行为。对小型智能体来说,可能是几十通电话;一直测到新的测试不再发现新问题。
应该由谁来测试智能体?
没有参与搭建的人,包括口音和打电话习惯各异的人。他们的提问方式是搭建者想不到的。
应该用真实电话测试吗?
应该。电话音频比电脑音频更窄、更嘈杂,许多问题只会在真实线路上出现。
什么算严重失败?
自信满满地说出编造的回答、转接失败,或让团队误入歧途的记录。这些都应阻止上线。
小改动之后还需要重新测试吗?
需要,至少测试一组核心用例。对提示词或知识库的小改动可能改变其他地方的回答。
上线后应该关注什么?
起初每天抽听一部分通话,记下它答不上来的问题,并跟踪转接和投诉。每周改进知识库。