如何评估语音助手的对话:指标与审核方法
评判电话语音助手的实用方法:哪些指标值得追踪、如何抽样和给通话打分、人工审核与自动评分如何配合,以及如何把发现的问题转化为改进。
一旦语音助手开始接听真实来电,问题就从「它能不能用」变成了「它用得好不好」。许多团队只凭几通电话留下的模糊印象来回答。稍加一点结构,就能得到好得多的信息,并告诉您接下来该改什么。

本文为电话语音助手提供一种简单的评估方法:追踪哪些指标、如何人工审核通话,以及如何把发现转化为改进。它建立在测试语音 AI 助手和呼叫中心 KPI中的通用指标的基础之上。
先定义对您来说什么是「好」
餐厅的好电话和诊所的好电话不是一回事。在选择指标之前,针对您预计会接到的每类来电,用一两句话写下一通成功的电话是什么样子:来电者的问题得到了回答、记下了信息正确的留言,或者来电者联系到了正确的人。其他一切都由这些定义而来。
每次评估都要问的五个问题
- 来电者被听懂了吗?助手是否正确地听清了问题和细节?
- 回答正确吗?是否准确、在已批准的信息范围之内,并且没有编造?
- 通话有一个有用的结局吗?是完成了任务、记下了留言,还是完成了转交?
- 体验可以接受吗?节奏、语气、重复次数,以及来电者付出的精力。
- 安全吗?助手是否守住了自己的界限,并在该转交时转交?
值得追踪的指标
| 指标 | 说明了什么 | 如何获取 |
|---|---|---|
| 任务完成情况 | 来电者目标得到满足的通话所占的比例 | 人工审核抽样,加上通话结果 |
| 回答准确性 | 说法是否与已批准的信息一致 | 对照资料进行人工审核 |
| 转人工率 | 来电者要求或需要找真人的频率 | 通话结果和服务台中的请求 |
| 重复率 | 助手请来电者再说一遍的频率 | 审核转写文本 |
| 响应间隔 | 从来电者说完到助手回答之间的时间 | 通话记录中的逐轮时间 |
| 放弃率 | 在得到结果之前就挂断的来电者 | 通话日志 |
| 来电者反馈 | 人们对这通电话的感受 | 简短的调查或事后的意见 |
请注意,大多数有用的指标都需要一定的人工判断。日志中的统计能告诉您数量,但只有阅读对话的人才能判断一通电话是否顺利。两者结合是必然的。适用于所有类型来电的指标,请参阅首次来电解决率和接通率与放弃率。
人工审核通话
小规模、定期的抽样,胜过偶尔一次的大审查。随机挑选通话,再加上几通看起来不寻常的,例如特别短或特别长的通话、以转交告终的通话,以及以来电者挂断告终的通话。
通话审核例行流程
- 抽样每周挑选固定数量的通话,随机通话与不寻常的通话搭配。
- 收听与阅读一边播放录音,一边阅读转写文本。
- 打分用简单的等级,按照您的标准给每通电话评分。
- 记录原因写下出问题的原因。
- 修正并重新测试修改资料、提示词或设置,然后重新测试同一个案例。
让评分保持简单
三个等级就够了:好、可接受、差;对于单句说法,则是准确、部分准确、错误。过于细致的评分等级只会引发争论,不会带来更多洞见。偶尔让两个人给同样的几通电话打分;如果他们经常意见不一,说明您的标准措辞需要更明确。
记住转写文本可能有错
转写文本是识别器的猜测,而不是事实。如果转写文本看起来很奇怪,在怪罪助手之前先听听音频。请参阅为什么电话音频难以被语音识别。
衡量速度与节奏
来电者对延迟的敏感度几乎超过其他任何因素。追踪每次回答前的间隔,并关注最差的情况,而不只是平均值,因为少数几次很长的停顿就足以破坏整体印象。如果间隔很长,就拆解时间都花在了哪里;语音 AI 延迟介绍了具体方法。也要留意打断:助手抢着说话的频率有多高?让来电者干等的频率又有多高?
人工审核与自动评分
选择方法
| 人工审核 | 自动评分 | |
|---|---|---|
| 优势 | 能理解细微差别、语气和上下文 | 快速覆盖每一通电话 |
| 劣势 | 慢,只能抽样 | 可能漏掉细微的问题或判断失误 |
| 最适合用于 | 准确性、安全性和来电者体验 | 标记值得人工查看的通话 |
自动评分(包括用模型给其他模型打分)适合用来分拣:它可以根据问题迹象给通话排序,让人先看最该看的那些。它不应取代人工抽样,尤其是在准确性和安全性方面。无论使用哪种自动检查,都要用一组您已经审核过的通话,把它的判断与您自己的判断进行比较,以此来检验它。
理性解读数字
小样本会误导人。如果您审核了十通电话,其中两通不顺利,您不能说每五通电话就有一通不顺利,只能说您发现了两个值得解决的问题。用样本来找原因,而不是用来宣布比率,除非样本足够大、足够随机,能支撑这样的结论。
把助手本身和外部情况区分开。在发生服务故障的那一周任务完成率下降,并不能说明提示词有问题。在指标旁边记下发生的事件:新的营业时间、带来新问题的营销活动、资料的修改。一份简单的变更日志,就能让趋势变得可以解释。
最后,提前决定针对每种结果要采取什么行动。重复次数上升,可能促使您去检查静音设置;某个话题的转人工率上升,可能促使您为它添加一个准确答案。没有对应行动的指标,只是装饰品。
不仅要和管理层分享结果,也要和接电话的人分享。员工往往知道某种规律为什么会出现,而且助手转交过来的电话也是由他们来接。每月做一次简短的回顾,配上实例(包括几通顺利的通话),能让这项工作始终立足于真实的对话。
在 Call 中评估
在 Call 中,「AI 通话记录」列出某个时间段内的通话,显示结果以及(已知时的)「情绪」,并可逐轮打开完整的对话。管理员可以打开一通电话,查看每一轮发言用了多长时间。「自动审核」区域按话题对近期通话分组,根据通话上的信号给尚未经过人工审核的近期通话排序,并提供一组 AI 摘要样本供您标记为「准确」「部分」或「错误」,这些标记会汇入一个持续更新的摘要准确率视图。「会话 AI」还可以让您在所有已存储的转写文本中搜索某个短语。这些功能结合起来,就能提供您所需要的统计和抽样。使用编辑历史,可以查看对助手措辞所做的修正。
每周评估检查清单
- 阅读固定数量的通话样本,包括随机通话和不寻常的通话
- 给任务完成情况和准确性打分
- 统计转交次数,并记下转交原因
- 检查最长的响应间隔
- 在转写文本中搜索表示困惑的说法
- 记录每个问题以及所做的修正
- 在关闭问题之前,重新测试已修正的案例
常见问题
语音助手最有用的单一指标是什么?
没有唯一的指标。任务完成情况能告诉您来电者是否得到了所需的帮助,但您还需要准确性、转交质量和响应时间来了解原因。
我应该审核多少通电话?
一个能长期坚持的每周固定样本,胜过偶尔一次的大量审核。先从适中的数量开始,在上线后的改动之后或出现问题时再增加。
我能只依靠自动评分吗?
在准确性和安全性方面不行。用它来给通话排序和标记,然后由人来审核被标记的通话和一部分随机样本。
为什么转写文本有时与录音不一致?
转写文本由语音识别生成,可能包含错误。在评判助手之前,先听一听音频。
我怎么知道一项改动是否带来了改善?
保留一组固定的测试案例和一套定期审核流程,然后用同样的标准比较改动前后的结果。
应该对来电者做调查吗?
通话后问一个简短的问题能提供有用的信息,但要保持简短,并遵守关于联系他人的相关规定。把它与您自己对对话的审核结合起来。