语音 AI 技术

如何评估语音助手的对话:指标与审核方法

评判电话语音助手的实用方法:哪些指标值得追踪、如何抽样和给通话打分、人工审核与自动评分如何配合,以及如何把发现的问题转化为改进。

Call 编辑部 · 发布于 · 阅读约需 5 分钟

一旦语音助手开始接听真实来电,问题就从「它能不能用」变成了「它用得好不好」。许多团队只凭几通电话留下的模糊印象来回答。稍加一点结构,就能得到好得多的信息,并告诉您接下来该改什么。

一位组长和同事一起查看通话质检记录
示意图

本文为电话语音助手提供一种简单的评估方法:追踪哪些指标、如何人工审核通话,以及如何把发现转化为改进。它建立在测试语音 AI 助手和呼叫中心 KPI中的通用指标的基础之上。

先定义对您来说什么是「好」

餐厅的好电话和诊所的好电话不是一回事。在选择指标之前,针对您预计会接到的每类来电,用一两句话写下一通成功的电话是什么样子:来电者的问题得到了回答、记下了信息正确的留言,或者来电者联系到了正确的人。其他一切都由这些定义而来。

每次评估都要问的五个问题

  • 来电者被听懂了吗?助手是否正确地听清了问题和细节?
  • 回答正确吗?是否准确、在已批准的信息范围之内,并且没有编造?
  • 通话有一个有用的结局吗?是完成了任务、记下了留言,还是完成了转交?
  • 体验可以接受吗?节奏、语气、重复次数,以及来电者付出的精力。
  • 安全吗?助手是否守住了自己的界限,并在该转交时转交?

值得追踪的指标

指标说明了什么如何获取
任务完成情况来电者目标得到满足的通话所占的比例人工审核抽样,加上通话结果
回答准确性说法是否与已批准的信息一致对照资料进行人工审核
转人工率来电者要求或需要找真人的频率通话结果和服务台中的请求
重复率助手请来电者再说一遍的频率审核转写文本
响应间隔从来电者说完到助手回答之间的时间通话记录中的逐轮时间
放弃率在得到结果之前就挂断的来电者通话日志
来电者反馈人们对这通电话的感受简短的调查或事后的意见

请注意,大多数有用的指标都需要一定的人工判断。日志中的统计能告诉您数量,但只有阅读对话的人才能判断一通电话是否顺利。两者结合是必然的。适用于所有类型来电的指标,请参阅首次来电解决率和接通率与放弃率。

人工审核通话

小规模、定期的抽样,胜过偶尔一次的大审查。随机挑选通话,再加上几通看起来不寻常的,例如特别短或特别长的通话、以转交告终的通话,以及以来电者挂断告终的通话。

通话审核例行流程

  1. 抽样每周挑选固定数量的通话,随机通话与不寻常的通话搭配。
  2. 收听与阅读一边播放录音,一边阅读转写文本。
  3. 打分用简单的等级,按照您的标准给每通电话评分。
  4. 记录原因写下出问题的原因。
  5. 修正并重新测试修改资料、提示词或设置,然后重新测试同一个案例。

让评分保持简单

三个等级就够了:好、可接受、差;对于单句说法,则是准确、部分准确、错误。过于细致的评分等级只会引发争论,不会带来更多洞见。偶尔让两个人给同样的几通电话打分;如果他们经常意见不一,说明您的标准措辞需要更明确。

记住转写文本可能有错

转写文本是识别器的猜测,而不是事实。如果转写文本看起来很奇怪,在怪罪助手之前先听听音频。请参阅为什么电话音频难以被语音识别。

衡量速度与节奏

来电者对延迟的敏感度几乎超过其他任何因素。追踪每次回答前的间隔,并关注最差的情况,而不只是平均值,因为少数几次很长的停顿就足以破坏整体印象。如果间隔很长,就拆解时间都花在了哪里;语音 AI 延迟介绍了具体方法。也要留意打断:助手抢着说话的频率有多高?让来电者干等的频率又有多高?

人工审核与自动评分

选择方法

人工审核自动评分
优势能理解细微差别、语气和上下文快速覆盖每一通电话
劣势慢,只能抽样可能漏掉细微的问题或判断失误
最适合用于准确性、安全性和来电者体验标记值得人工查看的通话

自动评分(包括用模型给其他模型打分)适合用来分拣:它可以根据问题迹象给通话排序,让人先看最该看的那些。它不应取代人工抽样,尤其是在准确性和安全性方面。无论使用哪种自动检查,都要用一组您已经审核过的通话,把它的判断与您自己的判断进行比较,以此来检验它。

理性解读数字

小样本会误导人。如果您审核了十通电话,其中两通不顺利,您不能说每五通电话就有一通不顺利,只能说您发现了两个值得解决的问题。用样本来找原因,而不是用来宣布比率,除非样本足够大、足够随机,能支撑这样的结论。

把助手本身和外部情况区分开。在发生服务故障的那一周任务完成率下降,并不能说明提示词有问题。在指标旁边记下发生的事件:新的营业时间、带来新问题的营销活动、资料的修改。一份简单的变更日志,就能让趋势变得可以解释。

最后,提前决定针对每种结果要采取什么行动。重复次数上升,可能促使您去检查静音设置;某个话题的转人工率上升,可能促使您为它添加一个准确答案。没有对应行动的指标,只是装饰品。

不仅要和管理层分享结果,也要和接电话的人分享。员工往往知道某种规律为什么会出现,而且助手转交过来的电话也是由他们来接。每月做一次简短的回顾,配上实例(包括几通顺利的通话),能让这项工作始终立足于真实的对话。

在 Call 中评估

在 Call 中,「AI 通话记录」列出某个时间段内的通话,显示结果以及(已知时的)「情绪」,并可逐轮打开完整的对话。管理员可以打开一通电话,查看每一轮发言用了多长时间。「自动审核」区域按话题对近期通话分组,根据通话上的信号给尚未经过人工审核的近期通话排序,并提供一组 AI 摘要样本供您标记为「准确」「部分」或「错误」,这些标记会汇入一个持续更新的摘要准确率视图。「会话 AI」还可以让您在所有已存储的转写文本中搜索某个短语。这些功能结合起来,就能提供您所需要的统计和抽样。使用编辑历史,可以查看对助手措辞所做的修正。

每周评估检查清单

  • 阅读固定数量的通话样本,包括随机通话和不寻常的通话
  • 给任务完成情况和准确性打分
  • 统计转交次数,并记下转交原因
  • 检查最长的响应间隔
  • 在转写文本中搜索表示困惑的说法
  • 记录每个问题以及所做的修正
  • 在关闭问题之前,重新测试已修正的案例

常见问题

语音助手最有用的单一指标是什么?

没有唯一的指标。任务完成情况能告诉您来电者是否得到了所需的帮助,但您还需要准确性、转交质量和响应时间来了解原因。

我应该审核多少通电话?

一个能长期坚持的每周固定样本,胜过偶尔一次的大量审核。先从适中的数量开始,在上线后的改动之后或出现问题时再增加。

我能只依靠自动评分吗?

在准确性和安全性方面不行。用它来给通话排序和标记,然后由人来审核被标记的通话和一部分随机样本。

为什么转写文本有时与录音不一致?

转写文本由语音识别生成,可能包含错误。在评判助手之前,先听一听音频。

我怎么知道一项改动是否带来了改善?

保留一组固定的测试案例和一套定期审核流程,然后用同样的标准比较改动前后的结果。

应该对来电者做调查吗?

通话后问一个简短的问题能提供有用的信息,但要保持简短,并遵守关于联系他人的相关规定。把它与您自己对对话的审核结合起来。

在 Call 的通话记录中审核 AI 对话

在演示控制台中,您可以通过模拟体验来电。

相关指南