Технологии за гласов AI

Как да оценявате разговорите на гласовия агент

Практичен начин да оцените телефонен гласов агент: кои показатели да следите, как да оценявате извадка от обаждания и как да превърнете наблюденията в поправки.

Редакционен екип на Call · Публикувано · 5 мин четене

Щом гласовият агент започне да отговаря на реални обаждания, въпросът се променя от „работи ли“ на „работи ли добре“. Много екипи отговарят с неясно впечатление от шепа обаждания. Малко структура дава много по-добра информация и ви казва какво да поправите след това.

Ръководител на екип преглежда бележки за качеството на обажданията с колега
Илюстративно изображение

Това ръководство предлага прост подход за оценка на телефонен гласов агент: кои показатели да следите, как да преглеждате обажданията ръчно и как да превръщате наблюденията в подобрения. То надгражда Тестване на гласов AI агент и общите показатели в KPI за кол център.

Започнете с това какво означава „добре“ за вас

Доброто обаждане за ресторант не е същото като доброто обаждане за клиника. Преди да изберете показатели, опишете в едно-две изречения как изглежда успешното обаждане за всеки вид обаждане, който очаквате: въпросът на обаждащия се получава отговор, приема се съобщение с правилните данни или обаждащият се стига до правилния човек. Всичко останало следва от тези определения.

Пет въпроса, които задава всяка оценка

  • Разбран ли беше обаждащият се?Чу ли агентът правилно въпроса и подробностите?
  • Верен ли беше отговорът?Точен ли беше, в рамките на одобрената информация и без измислици?
  • Стигна ли обаждането до полезен край?Изпълнена ли беше задачата, прието ли беше съобщение или направено прехвърляне?
  • Приемливо ли беше изживяването?Темпо, тон, повторения и усилие за обаждащия се.
  • Безопасно ли беше?Спази ли агентът границите си и прехвърли ли, когато трябваше?

Показатели, които си струва да следите

ПоказателКакво ви казваКак да го получите
Изпълнение на задачатаДял на обажданията, при които целта на обаждащия се е постигнатаПреглед на извадка от човек плюс резултатите от обажданията
Точност на отговоритеДали твърденията съответстват на одобрената информацияПреглед от човек спрямо източниците ви
Дял на прехвърляниятаКолко често обаждащите се искат човек или се нуждаят от такъвРезултати от обажданията и заявки в бюрото за помощ
Дял на повторениятаКолко често агентът е молил обаждащия се да повтори нещоПреглед на транскрипции
Пауза преди отговорВремето между края на репликата на обаждащия се и отговора на агентаВремена по реплики в историята на обажданията
Дял на изоставенитеОбаждащи се, които затварят преди резултатДневник на обажданията
Обратна връзка от обаждащите сеКакво са почувствали хората от разговораКратки анкети или последващи коментари

Забележете, че повечето полезни показатели изискват известна човешка преценка. Бройките от дневника ви казват колко, но само човек, който чете разговора, може да каже дали обаждането е минало добре. Очаквайте да правите и двете. За показатели, които важат за всякакви обаждания, вижте Решаване при първото обаждане и Дял на отговорените и дял на изоставените обаждания.

Ръчен преглед на обажданията

Малката, редовна извадка е по-добра от епизодичния голям преглед. Избирайте обаждания на случаен принцип, плюс няколко, които изглеждат необичайно: много кратки или много дълги, обаждания, завършили с прехвърляне, и обаждания, при които обаждащият се е затворил.

Рутина за преглед на обажданията

  1. ИзвадкаИзбирайте фиксиран брой обаждания всяка седмица, като смесвате случайни и необичайни.
  2. Слушане и четенеПуснете записа и четете транскрипцията едновременно.
  3. ОценкаОценете всяко обаждане спрямо критериите си с проста скала.
  4. ПричиниЗапишете защо нещо се е объркало.
  5. Поправка и повторен тестПроменете източника, промпта или настройката и тествайте отново същия случай.

Оценявайте просто

Три нива са достатъчни: добре, приемливо и лошо, или вярно, частично и грешно за отделните твърдения. Подробните скали създават спорове, без да добавят разбиране. От време на време нека двама души оценят едни и същи няколко обаждания; ако често не са съгласни, критериите ви се нуждаят от по-ясна формулировка.

Помнете, че транскрипциите могат да грешат

Транскрипцията е предположение на разпознавача, а не истината. Ако транскрипцията изглежда странно, изслушайте звука, преди да обвините агента. Вижте Защо телефонният звук е труден за разпознаването на реч.

Измерване на скоростта и ритъма

Обаждащите се забелязват забавянето повече от почти всеки друг фактор. Следете паузата преди всеки отговор и гледайте най-лошите случаи, а не само средната стойност, защото няколко много дълги паузи развалят впечатлението. Ако паузите са дълги, разбийте къде отива времето; Латентност на гласовия AI показва как. Обръщайте внимание и на прекъсванията: колко често агентът е говорил върху обаждащия се и колко често го е оставял да чака?

Ръчен преглед или автоматично оценяване

Избор на метод

Ръчен прегледАвтоматично оценяване
Силна странаРазбира нюанси, тон и контекстПокрива бързо всяко обаждане
Слаба странаБавен; само извадкаМоже да пропусне фини проблеми или да прецени погрешно
Най-подходящ заТочност, безопасност и изживяване за обаждащия сеОтбелязване на обаждания, които заслужават поглед от човек

Автоматичното оценяване, включително модели, които оценяват други модели, е полезно за сортиране: може да подреди обажданията по признаци на проблем, за да погледнат хората първо правилните. То не бива да замества човешката извадка, особено за точността и безопасността. Каквато и автоматична проверка да използвате, тествайте я, като сравните присъдите ѝ със собствените си за набор от обаждания, които сте прегледали.

Разумно тълкуване на числата

Малките извадки подвеждат. Ако прегледате десет обаждания и две са минали зле, не можете да кажете, че едно от пет обаждания минава зле; можете само да кажете, че сте открили два проблема, които си струва да поправите. Използвайте извадките, за да откривате причини, а не за да обявявате проценти, освен ако извадката не е достатъчно голяма и случайна.

Отделяйте агента от ситуацията. Спад в изпълнението на задачите в седмица с прекъсване на услугата не е присъда за промпта. Отбелязвайте събитията до показателите си: ново работно време, кампания, която е довела обаждащи се с нов въпрос, промяна в източниците. Простият дневник на промените прави тенденциите обясними.

И накрая, решете предварително какво ще направите с всеки резултат. Ръст на повторенията може да ви накара да погледнете настройките за тишина; ръст на прехвърлянията по една тема може да ви накара да добавите точен отговор за нея. Показател без свързано действие е просто украса.

Споделяйте резултатите с хората, които отговарят на телефоните, а не само с мениджърите. Служителите често знаят защо съществува даден модел и именно те поемат обажданията, които агентът прехвърля. Кратък месечен преглед с примери, включително няколко обаждания, които са минали добре, държи работата свързана с реалните разговори.

Оценка в Call

В Call историята на AI обажданията показва обажданията за даден период с резултата и, когато е известно, настроението и отваря целия разговор реплика по реплика. Мениджърите могат да отворят обаждане и да видят колко време е отнела всяка изговорена реплика. Разделът за автоматичен преглед групира последните обаждания по теми, подрежда последните обаждания без преглед от човек по сигналите в тях и предлага извадка от AI обобщения, които да отбележите като вярно, частично или грешно, което захранва текущ изглед на точността на обобщенията. Conversation AI ви позволява също да търсите фраза във всички съхранени транскрипции. Заедно те ви дават бройките и извадките, от които се нуждаете. Използвайте историята на редакциите, за да видите корекциите в думите на агента.

Седмичен контролен списък за оценка

  • Прочетете фиксирана извадка от обаждания, случайни и необичайни
  • Оценете изпълнението на задачата и точността
  • Пребройте прехвърлянията и отбележете защо са станали
  • Проверете най-дългите паузи преди отговор
  • Потърсете в транскрипциите фрази, които издават объркване
  • Запишете всеки проблем и направената поправка
  • Тествайте отново поправените случаи, преди да ги затворите

Често задавани въпроси

Кой е най-полезният показател за гласовия агент?

Няма един-единствен. Изпълнението на задачата ви казва дали обаждащите се са получили каквото им трябва, но са ви нужни и точността, качеството на прехвърлянето и времената, за да разберете защо.

Колко обаждания да преглеждам?

Фиксирана седмична извадка, която можете да поддържате, е по-добра от епизодична голяма. Започнете със скромен брой и го увеличете след промени при пускането или когато се появят проблеми.

Мога ли да разчитам само на автоматичното оценяване?

Не и за точността или безопасността. Използвайте го, за да подреждате и отбелязвате обаждания, а после нека хора прегледат отбелязаните и случайна извадка.

Защо транскрипциите понякога се разминават със записа?

Транскрипцията се създава от разпознаването на реч и може да съдържа грешки. Изслушайте звука, преди да оцените агента.

Как да разбера дали дадена промяна е подобрила нещата?

Поддържайте фиксиран набор от тестови случаи и редовна рутина за преглед, след което сравнете резултатите преди и след промяната със същите критерии.

Да анкетираме ли обаждащите се?

Кратък въпрос след разговора може да добави полезна информация, но го дръжте кратък и спазвайте правилата за връзка с хора. Съчетайте го със собствения си преглед на разговора.

Преглеждайте AI разговорите в историята си в Call

В демо конзолата можете да изпробвате входящи обаждания в симулация.

Свързани ръководства

Технологии за гласов AI

Промптове за по-добри обобщения на обажданията

Как да напишете промпт, който превръща транскрипцията на обаждане в кратка, точна бележка: за кого е, какво да включва, правила срещу измислици и как да го тествате.

Редакционен екип на Call ·
Технологии за гласов AI

Анализ на настроението при обаждания: ползи и граници

Какво измерва анализът на настроението при обажданията, кога помага за сортиране и тенденции, кога подвежда и как да го ползвате без несправедливи решения.

Редакционен екип на Call ·
Технологии за гласов AI

SIP транк: как бизнес обажданията преминават през интернет

Какво е SIP транк, с какво се различава от традиционните телефонни линии, какво да проверите за кодеци, канали и резервиране и как да изберете доставчик.

Редакционен екип на Call ·
Технологии за гласов AI

Модели „реч към реч“ срещу каскадни гласови вериги

Два начина за изграждане на телефонен гласов агент: модели „реч към реч“ и каскадни вериги. В какво е силен всеки, къде е слаб и как да изберете чрез тестване.

Редакционен екип на Call ·