Тренировъчни обаждания: тествайте AI агента си преди пускане
Как симулираните обаждания тестват AI телефонния агент първо в трудни случаи, как да четете оценките и уроците и как да ги превърнете в поправки.
Всеки екип, който е обучавал нови служители, знае, че първата седмица на телефоните е най-рискованата. Новият човек познава правилата, но още не е срещал обаждащия се, който го прекъсва, онзи, който сменя темата по средата на изречението, или онзи, който просто търси виновник. Добрите екипи репетират тези моменти с ролеви игри, преди да дойде истината.

AI телефонният агент има нужда от същата репетиция и може да получи много повече от нея, много по-бързо. Това ръководство обяснява как да планирате тренировката, как да четете резултатите и как да връщате уроците обратно. То надгражда настройката на AI агент и писането на работещи промптове.
Защо да тренирате преди пускане
Първите истински обаждания оформят мнението на клиентите за цялата услуга. Агент, който не чува добре име, говори върху обаждащия се или измисля отговор, струва повече от пропуснато обаждане, защото клиентът вече има история за разказване. Тренировката открива тези проблеми, докато единствената публика е собственият ви екип.
- Обхват. Можете да тествате десетки обаждания в една партида, включително необичайни, които може да не се случат през първите седмици.
- Повторяемост. След като промените промпт, пуснете същия вид партида и сравнете.
- Безопасност. Грешките не струват нищо по отношение на истинските клиенти.
- Доказателства. Оценките и сигналите ви дават за какво да говорите освен мнения.
Тренировката не е доказателство. Добрата оценка при симулирани обаждащи се не означава, че истинските ще се държат по същия начин, а поведението при реален глас може да се различава от симулацията. Приемайте добрия резултат като разрешение внимателно да опитате с истински обаждания, а не като сертификат.
Какво да тествате
Стойността на партидата зависи от ситуациите, които обхваща. Съчетавайте съзнателно лесни и трудни случаи.
Сценарии, които разкриват слабости
- ПрекъсванияОбаждащ се, който говори върху агента. Спира ли той и слуша ли, или продължава напред?
- Смяна на езикаОбаждащ се, който започва на един език и преминава на друг. Следва ли го агентът?
- Искане за човекОбаждащият се казва „Дайте ми да говоря с някого“. Ясно и бързо ли е предаването?
- Въпроси за ценаОбаждащ се пита колко струва. Отговаря ли агентът само с това, което знае, и избягва ли да гадае?
- ОплакванияРазстроен обаждащ се. Остава ли агентът спокоен и предлага ли следваща стъпка?
- Ежедневни въпросиВъпроси от собствената база знания на агента. Верни и кратки ли са отговорите?
Балансът е важен. Партида само с трудни случаи винаги ще изглежда зле и ще каже малко за ежедневното представяне; партида само с лесни въпроси ще ласкае агент, който се проваля под напрежение. Комбинацията от двете обикновено е най-информативното начало.
Пускане на тренировъчна партида в Call
В Call тренировката се намира в AI agents, What it learned, раздел Practice calls. AI обаждащи се звънят на вашите AI агенти в симулация, на японски и английски, и всяко обаждане получава оценка. Избирате агентите (до десет наведнъж; агент, който все още не може да отговаря на обаждания, е затъмнен), колко японски и английски обаждания да получи всеки (от нула до двадесет и пет от всеки език) и комбинацията от сценарии.
| Комбинация от сценарии | Какво обхваща | Кога да я използвате |
|---|---|---|
| Balanced | Всеки труден случай по веднъж, останалото – въпроси от базата знания на агента | Тествате нов агент за първи път |
| Knowledge base | Само въпроси, извлечени от това, което агентът знае | Променили сте знанията му и искате да проверите точността |
| Edge cases | Само трудните случаи | Променили сте правилата за поведение или промпта му |
Пускане на партида
- Отворете Practice callsОтидете в AI agents, след това What it learned и Practice calls.
- Изберете агенти и бройОтметнете агентите и задайте броя обаждания на всеки език.
- Изберете комбинацияBalanced, Knowledge base или Edge cases.
- Стартирайте партидатаЧислото до бутона е общият брой: агентите, умножени по обажданията на двата езика.
- Следете напредъкаСписъкът се обновява сам; отворете партида, за да видите оценките и резултатите от обажданията.
Бутонът за старт остава затъмнен при нула обаждания или при общо над триста, така че големите тестове се пускат на части. Можете също да отмените партида, която чака или се изпълнява; незапочналите обаждания се отменят, а вече започналото обаждане приключва. Можете да включите глас за партида, за да добавите бутон за възпроизвеждане към всяка реплика, като аудиото се създава едва когато го натиснете.
Как да четете резултатите
Отворете завършена партида и започнете с обобщението, а не с отделна стенограма. Общите стойности показват направените обаждания, средната оценка, коригираните отговори, въпросите, на които трябва да се отговори, и съветите за стил. Под тях са оценката по критерии, основните проблеми със средната стойност на всеки агент и таблица с обажданията, техния сценарий, език, оценка и сигнали.
- Погледнете оценката по критерии, за да откриете най-слабата област.
- Прочетете основните проблеми; ако някой се появява при няколко агента, вероятно става дума за общ промпт или правило.
- Сортирайте обажданията по оценка и прочетете изцяло трите най-слаби стенограми.
- Прочетете бележката на оценяващия за всеки отговор, а не само крайната оценка.
- Сравнете езиците; разлика може да означава, че един от езиците има нужда от собствени формулировки.
Прилагане на уроците
Тренировката дава уроци и те чакат вашия преглед, вместо да променят агента автоматично. Можете да приложите или отхвърлите всеки от тях. Коригираните отговори и въпросите, на които трябва да се отговори, също чакат в Suggestions. Това е умишлено: човек решава какво да научи агентът.
Преглед на уроците
- Съответства ли урокът на правилата и тона ви
- Действително ли е верен коригираният отговор, а не просто правдоподобен
- Важи ли за всеки обаждащ се или само за този сценарий
- Противоречат ли си два урока
- Има ли нужда агентът от нов запис в знанията, а не от промяна на промпта
След като приложите промените, пуснете отново малка партида и сравнете. Когато е възможно, променяйте по едно нещо, иначе няма да знаете коя промяна е помогнала. Вижте източниците на знания, за да разберете къде е мястото на фактическите отговори.
Разумен ритъм на тренировките
Тренировката се отплаща най-много, когато е навик, а не еднократно събитие. Свързвайте партидите с моментите, в които нещо се променя.
| Момент | Какво да пуснете | Какво да търсите |
|---|---|---|
| Нов агент, преди пускане | Балансирана партида на всеки език, на който обслужвате | Слаби критерии, поведение при предаване |
| След промяна на промпт или правило | Партида с трудни случаи | Дали промяната е решила проблема, без да създаде друг |
| След добавяне на знания | Партида от базата знания | Верни, кратки отговори без измислени факти |
| Преди натоварен период | Балансирана партида за линиите, които ще бъдат най-натоварени | Стабилност при типичен набор от въпроси |
| След проблем при истинско обаждане | Партида, която възпроизвежда провала | Дали поправката издържа |
Водете кратък дневник: датата, какво сте променили, каква партида сте пуснали и основния резултат. След няколко месеца тази история показва кои промени са помогнали и ви предпазва от повтаряне на експеримент, който вече се е провалил.
Хипотетична клиника може да пусне балансирана партида за агента си на рецепцията преди откриването на новата линия, партида с трудни случаи след добавяне на правило за спешни симптоми и партида от базата знания всеки път, когато работното време или услугите се променят. Три малки партиди, пуснати в правилните моменти, казват повече от един огромен тест, направен веднъж.
Отвъд симулацията
Симулацията е репетиция. Преди пускане направете и истинско тестово обаждане до собствения си телефон и слушайте така, както би слушал клиент. Пускайте внимателно: започнете с линия с нисък риск или с ограничени часове, осигурете лесен път до човек (вижте предаване на разговор към човек) и слушайте първите истински обаждания всеки ден. За служителите важи същата идея; вижте рамка за коучинг за репетиции и обратна връзка с хора.
Често задавани въпроси
Истински телефонни обаждания ли са тренировъчните обаждания?
Това са симулирани обаждания, при които AI обаждащи се звънят на вашите AI агенти. Използвайте отделно тестово обаждане до собствения си телефон, за да чуете агента на истинска линия.
Мога ли да тренирам на повече от един език?
Инструментът за тренировка пуска симулирани обаждания на японски и английски. Задайте колко от всеки език искате за всеки агент.
Колко обаждания трябва да пусна?
Започнете с малко, по няколко от всеки сценарий за агент, и прочетете внимателно резултатите. Увеличавайте само когато имате причина, например за да тествате промяна на няколко езика.
Променят ли уроците агента ми автоматично?
Не. Уроците чакат вашия преглед. Прилагате тези, с които сте съгласни, и отхвърляте останалите.
Какво ми казва оценката?
Тя показва как е преминало симулираното обаждане спрямо критериите, с бележки на оценяващия за всеки отговор. Тя е доказателство, но истинските обаждащи се пак могат да се държат различно.
Какво да направя, ако агент е затъмнен?
Агент, който все още не може да отговаря на обаждания, е отбелязан като неспособен да отговаря и не може да бъде избран. Първо завършете настройката му.