Ako zabrániť vymysleným odpovediam hlasovej AI v telefóne
Prečo hlasoví agenti niekedy tvrdia nepravdu a praktické kroky, ktoré to obmedzia: podložené zdroje, bezpečné náhradné odpovede, chytáky a pravidelná kontrola.
Opýtajte sa hlasového agenta na otváracie hodiny a odpovie plynulo. Problém nastane, keď rovnako plynulo odpovie na niečo, čo mu nikto nepovedal. Práve to ľudia myslia halucináciou: výstup, ktorý znie správne, ale nemá oporu vo vašich informáciách.

Na telefónnej linke je riziko vyššie než v chatovom okne. Volajúci počuje jednu sebavedomú vetu a žiadny odkaz, žiadny zdroj ani ľahký spôsob, ako sa vrátiť. Tento návod vysvetľuje, prečo halucinácie vznikajú, ako ich obmedziť a ako overiť, že vaše opatrenia fungujú.
Čo je halucinácia a prečo vzniká
Jazykový model vytvára najpravdepodobnejšie pokračovanie rozhovoru. Bol trénovaný na obrovskom množstve textu a nemá vstavaný zmysel pre to, ktoré tvrdenia platia pre vašu firmu. Keď odpoveď v pokynoch ani zdrojoch nie je, model môže medzeru vyplniť niečím, čo vyzerá rozumne.
Typické príčiny pri telefonickom agentovi
- Chýbajúce informácieVolajúci sa pýta na niečo, čo nikto nezapísal, a model improvizuje.
- Zastarané informácieV zdroji zostala stará cena alebo otváracia doba.
- Nejednoznačné zdrojeDva dokumenty si protirečia a agent si vyberie jeden.
- Tlak byť užitočnýPokyn, ktorý hovorí vždy odpovedz, podporuje hádanie.
- Chyby rozpoznávania rečiZle počuté slovo zmení otázku, takže agent odpovedá na inú.
Poslednú príčinu je ľahké prehliadnuť. Ak prepis hovorí utorok a volajúci povedal štvrtok, odpoveď môže byť dokonale presná, no na nesprávnu otázku. Ako chyby rozpoznávania vznikajú, popisuje článok Rozpoznávanie reči pri telefonických hovoroch.
Ako to vyzerá v praxi
Hypotetická zubná ambulancia môže agentovi povedať otváracie hodiny a ponúkané služby. Volajúci sa opýta, či ambulancia akceptuje konkrétne poistenie. Bez informácií o tom môže neopatrný agent povedať áno, pretože mnohé ambulancie ho akceptujú. Volajúci príde s očakávaním krytia a je nespokojný. Riešením nie je múdrejší model, ale jasný pokyn a zdroj, ktorý hovorí, čo robiť, keď odpoveď nie je známa.
Bežnými rizikovými témami sú ceny, dostupnosť, právne či zdravotné rady, sľuby vrátenia peňazí a čokoľvek, čo znie ako záväzok. Označte ich ako oblasti, kde agent nesmie improvizovať.
Prečo je to pri hlase horšie
Písaná odpoveď chatbota môže obsahovať odkaz, upozornenie alebo viditeľný zoznam zdrojov. Reč nič z toho nemá. Syntetické hlasy sú navyše plynulé a vyrovnané, takže odhad znie presne ako fakt; žiadne zaváhanie volajúceho nevaruje. Volajúci často konajú podľa toho, čo počuli, okamžite: niekam idú, niečo zrušia alebo zaplatia.
Preto by sa návrh telefonických agentov mal prikláňať k zdržanlivosti. Krátka úprimná odpoveď, ktorá odkáže na človeka, stojí pár sekúnd. Sebavedomá nesprávna odpoveď môže stáť zákazníka. Keď rozhodujete, nakoľko prísni byť, premyslite najhorší pravdepodobný dôsledok nesprávnej odpovede pri každej téme a podľa toho nastavte pravidlo: voľnejšie pri otváracích hodinách, prísne pri všetkom, čo sa týka peňazí, zdravia alebo zákonných práv.
Ako obmedziť vymyslené odpovede
Viacvrstvový prístup
- Ukotvite agentaDajte mu schválené fakty a povedzte mu, aby odpovedal len z nich.
- Definujte neznámeNapíšte, čo má povedať, keď odpoveď nemá.
- Obmedzte záväzkyZakážte sľuby, ktoré nedokáže splniť, napríklad zľavy či potvrdené rezervácie.
- Ponúknite cestuAko ďalší krok vždy poskytnite človeka, odkaz alebo spätné zavolanie.
- Testujte a kontrolujteSkúšajte otázky mimo zdrojov a čítajte skutočné prepisy.
Ukotvite ho v schválených zdrojoch
Vyhľadávanie (retrieval) znamená, že sa v okamihu otázky vyhľadajú relevantné pasáže z vašich dokumentov a modelu sa odovzdajú len tie. Odpovede tak zostávajú naviazané na text, ktorý ste napísali. Myšlienku vysvetľuje článok Vyhľadávanie informácií pre hlasových agentov a ako sa to prejavuje v produkte, ukazuje článok Zdroje znalostí v Call.
Píšte krátke, jednoznačné fakty
Jeden fakt na položku vrátane podmienky funguje lepšie než dlhá brožúra. Namiesto Cez víkend máme otvorené napíšte V sobotu 9 až 13, v nedeľu zatvorené. Ak má téma výnimky, uveďte ich v tej istej položke.
Pri kľúčových otázkach použite presné odpovede
Pri otázkach, kde záleží na znení, napríklad pri pravidlách zrušenia, dajte agentovi presnú odpoveď na prečítanie. V Call môžete pridať otázku a presnú odpoveď, ktorú má agent povedať, takže ju nemusí parafrázovať.
Naučte ho povedať neviem
Úprimné To vám počas tohto hovoru potvrdiť nemôžem, ale môžem si zapísať vaše údaje a niekto sa vám ozve je oveľa lepšie než odhad. V Call je agent navrhnutý tak, aby jasne povedal, že niečo nemôže potvrdiť, keď na otázku neodpovedá nič v jeho pokynoch ani zdrojoch, a ponúkol človeka, ak linka umožňuje volajúcich prepojiť. Nikdy si tiež nevymýšľa ceny, hodiny, dátumy ani iné fakty, ktoré vaše pokyny a zdroje neuvádzajú, a vaše pokyny tieto pravidlá vypnúť nemôžu.
Podložené verzus nepodložené odpovede
Rovnaká otázka, dve nastavenia
| Nepodložený agent | Podložený agent | |
|---|---|---|
| Zdroj odpovede | Všeobecné znalosti a pravdepodobné odhady | Len vaše schválené fakty |
| Keď informácie chýbajú | Vymyslí niečo plynulé | Povie, že to nemôže potvrdiť, a ponúkne ďalší krok |
| Riziko pre volajúceho | Môže konať podľa nesprávnych údajov | Vie, čo je neisté |
| Údržba | Ľahko sa začína, ťažko sa mu dôveruje | Vyžaduje aktuálne zdroje |
Testujte halucinácie zámerne
Nečakajte, kým medzery nájde zákazník. Vytvorte si malú sadu chytákov a spúšťajte ju pri každej zmene pokynov alebo zdrojov.
Testovacia sada na halucinácie
- Opýtajte sa na službu, ktorú neponúkate
- Opýtajte sa na cenu, ktorá v zdrojoch nie je
- Opýtajte sa na výnimku z pravidiel, ktorú nikto nezapísal
- Opýtajte sa na dátum ďaleko v budúcnosti
- Položte otázku inak, než znejú vaše napísané odpovede
- Opýtajte sa na niečo, čo znie podobne ako pokrytá téma
- Overte, že každá neznáma vec skončí bezpečným ďalším krokom
Sadu po zmenách zopakujte a pridajte do nej každé skutočné zlyhanie, ktoré nájdete. Širší proces testovania popisuje článok Testovanie hlasového AI agenta.
Sledujte aj po spustení
Kontrola halucinácií nie je jednorazová úloha. Informácie sa menia, objavujú sa nové otázky a pokyny sa postupne menia, ako ich ľudia upravujú. Zaveďte rutinu: každý týždeň prečítajte vzorku prepisov, hľadajte frázy, ktoré signalizujú pochybnosť, a aktualizujte zdroje. V Call môžete otvoriť celý rozhovor ktoréhokoľvek hovoru, vyhľadať frázu vo všetkých uložených prepisoch a pozrieť si históriu opráv slov agenta. Pamätajte, že prepisy sa uchovávajú obmedzený čas, preto ich kontrolujte včas.
Ako to uplatniť v Call
Začnite tým, že najčastejšie otázky spíšete ako presné dvojice otázok a odpovedí, pre všetko ostatné pridáte krátke faktické zdroje a agenta priradíte k linke až po otestovaní. Ak chcete pomoc s písaním pokynov, ktoré odrádzajú od hádania, prečítajte si článok Pokyny pre telefonického agenta s LLM. Ochranné mantinely, ktoré s touto prácou súvisia, popisuje článok Ochranné mantinely pre hlasových AI agentov.
Často kladené otázky
Čo je halucinácia hlasovej AI?
Je to odpoveď, ktorá znie sebavedome, ale nemá oporu vo vašich informáciách, napríklad vymyslená cena alebo pravidlo. Vzniká, keď model vyplní medzeru namiesto priznania, že nevie.
Dajú sa halucinácie úplne odstrániť?
To nemôže sľúbiť žiadny nástroj. Môžete ich výrazne obmedziť tým, že obmedzíte, čo agent smie povedať, budete udržiavať aktuálne zdroje a dáte mu bezpečnú náhradnú odpoveď, ale testovať a kontrolovať by ste mali naďalej.
Prečo agent odpovedá na otázku, na ktorú som ho nikdy nepripravil?
Jazykové modely sú stavané na tvorbu pravdepodobného textu. Bez jasného pokynu zostať pri vašich zdrojoch a povedať, keď niečo nemôže potvrdiť, môže improvizovať.
Je zle počuté slovo to isté ako halucinácia?
Nie celkom. Zle počuté slovo je chyba rozpoznávania, ale môže viesť k nesprávnej odpovedi, ktorá vyzerá ako halucinácia. V prepise si overte, o ktorý prípad ide.
Ktoré témy sú najrizikovejšie?
Ceny, dostupnosť, zdravotné či právne rady, vrátenie peňazí a akýkoľvek sľub či záväzok. Pre tieto témy dajte agentovi presné znenie alebo odovzdanie človeku.
Ako často mám kontrolovať prepisy?
Pri spustení denne alebo každých pár dní, potom týždenne. Častejšie po zmene pokynov alebo zdrojov.