Technologie hlasové AI

Jak zabránit vymyšleným odpovědím hlasové AI v hovorech

Proč hlasoví agenti občas tvrdí nepravdivé věci a jaké praktické kroky to omezí: podložené zdroje, bezpečné záložní odpovědi, záludné otázky a kontrola.

Redakce Call · Zveřejněno · Čtení na 5 min

Zeptejte se hlasového agenta na otevírací dobu a odpoví hladce. Problém nastává, když stejně hladce odpoví na něco, co mu nikdo neřekl. Právě to se myslí halucinací: výstup, který zní správně, ale ve vašich informacích nemá žádný základ.

Člověk u stolu pozorně poslouchá telefonní hovor
Ilustrační obrázek

Na telefonní lince je riziko vyšší než v chatovacím okně. Volající uslyší jednu sebejistou větu bez odkazu, bez zdroje a bez snadné možnosti vrátit se zpět. Tento průvodce vysvětluje, proč halucinace vznikají, jak je omezit a jak ověřit, že vaše opatření fungují.

Co je halucinace a proč vzniká

Jazykový model vytváří nejpravděpodobnější pokračování rozhovoru. Byl natrénován na obrovském množství textu a nemá vestavěný smysl pro to, která tvrzení platí pro vaši firmu. Když odpověď v promptu ani ve zdrojích chybí, model může mezeru vyplnit něčím, co vypadá rozumně.

Typické příčiny u telefonního agenta

  • Chybějící informaceVolající se ptá na něco, co nikdo nezapsal, a model improvizuje.
  • Zastaralé informaceVe zdroji zůstala stará cena nebo otevírací doba.
  • Nejednoznačné zdrojeDva dokumenty si odporují a agent si vybere jeden.
  • Tlak na vstřícnostPrompt, který říká vždy odpověz, podněcuje hádání.
  • Chyby rozpoznávání řečiPřeslechnuté slovo změní otázku, takže agent odpoví na jinou.

Poslední příčinu lze snadno přehlédnout. Pokud přepis uvádí úterý, zatímco volající řekl čtvrtek, odpověď může být naprosto přesná, ale na špatnou otázku. Viz Rozpoznávání řeči v telefonních hovorech – jak chyby rozpoznávání vznikají.

Jak to vypadá v praxi

Fiktivní zubní ordinace může agentovi sdělit otevírací dobu a nabízené služby. Volající se zeptá, zda ordinace přijímá určité pojištění. Bez informací o tom by neopatrný agent mohl říct ano, protože mnoho ordinací ho přijímá. Volající přijde v očekávání, že bude krytý, a je nespokojený. Řešením není chytřejší model, ale jasný pokyn a zdroj, který říká, co dělat, když odpověď není známa.

Běžná vysoce riziková témata jsou ceny, dostupnost, právní či lékařské rady, sliby vrácení peněz a cokoli, co zní jako závazek. Označte je jako oblasti, kde agent nesmí improvizovat.

Proč to hlas zhoršuje

Psaná odpověď chatbota může obsahovat odkaz, upozornění nebo viditelný seznam zdrojů. Řeč nic z toho nenese. Syntetické hlasy jsou navíc hladké a vyrovnané, takže odhad zní přesně jako fakt; žádné zaváhání volajícího nevaruje. Volající často podle toho, co slyší, okamžitě jednají: někam jedou, něco ruší nebo něco platí.

Proto by se návrh telefonních agentů měl přiklánět ke zdrženlivosti. Krátká upřímná odpověď, která odkáže na člověka, stojí pár sekund. Sebejistá chybná odpověď může stát zákazníka. Když rozhodujete, jak přísní být, zvažte u každého tématu nejhorší pravděpodobný důsledek chybné odpovědi a podle toho nastavte pravidlo: volné u otevírací doby, přísné u všeho, co se týká peněz, zdraví nebo zákonných práv.

Jak omezit vymyšlené odpovědi

Vrstvený přístup

  1. Ukotvit agentaDát mu schválená fakta a říct mu, ať odpovídá jen z nich.
  2. Definovat neznáméNapsat, co má říct, když odpověď nemá.
  3. Omezit závazkyZakázat sliby, které nemůže dodržet, například slevy nebo potvrzené rezervace.
  4. Nabídnout cestuJako další krok vždy nabídnout člověka, vzkaz nebo zpětné zavolání.
  5. Testovat a kontrolovatZkoušet otázky mimo zdroje a číst skutečné přepisy.

Ukotvěte ho ve schválených zdrojích

Vyhledávání (retrieval) znamená, že se v okamžiku otázky vyhledají relevantní pasáže z vašich dokumentů a modelu se předají jen ony. Odpovědi tak zůstávají svázané s textem, který jste napsali. Vyhledávání informací pro hlasové agenty vysvětluje princip a Zdroje znalostí v Call ukazuje, jak se projevuje v produktu.

Pište krátká, jednoznačná fakta

Jeden fakt na položku i s podmínkou funguje lépe než dlouhá brožura. Místo Máme otevřeno o víkendech napište Sobota 9 až 13, v neděli zavřeno. Pokud má téma výjimky, uveďte je ve stejné položce.

U klíčových otázek používejte přesné odpovědi

U otázek, kde záleží na formulaci, například u storno podmínek, dejte agentovi přesnou odpověď k přečtení. V Call můžete přidat otázku a přesnou odpověď, kterou má agent dát, aby nemusel parafrázovat.

Naučte ho říkat nevím

Upřímné To během tohoto hovoru potvrdit nemohu, ale mohu si zapsat vaše údaje a někdo se vám ozve je mnohem lepší než odhad. V Call je agent navržen tak, aby jasně řekl, že něco nemůže potvrdit, když na otázku nic v jeho pokynech ani zdrojích neodpovídá, a nabídl člověka tam, kde linka umožňuje volající přepojit. Také si nikdy nevymýšlí ceny, otevírací dobu, data ani jiná fakta, která vaše pokyny a zdroje neuvádějí, a vaše pokyny tato pravidla vypnout nemohou.

Podložené versus nepodložené odpovědi

Stejná otázka, dvě nastavení

Neukotvený agentUkotvený agent
Zdroj odpovědiObecné znalosti a věrohodné odhadyJen vaše schválená fakta
Když informace chybíVymyslí něco plynuléhoŘekne, že to nemůže potvrdit, a nabídne další krok
Riziko pro volajícíhoMůže jednat podle chybných údajůVí, co je nejisté
ÚdržbaSnadný začátek, obtížná důvěraZdroje je třeba udržovat aktuální

Testujte halucinace záměrně

Nečekejte, až mezery najde zákazník. Sestavte malou sadu záludných otázek a spusťte ji pokaždé, když změníte prompt nebo zdroje.

Testovací sada na halucinace

  • Zeptejte se na službu, kterou nenabízíte
  • Zeptejte se na cenu, která ve zdrojích není
  • Zeptejte se na výjimku z pravidel, kterou nikdo nezapsal
  • Zeptejte se na datum v daleké budoucnosti
  • Položte otázku jinými slovy, než jaká jsou v napsaných odpovědích
  • Zeptejte se na něco, co zní podobně jako pokryté téma
  • Ověřte, že každá neznámá končí bezpečným dalším krokem

Sadu po změnách opakujte a přidejte do ní každé skutečné selhání, na které narazíte. Širší proces testování popisuje článek Testování hlasového AI agenta.

Sledujte i po spuštění

Hlídání halucinací není jednorázový úkol. Informace se mění, objevují se nové otázky a prompty se posouvají, jak je lidé upravují. Zaveďte rutinu: každý týden přečtěte vzorek přepisů, vyhledávejte fráze, které signalizují nejistotu, a aktualizujte zdroje. V Call můžete otevřít celý rozhovor kteréhokoli hovoru, prohledat všechny uložené přepisy kvůli určité frázi a zobrazit historii oprav agentových formulací. Pamatujte, že přepisy se uchovávají jen omezenou dobu, proto je kontrolujte včas.

Jak to uplatnit v Call

Začněte tím, že nejčastější otázky zapíšete jako přesné dvojice otázek a odpovědí, pro vše ostatní přidáte krátké faktické zdroje a agenta připojíte k lince až po otestování. Pokud chcete pomoc s psaním promptů, které od hádání odrazují, přečtěte si článek Psaní promptů pro telefonního agenta s LLM. Ochranné mechanismy, které tuto práci doplňují, popisuje článek Ochranné mechanismy pro hlasové AI agenty.

Často kladené otázky

Co je halucinace hlasové AI?

Je to odpověď, která zní sebejistě, ale vaše informace ji nepodporují, například vymyšlená cena nebo pravidlo. Vzniká, když model vyplní mezeru, místo aby přiznal, že neví.

Lze halucinace zcela odstranit?

To nemůže slíbit žádný nástroj. Můžete je výrazně omezit tím, že omezíte, co agent smí říkat, budete udržovat zdroje aktuální a dáte mu bezpečnou záložní odpověď, ale testovat a kontrolovat byste měli dál.

Proč agent odpovídá na otázku, na kterou jsem ho nikdy nepřipravil?

Jazykové modely jsou stavěné k tvorbě věrohodného textu. Bez jasného pokynu držet se vašich zdrojů a říct, když něco nemůže potvrdit, může improvizovat.

Je přeslechnuté slovo totéž co halucinace?

Ne úplně. Přeslechnuté slovo je chyba rozpoznávání, ale může vést k chybné odpovědi, která vypadá jako halucinace. Podle přepisu zjistíte, o co šlo.

Která témata jsou nejrizikovější?

Ceny, dostupnost, lékařské či právní rady, vracení peněz a jakýkoli slib nebo závazek. U nich dejte agentovi přesnou formulaci nebo předání.

Jak často mám přepisy kontrolovat?

Při spuštění denně nebo každých pár dní, poté týdně. Častěji je kontrolujte po změně promptu nebo zdrojů.

Ukotvěte v Call svého AI agenta ve schválených odpovědích

V demo konzoli si můžete příchozí hovory vyzkoušet v simulaci.

Související průvodci