Keksittyjen vastausten estäminen puhetekoälyssä
Miksi puheagentit joskus väittävät paikkansapitämättömiä asioita ja miten sitä rajataan: luotettavat lähteet, turvalliset varapolut, ansakysymykset ja tarkistus.
Kysykää puheagentilta aukioloaikojanne, ja se vastaa sujuvasti. Ongelma syntyy, kun se vastaa yhtä sujuvasti jostain, mitä sille ei ole koskaan kerrottu. Tätä tarkoitetaan hallusinaatiolla: tuotos kuulostaa oikealta, mutta sillä ei ole pohjaa tiedoissanne.

Puhelinlinjalla riski on terävämpi kuin chat-ikkunassa. Soittaja kuulee yhden itsevarman lauseen eikä linkkiä, lähdettä tai helppoa tapaa palata takaisin. Tämä opas kertoo, miksi hallusinaatioita syntyy, miten niitä vähennetään ja miten korjausten toimivuus tarkistetaan.
Mikä hallusinaatio on ja miksi sitä tapahtuu
Kielimalli tuottaa keskustelulle uskottavimman jatkon. Se on koulutettu valtavalla tekstimäärällä, eikä sillä ole sisäänrakennettua käsitystä siitä, mitkä väitteet pitävät paikkansa juuri teidän yrityksessänne. Kun vastaus puuttuu kehotteesta tai lähteistä, malli voi täyttää aukon jollakin järkevältä näyttävällä.
Tyypillisiä syitä puhelinagentissa
- Puuttuva tietoSoittaja kysyy jotain, mitä kukaan ei kirjannut, joten malli improvisoi.
- Vanhentunut tietoVanha hinta tai aukioloaika on jäänyt lähteeseen.
- Monitulkintaiset lähteetKaksi dokumenttia on ristiriidassa, ja agentti valitsee toisen.
- Paine olla avuliasKehote, joka käskee aina vastaamaan, rohkaisee arvaamaan.
- Puheentunnistuksen virheetVäärin kuultu sana muuttaa kysymystä, joten agentti vastaa eri kysymykseen.
Viimeinen syy on helppo unohtaa. Jos litteroinnissa lukee tiistai, kun soittaja sanoi torstai, vastaus voi olla täysin oikea väärään kysymykseen. Tunnistusvirheiden synnystä kertoo Puheentunnistus puheluissa.
Miltä se näyttää käytännössä
Kuviteltu hammaslääkäriasema saattaa kertoa agentilleen aukioloajoista ja tarjoamistaan palveluista. Soittaja kysyy, hyväksyykö asema tietyn vakuutuksen. Koska asiasta ei ole tietoa, huolimaton agentti voi vastata kyllä, koska monet asemat hyväksyvät. Soittaja saapuu odottaen korvausta ja on pettynyt. Korjaus ei ole älykkäämpi malli vaan selkeä ohje ja lähde, joka kertoo, mitä tehdä, kun vastausta ei tiedetä.
Yleisiä korkean riskin aiheita ovat hinnat, saatavuus, oikeudellinen tai lääketieteellinen neuvonta, hyvityslupaukset ja kaikki, mikä kuulostaa sitoumukselta. Merkitkää nämä alueiksi, joilla agentti ei saa improvisoida.
Miksi puhe pahentaa tilannetta
Kirjoitetun chatbotin vastauksessa voi olla linkki, vastuuvapauslauseke tai näkyvä lähdelista. Puheessa ei ole mitään näistä. Synteettiset äänet ovat myös sujuvia ja tasaisia, joten arvaus kuulostaa täsmälleen tosiasialta; mikään epäröinti ei varoita soittajaa. Soittajat toimivat usein heti kuulemansa perusteella: ajavat jonnekin, peruvat jotain tai maksavat jotain.
Siksi puhelinagenttien suunnittelussa pitää kallistua pidättyvyyteen. Lyhyt rehellinen vastaus, joka ohjaa ihmiselle, maksaa muutaman sekunnin. Itsevarma väärä vastaus voi maksaa asiakkaan. Kun päätätte, kuinka tiukka olla, miettikää kunkin aiheen kohdalla väärän vastauksen pahinta uskottavaa seurausta ja asettakaa sääntö sen mukaan: väljä aukioloajoille, tiukka kaikelle, mikä koskee rahaa, terveyttä tai oikeuksia.
Miten keksittyjä vastauksia vähennetään
Kerroksellinen lähestymistapa
- Ankkuroikaa agenttiAntakaa sille hyväksytyt tiedot ja käskekää vastaamaan vain niistä.
- Määritelkää tuntematonKirjoittakaa, mitä sen pitää sanoa, kun vastaus puuttuu.
- Rajatkaa sitoumuksiaKieltäkää lupaukset, joita se ei voi pitää, kuten alennukset tai vahvistetut varaukset.
- Tarjotkaa reittiAntakaa seuraavaksi askeleeksi aina ihminen, viesti tai takaisinsoitto.
- Testatkaa ja tarkistakaaKokeilkaa lähteiden ulkopuolisia kysymyksiä ja lukekaa todellisia litterointeja.
Ankkuroikaa se hyväksyttyihin lähteisiin
Tiedonhaku (retrieval) tarkoittaa, että dokumenteistanne haetaan kysymyshetkellä olennaiset kohdat ja vain ne annetaan mallille. Se pitää vastaukset sidottuina kirjoittamaanne tekstiin. Tiedonhaku puheagenteille selittää ajatuksen, ja Tietolähteet Callissa näyttää, miten se näkyy tuotteessa.
Kirjoittakaa lyhyitä, yksiselitteisiä tietoja
Yksi tieto kohtaa kohden ehtoineen toimii paremmin kuin pitkä esite. Sen sijaan, että kirjoitatte Olemme auki viikonloppuisin, kirjoittakaa lauantaisin 9–13, sunnuntaisin suljettu. Jos aiheeseen liittyy poikkeuksia, kertokaa ne samassa kohdassa.
Käyttäkää tarkkoja vastauksia keskeisiin kysymyksiin
Kysymyksiin, joissa sanamuodolla on merkitystä, kuten peruutusehtoihin, antakaa agentille tarkka luettava vastaus. Callissa voitte lisätä kysymyksen ja tarkan vastauksen, jonka agentin pitää antaa, jolloin sen ei tarvitse muotoilla omin sanoin.
Opettakaa se sanomaan en tiedä
Rehellinen En pysty vahvistamaan sitä tässä puhelussa, mutta voin ottaa tietonne ja pyytää jotakuta palaamaan asiaan on paljon parempi kuin arvaus. Callissa agentti on suunniteltu kertomaan suoraan, ettei se voi vahvistaa jotain, kun mikään sen ohjeissa tai lähteissä ei vastaa kysymykseen, ja tarjoamaan ihmistä, kun linja voi yhdistää soittajia eteenpäin. Se ei myöskään koskaan keksi hintoja, aukioloaikoja, päivämääriä tai muita tietoja, joita ohjeenne ja lähteenne eivät kerro, eivätkä ohjeenne voi kytkeä näitä sääntöjä pois.
Ankkuroidut ja ankkuroimattomat vastaukset
Sama kysymys, kaksi määritystä
| Ankkuroimaton agentti | Ankkuroitu agentti | |
|---|---|---|
| Vastauksen lähde | Yleistieto ja uskottavat arvaukset | Vain hyväksytyt tietonne |
| Kun tieto puuttuu | Keksii jotain sujuvaa | Kertoo, ettei voi vahvistaa, ja tarjoaa seuraavan askeleen |
| Riski soittajalle | Voi toimia väärien tietojen varassa | Tietää, mikä on epävarmaa |
| Ylläpito | Helppo aloittaa, vaikea luottaa | Lähteet on pidettävä ajan tasalla |
Testatkaa hallusinaatioita tarkoituksella
Älkää odottako, että asiakas löytää aukot. Kootkaa pieni joukko ansakysymyksiä ja ajakaa ne aina, kun muutatte kehotetta tai lähteitä.
Hallusinaatioiden testijoukko
- Kysykää palvelusta, jota ette tarjoa
- Kysykää hintaa, jota lähteissä ei ole
- Kysykää käytännön poikkeuksesta, jota kukaan ei kirjannut
- Kysykää päivämäärää kaukana tulevaisuudessa
- Kysykää kysymys eri sanoin kuin kirjoitetuissa vastauksissanne
- Kysykää jotain, mikä kuulostaa katetulta aiheelta
- Tarkistakaa, että jokainen tuntematon päättyy turvalliseen seuraavaan askeleeseen
Toistakaa joukko muutosten jälkeen ja lisätkää siihen jokainen löytämänne todellinen virhe. Laajempi testausprosessi kuvataan artikkelissa Puhetekoälyagentin testaaminen.
Seuratkaa jatkuvasti käyttöönoton jälkeen
Hallusinaatioiden hallinta ei ole kertaluonteinen tehtävä. Tiedot muuttuvat, uusia kysymyksiä ilmenee ja kehotteet ajautuvat, kun ihmiset muokkaavat niitä. Luokaa rutiini: lukekaa viikoittain otos litterointeja, hakekaa epävarmuutta kertovia ilmauksia ja päivittäkää lähteet. Callissa voitte avata minkä tahansa puhelun koko keskustelun, hakea kaikista tallennetuista litteroinneista ilmausta ja nähdä agentin sanoihin tehtyjen korjausten historian. Muistakaa, että litterointeja säilytetään rajallinen aika, joten käykää ne läpi viipymättä.
Soveltaminen Callissa
Aloittakaa kirjoittamalla useimmin kysytyt kysymyksenne tarkoiksi kysymys–vastaus-pareiksi, lisätkää kaikelle muulle lyhyet tosiasialähteet ja liittäkää agentti linjaan vasta testauksen jälkeen. Jos haluatte apua arvailua ehkäisevien kehotteiden laatimiseen, lukekaa LLM-puhelinagentin kehotteiden laatiminen. Tämän työn rinnalla toimivat suojakaiteet käsitellään artikkelissa Puhetekoälyagenttien suojakaiteet.
Usein kysytyt kysymykset
Mikä on puhetekoälyn hallusinaatio?
Se on vastaus, joka kuulostaa itsevarmalta mutta jota tietonne eivät tue, esimerkiksi keksitty hinta tai käytäntö. Sitä tapahtuu, kun malli täyttää aukon sen sijaan, että myöntäisi, ettei tiedä.
Voiko hallusinaatiot poistaa kokonaan?
Mikään työkalu ei voi luvata sitä. Niitä voi vähentää paljon rajaamalla, mitä agentti saa sanoa, pitämällä lähteet ajan tasalla ja antamalla sille turvallisen varapolun, mutta testausta ja tarkistusta kannattaa jatkaa.
Miksi agentti vastaa kysymykseen, jota en koskaan opettanut sille?
Kielimallit on rakennettu tuottamaan uskottavaa tekstiä. Ilman selkeää ohjetta pysyä lähteissänne ja kertoa, kun se ei voi vahvistaa jotain, se voi improvisoida.
Onko väärin kuultu sana sama asia kuin hallusinaatio?
Ei aivan. Väärin kuultu sana on tunnistusvirhe, mutta se voi johtaa väärään vastaukseen, joka näyttää hallusinaatiolta. Tarkistakaa litteroinnista, kummasta oli kyse.
Mitkä aiheet ovat riskialtteimpia?
Hinnat, saatavuus, lääketieteellinen tai oikeudellinen neuvonta, hyvitykset ja kaikki lupaukset tai sitoumukset. Antakaa agentille näihin tarkat sanamuodot tai siirto ihmiselle.
Kuinka usein litterointeja pitäisi käydä läpi?
Käyttöönoton aikaan päivittäin tai muutaman päivän välein, sen jälkeen viikoittain. Tarkistakaa useammin, kun olette muuttaneet kehotetta tai lähteitä.