Miten puhetekoäly toimii: puheentunnistus, kielimalli ja puhesynteesi
Selkokielinen kierros puhetekoälyagenttien ketjuun: puheesta tekstiksi, kielimalli, tekstistä puheeksi sekä vuorottelu, viive ja turvalliset luovutukset.
Puhelu tekoälyagentin kanssa voi tuntua taikuudelta tai palapeliltä sen mukaan, toimiiko se. Sen takana on melko yksinkertainen ajatus: muuta soittajan ääni tekstiksi, anna kielimallin päättää, mitä sanoa, ja muuta vastaus takaisin puheeksi, kaikki riittävän nopeasti, jotta se tuntuu keskustelulta. Tämä opas selittää kunkin vaiheen, missä asiat menevät pieleen ja mitä se tarkoittaa agentin määritykselle. Laajemman kuvan saat aloittamalla artikkelista Mikä on tekoälypuhelinvastaanotto?.

Puhetekoälypuhelun perussilmukka
- KuunteleSoittajan ääni tallennetaan ja puhdistetaan.
- LitteroiPuheesta tekstiksi muuttaa äänen sanoiksi.
- PäätäKielimalli valitsee, mitä sanoa tai tehdä seuraavaksi.
- PuhuTekstistä puheeksi muuttaa vastauksen ääneksi.
- ToistaSilmukka pyörii joka vuorolle, kunnes puhelu päättyy tai luovutetaan.
Ensimmäinen vaihe: puheesta tekstiksi
Puheentunnistus muuttaa äänen sanoiksi. Puhelinlinjalla ääni on kapeakaistaista ja pakattua, mikä tekee siitä vaikeampaa kuin studiotallenteen. Aksentit, taustamelu, päällekkäinen puhe ja epätavalliset nimet vaikuttavat kaikki tarkkuuteen. Nykyaikaiset järjestelmät voivat pärjätä hyvin arkipuheessa, mutta numerot, kirjoitusasut, nimet ja alakohtaiset sanat, kuten lääkkeet tai katujen nimet, ovat yleisiä heikkoja kohtia.
- Suoratoistotunnistus tuottaa sanoja soittajan vielä puhuessa, mikä säästää aikaa.
- Tunnistimet tarvitsevat usein vihjeitä, kuten tuote- tai paikannimien listan, pärjätäkseen paremmin.
- Varmuus ei ole varmuutta. Järjestelmä voi olla varmasti väärässä.
- Vuoron lopun kuuntelu on eri tehtävä kuin sanojen tunnistaminen.
Lisää tietoa löytyy artikkeleista puheentunnistus puheluissa, numeroiden ja nimien käsittely ja aksentit ja murteet.
Toinen vaihe: kielimalli
Suuri kielimalli lukee tähänastisen litteroinnin sekä kirjoittamasi ohjeet ja antamasi tiedot ja tuottaa sitten seuraavan vastauksen. Se ei hae asioita itse, vaan luottaa siihen, mitä sille on annettu. Siksi kehotteella ja tietopankilla on niin suuri merkitys. Malli voi kuulostaa sujuvalta ollessaan väärässä, minkä vuoksi suojakaiteet ja testaus ovat välttämättömiä.
Mikä muokkaa mallin vastausta
- OhjeetRooli, sävy, säännöt ja rajat, jotka sille annat.
- TietämysAsiakirjat, Q&A ja tosiasiat, joita se saa hyödyntää.
- Keskustelu tähän astiMitä tässä puhelussa on sanottu.
- TyökalutToimet, joita se saa tehdä, kuten tilauksen haku tai viestin kirjaaminen.
Oppaat kuten puhelinagentin kehotteet, RAG puheagenteille, harhat ja suojakaiteet menevät syvemmälle. Kehote, joka kertoo, mitä tehdä epävarmana, esimerkiksi tarjota ihmistä tai ottaa viesti, estää monta ongelmaa.
Kolmas vaihe: tekstistä puheeksi
Tekstistä puheeksi muuttaa vastauksen ääneksi. Äänet vaihtelevat selkeydeltään, lämpimyydeltään ja siltä, miten ne käsittelevät taukoja, numeroita ja nimiä kielelläsi. Joitakin voi säätää tai korjata ääntämissanakirjalla. Valitse ääni selkeyden vuoksi puhelinlinjalla, ei uutuuden, ja testaa se niillä lauseilla, joita se oikeasti sanoo. Katso tekstistä puheeksi japaniksi esimerkiksi kielikohtaisista ongelmista ja äänen kloonaus suostumuksesta ja riskeistä mukautettua ääntä käytettäessä.
Miksi ajoitus ratkaisee kokemuksen
Ihmisten keskustelussa vuorot vaihtuvat nopeasti. Yli sekunnin tauko tuntuu oudolta. Kolmivaiheisessa ketjussa jokainen vaihe lisää viivettä, ja mallilla voi mennä aikaa ajatteluun. Suunnittelijat vähentävät viivettä suoratoistolla: aloittavat puhumisen ennen kuin koko vastaus on valmis ja aloittavat litteroinnin ennen kuin soittaja lopettaa. He myös säätävät, milloin päätetään soittajan lopettaneen.
Ketju vs puheesta puheeksi -malli
| Kolmivaiheinen ketju | Puheesta puheeksi -malli | |
|---|---|---|
| Miten se toimii | Erillinen tunnistus, malli ja ääni | Yksi malli käsittelee äänen sisään ja ulos |
| Hallinta | Jokaista vaihetta voi säätää tai vaihtaa | Vähemmän näkyvä, integroidumpi |
| Viive | Kertyy vaiheiden yli | Voi olla pienempi |
| Litterointi | Teksti saatavilla joka vaiheessa | Voi vaatia lisätyötä tekstin tuottamiseen |
| Kypsyys | Laajasti käytetty | Uudempi, muuttuu nopeasti |
Puheesta puheeksi -mallit ovat uudempi lähestymistapa. Kummassakin tapauksessa viive, keskeytykset ja vuorottelu ratkaisevat, tuntuuko agentti luonnolliselta.
Keskeytykset
Ihmiset keskeyttävät. Hyvä agentti lopettaa puhumisen, kun soittaja alkaa, eikä pidä yskäisyä tai taustalla olevaa ääntä keskeytyksenä. Tämä riippuu puheen havaitsemisesta, josta kerrotaan artikkelissa puheaktiivisuuden tunnistus. Huonosti säädetyt järjestelmät joko puhuvat soittajien päälle tai odottavat liian pitkään.
Työkalut, tietämys ja toimet
Puheagentista tulee hyödyllinen, kun se voi tehdä muutakin kuin keskustella. Yhdistetyillä työkaluilla se voi hakea tietoa, kirjata viestin, merkitä takaisinsoittopyynnön tai välittää puhelun ihmiselle. Jokaisella työkalulla pitäisi olla kapea tarkoitus ja selkeät säännöt. Agentti voi ottaa pyynnön vastaanottoajasta. Sen vahvistaminen on eri asia, ja monet yritykset haluavat ihmisen vahvistavan. Funktiokutsut selittää, miten työkalut kuvataan mallille.
Mitä äänelle ja tekstille tapahtuu
Jokainen vaihe käsittelee henkilötietoja. Ääni sisältää äänen, litterointi sisältää sanotun, usein nimet, osoitteet ja soiton syyn. Ennen käyttöönottoa selvitä, missä kukin vaihe toimii, mitä tallennetaan, kuinka kauan ja kuka voi lukea sen. Päätä, pitäisikö arkaluonteisia tietoja, kuten maksu- tai terveystietoja, kerätä agentilla lainkaan vai välittää ihmiselle. Puhetekoälyn suunnittelu yksityisyys mielessä käsittelee tätä tarkemmin.
Pidä agentin tehtävä kapeana. Agentti, joka vastaa yleisiin kysymyksiin, ottaa viestin ja luovuttaa, on helpompi testata, helpompi selittää soittajille ja helpompi pitää yksityisyyslupauksiesi sisällä kuin sellainen, joka yrittää tehdä kaiken.
Mitä käytännössä voi odottaa
Odota hyvää tulosta yksinkertaisissa, ennustettavissa puheluissa: aukioloajat, ajo-ohjeet, perusasiat, viestin ottaminen. Odota enemmän vaikeuksia pitkissä, tunteikkaissa tai monitulkintaisissa puheluissa, voimakkaissa aksenteissa, huonoissa linjoissa ja pyynnöissä, jotka vaativat harkintaa. Järkevä käyttöönotto alkaa pienellä joukolla puhelutyyppejä, kuuntelee jokaista puhelua aluksi ja laajenee luottamuksen kasvaessa. Muistettava ajatus on, että agentti on suunniteltu auttamaan määritellyissä tehtävissä, ei korvaamaan harkintaa.
Missä se menee pieleen
- Väärin kuullut sanat tai numerot johtavat vääriin vastauksiin.
- Malli keksii vastauksen sen sijaan, että myöntäisi, ettei tiedä.
- Viiveet saavat soittajat toistamaan itseään tai katkaisemaan puhelun.
- Taustamelu tai ristipuhe tulkitaan puheeksi.
- Soittaja haluaa jotain agentin laajuuden ulkopuolelta eikä pääse pois.
Suunnittele näihin. Tee ihmisen tavoittamisesta helppoa, pidä vastaukset lyhyinä, vahvista tärkeät tiedot, kuten numerot ja päivät, ja käy oikeita puheluita läpi säännöllisesti. Puheagentin testaus ja arviointimittarit selittävät, miten.
Toteutus Callissa
Callissa tekoälyagentti rakennetaan persoonasta ja kehotteesta, äänestä, kielestä ja tietolähteistä, minkä jälkeen se testataan näytöllä ja puhelimella ennen kuin se kytketään päälle linjalle. Callissa voit valita äänistä, säätää ääntämistä sanakirjalla, muuttaa puheen tunnistustapaa ja pitää lähteet ajan tasalla. Agentti on suunniteltu yhdistämään soittajat ihmiselle pyydettäessä, ja se voi ottaa viestin. Kunnes kytket agentin päälle linjalle, puhelut soivat tiimillesi. Testaa aina ensin omilla puheluillasi. Tekoälyagentin määritys Callissa käy vaiheet läpi.
Usein kysytyt kysymykset
Mitkä ovat puhetekoälyagentin kolme osaa?
Puheesta tekstiksi kuulee soittajan, kielimalli päättää, mitä sanoa, ja tekstistä puheeksi puhuu vastauksen. Jotkin uudemmat järjestelmät yhdistävät ne.
Miksi tekoäly joskus tauottaa ennen vastaamista?
Jokainen vaihe vie aikaa, ja järjestelmän on päätettävä, että soittaja on lopettanut puhumisen. Suoratoisto ja säätö voivat lyhentää taukoa mutta eivät poistaa sitä.
Voiko tekoäly keksiä asioita?
Kyllä. Kielimalli voi tuottaa uskottavia mutta vääriä vastauksia. Anna sille hyvä tietämys, selkeät rajat ja ohje tarjota ihmistä epävarmana.
Voiko puheagentti varata aikoja?
Se voi ottaa pyynnön ja välittää sen eteenpäin. Monet yritykset haluavat ihmisen vahvistavan, joten päätä, mitä agentti saa luvata.
Pitääkö soittajille kertoa, että kyseessä on tekoäly?
Monessa paikassa ihmiset odottavat tai heillä on oikeus tietää. Sano se selvästi puhelun alussa ja tarkista sinua koskevat säännöt.
Miten tarkistan, että se toimii?
Testaa oikeilla puheluilla eri aksenteilla ja melutasoilla, kuuntele tulokset ja pidä lista kysymyksistä, jotka ajat uudelleen jokaisen muutoksen jälkeen.