Technologie hlasové AI

Jak funguje hlasová AI: rozpoznávání řeči, LLM a převod textu na řeč

Srozumitelný přehled toho, co stojí za hlasovými AI agenty: převod řeči na text, jazykový model, převod textu na řeč, střídání mluvčích, prodlevy a bezpečná předání.

Redakce Call · Zveřejněno · Čtení na 5 min

Telefonát s AI agentem může působit jako kouzlo nebo jako hádanka, podle toho, zda funguje. Za tím je poměrně jednoduchá myšlenka: převést hlas volajícího na text, nechat jazykový model rozhodnout, co říct, a odpověď převést zpět na řeč, a to všechno dost rychle, aby to působilo jako rozhovor. Tento průvodce vysvětluje každou fázi, kde se věci pokazí a co to znamená pro nastavení agenta. Širší souvislosti najdete v článku Co je AI telefonní recepce?.

Telefon vedle schématu, jak se zvukové vlny mění v text a zpět v řeč
Ilustrační obrázek

Základní smyčka hovoru s hlasovou AI

  1. PoslouchatZvuk od volajícího se zachytí a vyčistí.
  2. PřepsatPřevod řeči na text změní zvuk na slova.
  3. RozhodnoutJazykový model zvolí, co říct nebo udělat dál.
  4. MluvitPřevod textu na řeč změní odpověď na zvuk.
  5. OpakovatSmyčka běží pro každou repliku, dokud hovor neskončí nebo se nepředá.

První fáze: převod řeči na text

Rozpoznávání řeči převádí zvuk na slova. Na telefonní lince je zvuk úzkopásmový a komprimovaný, což je těžší než studiový záznam. Přízvuky, hluk v pozadí, mluvení přes sebe a neobvyklá jména ovlivňují přesnost. Moderní systémy si na běžné řeči vedou dobře, ale čísla, hláskování, jména a oborová slova, například léky nebo názvy ulic, jsou častými slabými místy.

Více podrobností najdete v článcích rozpoznávání řeči v telefonních hovorech, zpracování čísel a jmen a přízvuky a nářečí.

Druhá fáze: jazykový model

Velký jazykový model čte dosavadní přepis spolu s pokyny, které jste napsali, a informacemi, které jste dodali, a vytvoří další odpověď. Sám nic nevyhledává; spoléhá na to, co dostal. Proto tolik záleží na promptu a znalostní bázi. Model může znít plynule a přitom se mýlit, a proto jsou nezbytné ochranné zábrany a testování.

Co utváří odpověď modelu

  • PokynyRole, tón, pravidla a limity, které mu dáte.
  • ZnalostiDokumenty, otázky a odpovědi a fakta, z nichž smí čerpat.
  • Dosavadní konverzaceCo v tomto hovoru zaznělo.
  • NástrojeAkce, které smí provést, například vyhledat objednávku nebo poznamenat zprávu.

Hlouběji jdou články jako prompting telefonního agenta, RAG pro hlasové agenty, halucinace a ochranné zábrany. Prompt, který říká, co dělat, když si agent není jistý, například nabídnout člověka nebo přijmout zprávu, předchází mnoha problémům.

Třetí fáze: převod textu na řeč

Převod textu na řeč mění odpověď na zvuk. Hlasy se liší srozumitelností, vřelostí a tím, jak zvládají pauzy, čísla a jména ve vašem jazyce. Některé lze ladit nebo upravovat slovníkem výslovnosti. Vybírejte hlas podle srozumitelnosti na telefonní lince, ne podle novosti, a otestujte ho na skutečných větách, které bude říkat. Příklad jazykově specifických problémů viz převod textu na řeč v japonštině, o souhlasu a rizicích při vlastním hlasu pak klonování hlasu.

Proč o zážitku rozhoduje načasování

Lidský rozhovor má rychlé střídání. Mezera delší než zhruba vteřina působí zvláštně. V třífázovém řetězci každý krok přidává prodlevu a model může přemýšlet. Návrháři prodlevy zkracují streamováním: začínají mluvit dřív, než je celá odpověď hotová, a začínají přepisovat dřív, než volající skončí. Ladí také, kdy rozhodnout, že volající domluvil.

Řetězec versus speech-to-speech

Třífázový řetězecModel speech-to-speech
Jak fungujeSamostatné rozpoznávání, model a hlasJeden model zpracovává zvuk dovnitř i ven
KontrolaKaždou fázi lze ladit nebo vyměnitMéně viditelné, více integrované
ProdlevaSčítá se přes fázeMůže být nižší
PřepisText je k dispozici v každém krokuMůže vyžadovat další práci k vytvoření textu
ZralostŠiroce používanéNovější, rychle se mění

Modely speech-to-speech jsou novější přístup. V každém případě latence, přerušování a střídání mluvčích rozhodují o tom, zda agent působí přirozeně.

Přerušování

Lidé přerušují. Dobrý agent přestane mluvit, když volající začne, a nepovažuje zakašlání nebo hlas v pozadí za přerušení. To závisí na detekci řeči, kterou pokrývá článek detekce hlasové aktivity. Špatně naladěné systémy buď mluví přes volající, nebo čekají příliš dlouho.

Nástroje, znalosti a akce

Hlasový agent se stává užitečným, když umí víc než konverzovat. S připojenými nástroji může vyhledávat informace, zaznamenat zprávu, poznamenat žádost o zpětné volání nebo předat hovor člověku. Každý nástroj by měl mít úzký účel a jasná pravidla. Agent může přijmout žádost o termín; jeho potvrzení je něco jiného a mnoho firem dává přednost tomu, aby potvrzoval člověk. Volání funkcí vysvětluje, jak se nástroje popisují modelu.

Co se děje se zvukem a textem

Každá fáze zpracovává osobní údaje. Zvuk obsahuje hlas; přepis obsahuje, co bylo řečeno, často včetně jmen, adres a důvodů hovoru. Před nasazením zjistěte, kde každá fáze běží, co se ukládá, jak dlouho a kdo to smí číst. Rozhodněte, zda by citlivé údaje, například platební nebo zdravotní, měl agent vůbec sbírat, nebo je předat člověku. Návrh hlasové AI s ohledem na soukromí to pokrývá podrobněji.

Úkol agenta držte úzký. Agent, který odpovídá na běžné otázky, přijímá zprávu a předává hovor, se snáze testuje, snáze vysvětluje volajícím a snáze udrží v mezích vašich slibů o soukromí než ten, který se snaží dělat všechno.

Co čekat v praxi

Dobrý výsledek čekejte u jednoduchých, předvídatelných hovorů: otevírací doba, cesta, základní otázky, přijetí zprávy. Větší potíže čekejte u dlouhých, emotivních nebo nejednoznačných hovorů, silných přízvuků, špatných linek a požadavků, které vyžadují úsudek. Rozumné zavedení začíná malou sadou typů hovorů, zpočátku poslouchá každý hovor a rozšiřuje se s rostoucí jistotou. Je třeba si pamatovat, že agent je navržen pomáhat s vymezenými úkoly, ne nahrazovat úsudek.

Kde se věci pokazí

Navrhujte na to. Usnadněte cestu k člověku, držte odpovědi krátké, potvrzujte důležité údaje, například čísla a data, a pravidelně kontrolujte skutečné hovory. Testování hlasového agenta a metriky hodnocení vysvětlují jak.

Jak to udělat v Call

V Call se AI agent skládá z persony a promptu, hlasu, jazyka a zdrojů znalostí a je otestován na obrazovce i telefonem, než se zapne pro linku. Call umožňuje vybrat si z hlasů, ladit výslovnost slovníkem, upravit způsob rozpoznávání řeči a udržovat zdroje aktuální. Agent je navržen tak, aby na požádání přepojil volající k člověku, a může přijmout zprávu. Dokud agenta pro linku nezapnete, hovory zvoní vašemu týmu. Vždy nejdřív testujte vlastními hovory. Nastavení AI agenta v Call vás provede kroky.

Často kladené otázky

Jaké jsou tři části hlasového AI agenta?

Převod řeči na text, který slyší volajícího, jazykový model, který rozhoduje, co říct, a převod textu na řeč, který odpověď vysloví. Některé novější systémy je spojují.

Proč AI někdy před odpovědí chvíli mlčí?

Každá fáze zabere čas a systém musí rozhodnout, že volající domluvil. Streamování a ladění mohou mezeru zkrátit, ale neodstraní ji.

Může si AI věci vymýšlet?

Ano. Jazykový model může vytvářet věrohodné, ale chybné odpovědi. Dejte mu dobré znalosti, jasné limity a pokyn nabídnout člověka, když si není jistý.

Může hlasový agent rezervovat termíny?

Může přijmout žádost a předat ji. Mnoho firem dává přednost potvrzení člověkem, proto rozhodněte, co smí agent slibovat.

Musí se volajícím říct, že jde o AI?

Na mnoha místech to lidé očekávají nebo na to mají nárok. Řekněte to jasně na začátku hovoru a ověřte si pravidla, která se na vás vztahují.

Jak ověřím, že to funguje?

Testujte skutečnými hovory s různými přízvuky a úrovněmi hluku, poslouchejte výsledky a veďte seznam otázek, které po každé změně znovu spustíte.

Vyzkoušejte hlasového AI agenta na vlastní lince v Call

V demo konzoli si můžete příchozí hovory vyzkoušet v simulaci.

Související průvodci