Jak funguje hlasová AI: rozpoznávání řeči, LLM a převod textu na řeč
Srozumitelný přehled toho, co stojí za hlasovými AI agenty: převod řeči na text, jazykový model, převod textu na řeč, střídání mluvčích, prodlevy a bezpečná předání.
Telefonát s AI agentem může působit jako kouzlo nebo jako hádanka, podle toho, zda funguje. Za tím je poměrně jednoduchá myšlenka: převést hlas volajícího na text, nechat jazykový model rozhodnout, co říct, a odpověď převést zpět na řeč, a to všechno dost rychle, aby to působilo jako rozhovor. Tento průvodce vysvětluje každou fázi, kde se věci pokazí a co to znamená pro nastavení agenta. Širší souvislosti najdete v článku Co je AI telefonní recepce?.

Základní smyčka hovoru s hlasovou AI
- PoslouchatZvuk od volajícího se zachytí a vyčistí.
- PřepsatPřevod řeči na text změní zvuk na slova.
- RozhodnoutJazykový model zvolí, co říct nebo udělat dál.
- MluvitPřevod textu na řeč změní odpověď na zvuk.
- OpakovatSmyčka běží pro každou repliku, dokud hovor neskončí nebo se nepředá.
První fáze: převod řeči na text
Rozpoznávání řeči převádí zvuk na slova. Na telefonní lince je zvuk úzkopásmový a komprimovaný, což je těžší než studiový záznam. Přízvuky, hluk v pozadí, mluvení přes sebe a neobvyklá jména ovlivňují přesnost. Moderní systémy si na běžné řeči vedou dobře, ale čísla, hláskování, jména a oborová slova, například léky nebo názvy ulic, jsou častými slabými místy.
- Streamované rozpoznávání vytváří slova, zatímco volající ještě mluví, což šetří čas.
- Rozpoznávače často potřebují nápovědu, například seznam názvů produktů nebo míst, aby si vedly lépe.
- Jistota není totéž co správnost; systém se může jistě mýlit.
- Poslouchat konec repliky je jiný úkol než rozpoznávat slova.
Více podrobností najdete v článcích rozpoznávání řeči v telefonních hovorech, zpracování čísel a jmen a přízvuky a nářečí.
Druhá fáze: jazykový model
Velký jazykový model čte dosavadní přepis spolu s pokyny, které jste napsali, a informacemi, které jste dodali, a vytvoří další odpověď. Sám nic nevyhledává; spoléhá na to, co dostal. Proto tolik záleží na promptu a znalostní bázi. Model může znít plynule a přitom se mýlit, a proto jsou nezbytné ochranné zábrany a testování.
Co utváří odpověď modelu
- PokynyRole, tón, pravidla a limity, které mu dáte.
- ZnalostiDokumenty, otázky a odpovědi a fakta, z nichž smí čerpat.
- Dosavadní konverzaceCo v tomto hovoru zaznělo.
- NástrojeAkce, které smí provést, například vyhledat objednávku nebo poznamenat zprávu.
Hlouběji jdou články jako prompting telefonního agenta, RAG pro hlasové agenty, halucinace a ochranné zábrany. Prompt, který říká, co dělat, když si agent není jistý, například nabídnout člověka nebo přijmout zprávu, předchází mnoha problémům.
Třetí fáze: převod textu na řeč
Převod textu na řeč mění odpověď na zvuk. Hlasy se liší srozumitelností, vřelostí a tím, jak zvládají pauzy, čísla a jména ve vašem jazyce. Některé lze ladit nebo upravovat slovníkem výslovnosti. Vybírejte hlas podle srozumitelnosti na telefonní lince, ne podle novosti, a otestujte ho na skutečných větách, které bude říkat. Příklad jazykově specifických problémů viz převod textu na řeč v japonštině, o souhlasu a rizicích při vlastním hlasu pak klonování hlasu.
Proč o zážitku rozhoduje načasování
Lidský rozhovor má rychlé střídání. Mezera delší než zhruba vteřina působí zvláštně. V třífázovém řetězci každý krok přidává prodlevu a model může přemýšlet. Návrháři prodlevy zkracují streamováním: začínají mluvit dřív, než je celá odpověď hotová, a začínají přepisovat dřív, než volající skončí. Ladí také, kdy rozhodnout, že volající domluvil.
Řetězec versus speech-to-speech
| Třífázový řetězec | Model speech-to-speech | |
|---|---|---|
| Jak funguje | Samostatné rozpoznávání, model a hlas | Jeden model zpracovává zvuk dovnitř i ven |
| Kontrola | Každou fázi lze ladit nebo vyměnit | Méně viditelné, více integrované |
| Prodleva | Sčítá se přes fáze | Může být nižší |
| Přepis | Text je k dispozici v každém kroku | Může vyžadovat další práci k vytvoření textu |
| Zralost | Široce používané | Novější, rychle se mění |
Modely speech-to-speech jsou novější přístup. V každém případě latence, přerušování a střídání mluvčích rozhodují o tom, zda agent působí přirozeně.
Přerušování
Lidé přerušují. Dobrý agent přestane mluvit, když volající začne, a nepovažuje zakašlání nebo hlas v pozadí za přerušení. To závisí na detekci řeči, kterou pokrývá článek detekce hlasové aktivity. Špatně naladěné systémy buď mluví přes volající, nebo čekají příliš dlouho.
Nástroje, znalosti a akce
Hlasový agent se stává užitečným, když umí víc než konverzovat. S připojenými nástroji může vyhledávat informace, zaznamenat zprávu, poznamenat žádost o zpětné volání nebo předat hovor člověku. Každý nástroj by měl mít úzký účel a jasná pravidla. Agent může přijmout žádost o termín; jeho potvrzení je něco jiného a mnoho firem dává přednost tomu, aby potvrzoval člověk. Volání funkcí vysvětluje, jak se nástroje popisují modelu.
Co se děje se zvukem a textem
Každá fáze zpracovává osobní údaje. Zvuk obsahuje hlas; přepis obsahuje, co bylo řečeno, často včetně jmen, adres a důvodů hovoru. Před nasazením zjistěte, kde každá fáze běží, co se ukládá, jak dlouho a kdo to smí číst. Rozhodněte, zda by citlivé údaje, například platební nebo zdravotní, měl agent vůbec sbírat, nebo je předat člověku. Návrh hlasové AI s ohledem na soukromí to pokrývá podrobněji.
Úkol agenta držte úzký. Agent, který odpovídá na běžné otázky, přijímá zprávu a předává hovor, se snáze testuje, snáze vysvětluje volajícím a snáze udrží v mezích vašich slibů o soukromí než ten, který se snaží dělat všechno.
Co čekat v praxi
Dobrý výsledek čekejte u jednoduchých, předvídatelných hovorů: otevírací doba, cesta, základní otázky, přijetí zprávy. Větší potíže čekejte u dlouhých, emotivních nebo nejednoznačných hovorů, silných přízvuků, špatných linek a požadavků, které vyžadují úsudek. Rozumné zavedení začíná malou sadou typů hovorů, zpočátku poslouchá každý hovor a rozšiřuje se s rostoucí jistotou. Je třeba si pamatovat, že agent je navržen pomáhat s vymezenými úkoly, ne nahrazovat úsudek.
Kde se věci pokazí
- Špatně slyšená slova nebo čísla vedou ke špatným odpovědím.
- Model si vymyslí odpověď místo přiznání, že neví.
- Prodlevy způsobí, že se volající opakují nebo zavěsí.
- Hluk v pozadí nebo křížový hovor se bere za řeč.
- Volající chce něco mimo rozsah agenta a nemůže pryč.
Navrhujte na to. Usnadněte cestu k člověku, držte odpovědi krátké, potvrzujte důležité údaje, například čísla a data, a pravidelně kontrolujte skutečné hovory. Testování hlasového agenta a metriky hodnocení vysvětlují jak.
Jak to udělat v Call
V Call se AI agent skládá z persony a promptu, hlasu, jazyka a zdrojů znalostí a je otestován na obrazovce i telefonem, než se zapne pro linku. Call umožňuje vybrat si z hlasů, ladit výslovnost slovníkem, upravit způsob rozpoznávání řeči a udržovat zdroje aktuální. Agent je navržen tak, aby na požádání přepojil volající k člověku, a může přijmout zprávu. Dokud agenta pro linku nezapnete, hovory zvoní vašemu týmu. Vždy nejdřív testujte vlastními hovory. Nastavení AI agenta v Call vás provede kroky.
Často kladené otázky
Jaké jsou tři části hlasového AI agenta?
Převod řeči na text, který slyší volajícího, jazykový model, který rozhoduje, co říct, a převod textu na řeč, který odpověď vysloví. Některé novější systémy je spojují.
Proč AI někdy před odpovědí chvíli mlčí?
Každá fáze zabere čas a systém musí rozhodnout, že volající domluvil. Streamování a ladění mohou mezeru zkrátit, ale neodstraní ji.
Může si AI věci vymýšlet?
Ano. Jazykový model může vytvářet věrohodné, ale chybné odpovědi. Dejte mu dobré znalosti, jasné limity a pokyn nabídnout člověka, když si není jistý.
Může hlasový agent rezervovat termíny?
Může přijmout žádost a předat ji. Mnoho firem dává přednost potvrzení člověkem, proto rozhodněte, co smí agent slibovat.
Musí se volajícím říct, že jde o AI?
Na mnoha místech to lidé očekávají nebo na to mají nárok. Řekněte to jasně na začátku hovoru a ověřte si pravidla, která se na vás vztahují.
Jak ověřím, že to funguje?
Testujte skutečnými hovory s různými přízvuky a úrovněmi hluku, poslouchejte výsledky a veďte seznam otázek, které po každé změně znovu spustíte.