Como funciona a IA de voz: reconhecimento de fala, LLM e síntese
Um passeio simples pelo pipeline dos agentes de voz com IA: fala para texto, modelo de linguagem, texto para fala, troca de turnos, atraso e repasses seguros.
Uma ligação com um agente de IA pode parecer mágica ou um enigma, dependendo de se funciona. Por trás há uma ideia bastante simples: transformar a voz de quem liga em texto, deixar um modelo de linguagem decidir o que dizer e transformar a resposta de volta em fala, tudo rápido o bastante para parecer uma conversa. Este guia explica cada etapa, onde as coisas dão errado e o que isso significa para a configuração de um agente. Para ver o quadro mais amplo, comece por O que é atendimento telefônico com IA?.

O ciclo básico de uma ligação com IA de voz
- OuvirO áudio de quem liga é capturado e limpo.
- TranscreverA conversão de fala em texto transforma o áudio em palavras.
- DecidirUm modelo de linguagem escolhe o que dizer ou fazer em seguida.
- FalarA conversão de texto em fala transforma a resposta em áudio.
- RepetirO ciclo se repete a cada turno até a ligação terminar ou ser transferida.
Etapa um: fala para texto
O reconhecimento de fala converte som em palavras. Numa linha telefônica, o áudio é de banda estreita e comprimido, o que o torna mais difícil do que uma gravação de estúdio. Sotaques, ruído de fundo, vozes sobrepostas e nomes incomuns afetam a precisão. Os sistemas modernos podem se sair bem na fala cotidiana, mas números, grafias, nomes e palavras de domínios específicos, como medicamentos ou nomes de ruas, são pontos fracos comuns.
- O reconhecimento em fluxo produz palavras enquanto a pessoa ainda está falando, o que economiza tempo.
- Os reconhecedores muitas vezes precisam de dicas, como uma lista de nomes de produtos ou lugares, para ter melhor desempenho.
- Confiança não é certeza; um sistema pode estar confiante e errado.
- Perceber o fim de um turno é uma tarefa separada de reconhecer palavras.
Há mais detalhes em reconhecimento de fala em ligações telefônicas, como lidar com números e nomes e sotaques e dialetos.
Etapa dois: o modelo de linguagem
Um grande modelo de linguagem lê a transcrição até o momento, junto com as instruções que você escreveu e qualquer informação que forneceu, e então produz a próxima resposta. Ele não consulta nada por conta própria; baseia-se no que recebeu. Por isso o prompt e a base de conhecimento importam tanto. O modelo pode soar fluente e estar errado, e é por isso que salvaguardas e testes são essenciais.
O que molda a resposta do modelo
- InstruçõesO papel, o tom, as regras e os limites que você lhe dá.
- ConhecimentoDocumentos, perguntas e respostas e fatos de que ele pode se valer.
- Conversa até agoraO que foi dito nesta ligação.
- FerramentasAções que ele pode realizar, como consultar um pedido ou anotar um recado.
Guias como como escrever prompts para um agente telefônico, RAG para agentes de voz, alucinações e salvaguardas aprofundam o tema. Um prompt que diz o que fazer em caso de dúvida, por exemplo oferecer uma pessoa ou receber um recado, evita muitos problemas.
Etapa três: texto para fala
A conversão de texto em fala transforma a resposta em áudio. As vozes variam em clareza, calor e no modo como tratam pausas, números e nomes no seu idioma. Algumas podem ser ajustadas ou corrigidas com um dicionário de pronúncia. Escolha uma voz pela clareza numa linha telefônica, e não pela novidade, e teste-a com as frases reais que ela dirá. Veja síntese de voz em japonês como exemplo de questões específicas de um idioma e clonagem de voz para consentimento e risco ao usar uma voz personalizada.
Por que o tempo decide a experiência
A conversa humana tem turnos rápidos. Uma pausa de mais de um segundo ou algo assim parece estranha. Em um pipeline de três etapas, cada passo acrescenta atraso, e o modelo pode levar tempo para pensar. Os projetistas reduzem o atraso com fluxo contínuo: começar a falar antes de a resposta inteira estar pronta e começar a transcrever antes de a pessoa parar. Eles também ajustam quando decidir que a pessoa terminou.
Pipeline versus fala para fala
| Pipeline de três etapas | Modelo de fala para fala | |
|---|---|---|
| Como funciona | Reconhecimento, modelo e voz separados | Um só modelo trata o áudio de entrada e saída |
| Controle | Cada etapa pode ser ajustada ou trocada | Menos visível, mais integrado |
| Atraso | Soma-se ao longo das etapas | Pode ser menor |
| Transcrição | Texto disponível em cada passo | Pode exigir trabalho extra para produzir texto |
| Maturidade | Amplamente usado | Mais novo, muda rapidamente |
Modelos de fala para fala são uma abordagem mais recente. De qualquer modo, latência, interrupções e troca de turnos determinam se o agente parece natural.
Interrupções
As pessoas interrompem. Um bom agente para de falar quando quem liga começa e não confunde uma tosse ou uma voz ao fundo com uma interrupção. Isso depende de detectar fala, tema de detecção de atividade de voz. Sistemas mal ajustados falam por cima de quem liga ou esperam demais.
Ferramentas, conhecimento e ações
Um agente de voz se torna útil quando consegue fazer mais do que conversar. Com ferramentas conectadas, ele pode consultar informações, registrar um recado, anotar um pedido de retorno ou passar a ligação a uma pessoa. Cada ferramenta deve ter uma finalidade restrita e regras claras. Um agente pode receber um pedido de consulta; confirmá-la é outra questão, e muitas empresas preferem que uma pessoa confirme. Chamada de funções explica como as ferramentas são descritas ao modelo.
O que acontece com o áudio e o texto
Cada etapa lida com dados pessoais. O áudio guarda uma voz; a transcrição guarda o que foi dito, muitas vezes incluindo nomes, endereços e motivos da ligação. Antes de implantar, descubra onde cada etapa roda, o que é armazenado, por quanto tempo e quem pode ler. Decida se detalhes sensíveis, como pagamento ou informações de saúde, devem ser coletados pelo agente ou passados a uma pessoa. Como projetar IA de voz com privacidade em mente trata disso com mais profundidade.
Mantenha o trabalho do agente restrito. Um agente que responde a perguntas comuns, recebe um recado e transfere é mais fácil de testar, mais fácil de explicar a quem liga e mais fácil de manter dentro das suas promessas de privacidade do que um que tenta fazer tudo.
O que esperar na prática
Espere um bom resultado em ligações simples e previsíveis: horário de funcionamento, orientações de como chegar, perguntas básicas, receber um recado. Espere mais dificuldade em ligações longas, emotivas ou ambíguas, sotaques fortes, linhas ruins e pedidos que exigem julgamento. Uma implantação sensata começa com um pequeno conjunto de tipos de ligação, ouve todas as ligações no início e depois amplia conforme a confiança cresce. A frase a lembrar é que o agente foi concebido para ajudar em tarefas definidas, não para substituir o julgamento.
Onde dá errado
- Palavras ou números ouvidos errado levam a respostas erradas.
- O modelo inventa uma resposta em vez de admitir que não sabe.
- Atrasos fazem as pessoas se repetirem ou desligarem.
- Ruído de fundo ou vozes cruzadas são tomados por fala.
- A pessoa quer algo fora do escopo do agente e não consegue sair.
Planeje-se para isso. Facilite chegar a uma pessoa, mantenha as respostas curtas, confirme detalhes importantes, como números e datas, e revise ligações reais regularmente. Como testar um agente de voz e métricas de avaliação explicam como.
Como fazer no Call
No Call, um agente de IA é construído a partir de uma persona e um prompt, uma voz, um idioma e fontes de conhecimento, e depois testado na tela e por telefone antes de ser ativado em uma linha. O Call permite escolher entre vozes, ajustar a pronúncia com um dicionário, regular como a fala é reconhecida e manter as fontes atualizadas. O agente foi concebido para transferir a uma pessoa quando solicitado e pode receber um recado. Enquanto você não ativar um agente em uma linha, as ligações tocam para a sua equipe. Teste sempre primeiro com as suas próprias ligações. Como configurar um agente de IA no Call mostra os passos.
Perguntas frequentes
Quais são as três partes de um agente de IA de voz?
Fala para texto, para ouvir quem liga, um modelo de linguagem, para decidir o que dizer, e texto para fala, para dizer a resposta. Alguns sistemas mais novos combinam as três.
Por que a IA às vezes faz uma pausa antes de responder?
Cada etapa leva tempo, e o sistema precisa decidir que a pessoa terminou de falar. O fluxo contínuo e os ajustes podem encurtar a pausa, mas não eliminá-la.
A IA pode inventar coisas?
Sim. Um modelo de linguagem pode produzir respostas plausíveis, mas erradas. Dê a ele bom conhecimento, limites claros e a instrução de oferecer uma pessoa quando estiver em dúvida.
Um agente de voz pode marcar consultas?
Ele pode receber um pedido e repassá-lo. Muitas empresas preferem que uma pessoa confirme, então decida o que o agente pode prometer.
É preciso avisar quem liga que é uma IA?
Em muitos lugares as pessoas esperam ou têm o direito de saber. Diga isso com clareza no início da ligação e confira as regras que se aplicam a você.
Como verifico se funciona?
Teste com ligações reais com diferentes sotaques e níveis de ruído, ouça os resultados e mantenha uma lista de perguntas que você repete após cada mudança.