Cómo funciona la IA de voz: reconocimiento de voz, LLM y síntesis
Un recorrido sencillo por el flujo de los agentes de voz con IA: voz a texto, modelo de lenguaje, texto a voz, turnos de palabra, retardo y traspasos seguros.
Una llamada telefónica con un agente de IA puede parecer magia o un rompecabezas, según funcione o no. Detrás hay una idea bastante sencilla: convertir la voz de quien llama en texto, dejar que un modelo de lenguaje decida qué decir y convertir la respuesta de nuevo en voz, todo lo bastante rápido para que parezca una conversación. Esta guía explica cada etapa, dónde fallan las cosas y qué significa eso para cómo configuras un agente. Para el panorama general, empieza por ¿Qué es la recepción telefónica con IA?.

El bucle básico de una llamada de IA de voz
- EscucharSe capta y se limpia el audio de quien llama.
- TranscribirLa conversión de voz a texto convierte el audio en palabras.
- DecidirUn modelo de lenguaje elige qué decir o hacer a continuación.
- HablarLa síntesis de voz convierte la respuesta en audio.
- RepetirEl bucle se ejecuta en cada turno hasta que termina la llamada o se pasa a una persona.
Etapa uno: voz a texto
El reconocimiento de voz convierte el sonido en palabras. En una línea telefónica el audio es de banda estrecha y comprimido, lo que lo hace más difícil que una grabación de estudio. Los acentos, el ruido de fondo, hablar a la vez y los nombres poco comunes afectan a la precisión. Los sistemas modernos pueden funcionar bien con el habla cotidiana, pero los números, los deletreos, los nombres y las palabras de un ámbito, como medicamentos o nombres de calles, son puntos débiles habituales.
- El reconocimiento en flujo produce palabras mientras quien llama sigue hablando, lo que ahorra tiempo.
- Los reconocedores suelen necesitar pistas, como una lista de nombres de productos o de lugares, para funcionar mejor.
- La confianza no es certeza; un sistema puede equivocarse con total confianza.
- Detectar el final de un turno es una tarea distinta de reconocer palabras.
Hay más detalle en reconocimiento de voz en llamadas telefónicas, gestión de números y nombres y acentos y dialectos.
Etapa dos: el modelo de lenguaje
Un modelo de lenguaje grande lee la transcripción hasta ese momento, junto con las instrucciones que escribiste y cualquier información que le diste, y produce la siguiente respuesta. No busca cosas por sí solo; se apoya en lo que se le dio. Por eso importan tanto las instrucciones y la base de conocimiento. El modelo puede sonar fluido y estar equivocado, razón por la cual son esenciales las salvaguardas y las pruebas.
Lo que da forma a la respuesta del modelo
- InstruccionesEl rol, el tono, las reglas y los límites que le das.
- ConocimientoDocumentos, preguntas y respuestas y datos en los que puede apoyarse.
- Conversación hasta ahoraLo que se ha dicho en esta llamada.
- HerramientasAcciones que puede realizar, como consultar un pedido o anotar un mensaje.
Guías como instrucciones para un agente telefónico, RAG para agentes de voz, alucinaciones y salvaguardas profundizan más. Unas instrucciones que digan qué hacer cuando hay dudas, por ejemplo ofrecer una persona o tomar un mensaje, evitan muchos problemas.
Etapa tres: texto a voz
La síntesis de voz convierte la respuesta en audio. Las voces varían en claridad, calidez y en cómo manejan las pausas, los números y los nombres en tu idioma. Algunas pueden ajustarse o afinarse con un diccionario de pronunciación. Elige una voz por su claridad en una línea telefónica y no por su novedad, y pruébala con las frases reales que dirá. Consulta la síntesis de voz en japonés como ejemplo de problemas específicos de un idioma, y la clonación de voz para el consentimiento y el riesgo al usar una voz personalizada.
Por qué el tiempo decide la experiencia
La conversación humana tiene turnos rápidos. Una pausa de más de un segundo más o menos resulta rara. En un flujo de tres etapas cada paso añade retardo y el modelo puede tardar en pensar. Los diseñadores reducen el retardo mediante el flujo continuo: empezar a hablar antes de que toda la respuesta esté lista y empezar a transcribir antes de que quien llama termine. También ajustan cuándo decidir que quien llama ha terminado.
Flujo frente a voz a voz
| Flujo de tres etapas | Modelo de voz a voz | |
|---|---|---|
| Cómo funciona | Reconocimiento, modelo y voz por separado | Un único modelo gestiona el audio de entrada y de salida |
| Control | Cada etapa se puede ajustar o sustituir | Menos visible, más integrado |
| Retardo | Se suma a lo largo de las etapas | Puede ser menor |
| Transcripción | Texto disponible en cada paso | Puede requerir trabajo extra para producir texto |
| Madurez | Muy utilizado | Más nuevo, cambia rápido |
Modelos de voz a voz son un enfoque más nuevo. Sea cual sea, la latencia, las interrupciones y los turnos de palabra determinan si el agente resulta natural.
Interrupciones
La gente interrumpe. Un buen agente deja de hablar cuando quien llama empieza y no confunde una tos o una voz de fondo con una interrupción. Esto depende de detectar el habla, tema que se trata en detección de actividad de voz. Los sistemas mal ajustados o hablan por encima de quien llama o esperan demasiado.
Herramientas, conocimiento y acciones
Un agente de voz resulta útil cuando puede hacer más que charlar. Con herramientas conectadas puede consultar información, registrar un mensaje, anotar una solicitud de devolución de llamada o pasar la llamada a una persona. Cada herramienta debe tener un propósito acotado y reglas claras. Un agente puede tomar una solicitud de cita; confirmarla es otra cuestión, y muchas empresas prefieren que lo haga una persona. La llamada a funciones explica cómo se describen las herramientas al modelo.
Qué ocurre con el audio y el texto
Cada etapa maneja datos personales. El audio contiene una voz; la transcripción contiene lo que se dijo, a menudo con nombres, direcciones y motivos de la llamada. Antes de desplegarlo, averigua dónde se ejecuta cada etapa, qué se almacena, durante cuánto tiempo y quién puede leerlo. Decide si el agente debe recoger o no los datos sensibles, como información de pago o de salud, o si deben pasarse a una persona. Diseñar la IA de voz pensando en la privacidad lo trata con más profundidad.
Mantén acotada la función del agente. Un agente que responde preguntas comunes, toma un mensaje y pasa la llamada es más fácil de probar, más fácil de explicar a quienes llaman y más fácil de mantener dentro de tus promesas de privacidad que uno que intenta hacerlo todo.
Qué esperar en la práctica
Espera buen resultado en llamadas sencillas y previsibles: horario, indicaciones, preguntas básicas, tomar un mensaje. Espera más dificultad con llamadas largas, emotivas o ambiguas, acentos muy marcados, líneas malas y solicitudes que requieren criterio. Una implantación sensata empieza con un conjunto pequeño de tipos de llamada, escucha todas las llamadas al principio y se amplía a medida que crece la confianza. La frase que conviene recordar es que el agente está diseñado para ayudar con tareas definidas, no para sustituir el criterio.
Dónde falla
- Las palabras o los números mal oídos llevan a respuestas erróneas.
- El modelo se inventa una respuesta en lugar de admitir que no la sabe.
- Los retardos hacen que quienes llaman se repitan o cuelguen.
- El ruido de fondo o las voces cruzadas se toman por habla.
- Quien llama quiere algo fuera del alcance del agente y no puede salir.
Diseña pensando en esto. Facilita llegar a una persona, mantén las respuestas cortas, confirma los datos importantes, como números y fechas, y revisa llamadas reales con regularidad. Probar un agente de voz y las métricas de evaluación explican cómo.
Cómo hacerlo en Call
En Call, un agente de IA se construye a partir de un perfil y unas instrucciones, una voz, un idioma y fuentes de conocimiento, y luego se prueba en pantalla y por teléfono antes de activarlo para una línea. Call te permite elegir entre voces, ajustar la pronunciación con un diccionario, modificar cómo se reconoce el habla y mantener las fuentes al día. El agente está diseñado para pasar la llamada a una persona cuando se le pide y puede tomar un mensaje. Hasta que activas un agente para una línea, las llamadas suenan a tu equipo. Prueba siempre primero con tus propias llamadas. Configurar un agente de IA en Call recorre los pasos.
Preguntas frecuentes
¿Cuáles son las tres partes de un agente de IA de voz?
La conversión de voz a texto para oír a quien llama, un modelo de lenguaje para decidir qué decir y la síntesis de voz para pronunciar la respuesta. Algunos sistemas más nuevos las combinan.
¿Por qué la IA a veces hace una pausa antes de responder?
Cada etapa lleva tiempo, y el sistema debe decidir que quien llama ha terminado de hablar. El flujo continuo y el ajuste pueden acortar el intervalo, pero no eliminarlo.
¿Puede la IA inventarse cosas?
Sí. Un modelo de lenguaje puede producir respuestas plausibles pero erróneas. Dale un buen conocimiento, límites claros y la instrucción de ofrecer una persona cuando dude.
¿Puede un agente de voz reservar citas?
Puede tomar una solicitud y transmitirla. Muchas empresas prefieren que confirme una persona, así que decide qué puede prometer el agente.
¿Hay que decir a quienes llaman que es una IA?
En muchos lugares la gente lo espera o tiene derecho a saberlo. Dilo con claridad al comienzo de la llamada y consulta las normas que te apliquen.
¿Cómo compruebo que funciona?
Prueba con llamadas reales con distintos acentos y niveles de ruido, escucha los resultados y mantén una lista de preguntas que repites tras cada cambio.