La latencia de los agentes de IA de voz sigue siendo una de las principales razones por las que las llamadas automatizadas parecen fallar, pero la velocidad por sí sola no hace fiable a un agente. En 2026, los retrasos pueden deberse a la telefonía, la detección de turnos, el razonamiento, la recuperación de información, las llamadas a herramientas y la generación de voz. Incluso una voz rápida y natural puede interpretar mal una palabra clave, ejecutar una acción incorrecta o afirmar que ha tenido éxito sin cambiar la cuenta del cliente.
¿Qué causa la latencia de los agentes de IA de voz?
La latencia de un agente de IA de voz es el retraso total entre el habla de quien llama y la respuesta útil del agente. El recorrido completo en 2026 incluye el teléfono funcionamiento de la red, el reconocimiento de voz, la detección de turnos, el razonamiento del modelo, la recuperación de información, las herramientas externas y la síntesis de voz. La inferencia del modelo puede representar solo una parte del retraso.
Los equipos suelen optimizar el componente más visible: el modelo de lenguaje. Eso puede dar lugar a una demostración de laboratorio impresionante y, al mismo tiempo, hacer que la persona que llama espere a una base de datos de clientes, un sistema de pagos o una API de reservas. PolyAI informó en agosto de 2026 de que la detección de turnos y las integraciones externas pueden añadir más retraso que la inferencia del modelo.
El tiempo de red también debe incluirse en el presupuesto. La Recomendación G.114 de la UIT-T, publicada en 2003 y que sigue figurando como vigente en 2026, recomienda no superar los 400 milisegundos de retraso de red unidireccional para la planificación general. También advierte de que las tareas de voz altamente interactivas pueden verse afectadas con retrasos considerablemente menores.
Consideremos un cálculo ilustrativo sencillo. Si la telefonía tarda 200 milisegundos, la detección de turnos 300 milisegundos, el reconocimiento y el razonamiento 350 milisegundos, una llamada a una herramienta 600 milisegundos y el inicio de la voz 250 milisegundos, la persona que llama espera 1,7 segundos. Reducir el procesamiento del modelo en 100 milisegundos reduce el total a 1,6 segundos, una mejora de solo 5.9%.
Las directrices para proveedores de PolyAI de septiembre de 2026 recomiendan medir desde el terminal de la persona que llama y fijar como objetivo menos de 500 milisegundos en la mediana y menos de un segundo en P95. Esas cifras no constituyen una norma independiente, pero el método de medición es sólido: la medición en el servidor excluye los retrasos de red y telefonía que realmente experimenta la persona que llama. Procesamiento de IA en el dispositivo y en el extremo puede reducir algunos viajes de ida y vuelta, aunque las transacciones del backend siguen requiriendo su propia medición.
¿Por qué el habla natural sigue produciendo conversaciones fallidas?
El habla con sonido natural no demuestra la fiabilidad de la IA conversacional, porque las medidas de calidad de voz evalúan la forma de transmitir, no la comprensión ni la ejecución. TechCrunch documentó palabras clave no detectadas, transcripciones inexactas y acciones de seguimiento erróneas en octubre de 2026. Por tanto, una voz agradable puede confirmar una reserva, un reembolso o una actualización de cuenta que nunca se produjo.
El reconocimiento de voz se sitúa cerca del principio de la cadena. Una transcripción incorrecta cambia el contexto que se transmite al modelo de lenguaje, que puede seleccionar la herramienta equivocada o rellenar un argumento con el nombre, la cantidad o la fecha incorrectos. El Chief Marketing Officer de Otter, Alex Gay, declaró a TechCrunch en octubre de 2026 que una acción de seguimiento incorrecta puede hacer que los usuarios pierdan la confianza en la plataforma.
La relación no es nueva. Las investigaciones de NIST sobre los sistemas de diálogo hablado DARPA Communicator, publicadas en 2002, encontraron una relación lineal entre la tasa de error de palabras y las medidas de finalización de tareas. Un modelo de lenguaje que formule mejor las respuestas no puede reparar de forma fiable un número de cuenta omitido o una negación mal reconocida.
PolyAI afirmó en 2025 que aproximadamente el 70% de los errores cometidos por sus agentes de voz procedían de modelos de reconocimiento automático del habla. Considérese una experiencia de empresa, no una media del sector. Aun así, apunta a un modo de fallo que a menudo se pasa por alto: optimizar la latencia del agente de IA de voz sin comprobar si el sistema ha oído la palabra decisiva.
Los nombres, los códigos de producto, las direcciones, las fechas y la diferencia entre «sí» y «no» merecen pruebas específicas de recuperación. La separación de hablantes también es importante en las llamadas con varios participantes; la diarización de hablantes en directo para hasta ocho hablantes demuestra que la atribución de identidad se está convirtiendo en un problema de ingeniería independiente, en lugar de ser un ajuste menor de transcripción.
¿Hasta qué punto son fiables los agentes de IA de voz en las evaluaciones comparativas de 2026?
Los agentes de IA de voz siguen siendo mucho menos fiables de lo que sugieren las demostraciones pulidas. La evaluación τ-Voice de marzo de 2026 midió entre el 31% y el 51% de pass@1 en 278 tareas en condiciones limpias, y cayó hasta entre el 26% y el 38% con ruido y acentos variados. El modelo de razonamiento textual del benchmark alcanzó el 85% en el mismo conjunto de tareas.
| Evaluación | Alcance | Resultado comunicado | Qué evalúa |
|---|---|---|---|
| τ-Voice, marzo de 2026 | 278 tareas | 31%-51% de pass@1 en condiciones limpias; 26%-38% con ruido y acentos; 85% para el modelo de razonamiento textual | Ejecución de tareas de extremo a extremo con variaciones realistas del habla |
| EVA-Bench, mayo de 2026 | 12 sistemas, 213 escenarios | Ningún sistema superó 0,5 de pass@1 en ambas medidas compuestas | Precisión, finalización de tareas, fidelidad, fidelidad del habla, progresión, concisión y sincronización de turnos |
| VAmoS Bench, julio de 2026 | 100 escenarios de asistencia financiera, cinco herramientas de base de datos | Comprobaciones binarias de las afirmaciones habladas y de los cambios en el backend | Transcripciones, llamadas a herramientas, argumentos y estado real de la base de datos |
El resultado de τ-Voice en condiciones limpias frente a ruidosas ofrece una comparación útil basada en cifras. En los extremos superiores de los rangos comunicados, el rendimiento descendió del 51% al 38%: una caída de 13 puntos porcentuales y un descenso relativo de aproximadamente el 25.5%. Las personas que llaman utilizan el altavoz, se desplazan, interrumpen, cambian la formulación y hablan con distintos acentos. El audio limpio es el caso fácil.
EVA-Bench evaluó 12 sistemas en 213 escenarios en mayo de 2026. Ningún sistema superó 0,5 de pass@1 tanto en la medida compuesta de precisión como en la de experiencia conversacional del benchmark. Estas medidas incluyen la finalización de tareas, la fidelidad, la fidelidad del habla, la progresión, la concisión y la sincronización de turnos, lo que demuestra por qué una única puntuación de «suena humano» dice muy poco.
VAmoS Bench, presentado en julio de 2026, pone de manifiesto un problema más sutil. El benchmark comprueba las transcripciones, las llamadas a herramientas, los argumentos y el estado de la base de datos, incluidos los casos en los que un agente afirma que una acción se ha realizado correctamente sin haberla ejecutado. Sinceramente, un asistente de voz que habla a la perfección pero no puede demostrar el resultado en el backend es una carga, no una automatización victoria.
¿La IA de voz full-duplex resuelve la gestión de turnos?
La IA de voz full-duplex es una arquitectura conversacional que puede escuchar y hablar al mismo tiempo. El procesamiento full-duplex mejora la gestión de las interrupciones, pero no elimina el razonamiento lento, la recuperación de información, el retraso de la telefonía, las transcripciones incorrectas ni los fallos de las herramientas. Shawn Wen, director de tecnología de PolyAI, identificó estos cuellos de botella restantes en octubre de 2026.
La conversación humana se solapa. Una persona que llama puede decir «en realidad, el martes» mientras el agente aún está confirmando el lunes, o utilizar «vale» como confirmación en lugar de como una petición para detenerse. La detección de turnos debe distinguir una interrupción del ruido de fondo, una tos o una breve muestra de acuerdo.
PolyAI informó en abril de 2026 de que las interrupciones se producen aproximadamente en una de cada cinco llamadas y afirmó que las nuevas implementaciones de la empresa se distribuyen con la función de barge-in activada. No se identificó ninguna corroboración independiente de esa tasa, por lo que no debe generalizarse a todos los centros de llamadas. La lección operativa es más concreta: la recuperación tras una interrupción necesita su propia prueba.
Una gestión rápida de las interrupciones puede incluso crear un problema nuevo. Un sistema demasiado sensible se detiene cada vez que oye ruido; uno poco sensible habla por encima del cliente. Tras detenerse, el agente debe conservar el contexto pertinente, descartar la instrucción sustituida y evitar ejecutar una llamada a una herramienta que se haya abandonado.
Los modelos más pequeños pueden acortar algunas fases de inferencia, especialmente cuando se implementan cerca del usuario. El argumento a favor de utilizar modelos de lenguaje más pequeños en 2026 es más sólido cuando la tarea tiene un vocabulario limitado y acciones acotadas. Sin embargo, un modelo más rápido no solucionará una consulta de dos segundos al registro del cliente.
¿Cómo deben probar los desarrolladores la latencia y la fiabilidad de los agentes de IA de voz?
Los desarrolladores deben probar la latencia de los agentes de IA de voz desde el terminal de la persona que llama y combinar los tiempos de la mediana y P95 con comprobaciones de resultados. Un plan defendible para 2026 también mide la recuperación tras interrupciones, la recuperación de palabras clave, la precisión de las transcripciones, los argumentos de las herramientas, el estado del backend, la finalización de tareas, la derivación a una persona y las declaraciones obligatorias sobre IA o grabación.
La siguiente secuencia de pruebas cubre la llamada completa, en lugar de componentes aislados del modelo:
- Mida el tiempo de respuesta de extremo a extremo desde el terminal, comunicando tanto los resultados de la mediana como los de P95 en condiciones normales y de congestión.
- Prueba nombres, números, fechas, negaciones y entidades específicas del sector en entornos con ruido de fondo, acentos variados, conexiones deficientes e interrupciones.
- Compara el audio de origen con la transcripción y, a continuación, revisa cada selección de herramienta y cada argumento enviado a sistemas externos.
- Verifica de forma independiente el estado final del backend, por ejemplo, si la cita, el reembolso, el cambio de dirección o la derivación existen realmente.
- Repite los escenarios e informa de pass@1 y de la fiabilidad en ejecuciones repetidas, en lugar de publicar el mejor intento satisfactorio.
- Verifica que la transferencia a una persona conserve el contexto y que la comunicación sobre la IA o la grabación se realice en el momento requerido.
La mediana del tiempo describe una llamada típica; el P95 revela lo que ocurre con el 5% más lento de las respuestas medidas. Si la latencia mediana de un agente de voz con IA es de 450 milisegundos, pero el P95 alcanza los 2,4 segundos, un gran volumen de producción seguirá generando muchas pausas llamativas. Las medias pueden ocultar esos retrasos extremos.
El trabajo lento del backend no siempre requiere silencio. Las directrices de septiembre de 2026 de PolyAI recomiendan confirmaciones habladas contextuales durante las consultas prolongadas. «Estoy comprobando el estado del pago» puede hacer comprensible una pausa necesaria, pero la frase no debe ocultar un retraso indefinido ni dar a entender que una herramienta ha terminado correctamente.
La verificación del resultado merece la misma importancia. Los marcos recientes de 2026 utilizan ruido realista, perturbaciones de acento, pass@1, ejecuciones repetidas y comprobaciones del backend. Este enfoque coincide con unos requisitos más amplios de confianza en la IA agéntica: los usuarios necesitan acciones precisas, información transparente y una vía viable para contactar con una persona cuando la automatización falla.
Preguntas frecuentes
¿Cuál es un buen tiempo de respuesta para un agente de IA de voz?
Las directrices para proveedores de septiembre de 2026 de PolyAI recomiendan una latencia de respuesta, medida desde el terminal, inferior a 500 milisegundos en la mediana e inferior a un segundo en el P95. La recomendación no constituye un estándar independiente, y el tiempo aceptable depende de la tarea y de la confirmación hablada utilizada.
¿Por qué los agentes de voz con IA interrumpen a las personas que llaman?
Los agentes de voz con IA interrumpen a los interlocutores cuando la detección de turnos confunde una pausa, un sonido de fondo o una confirmación con el final del turno del usuario. Un ajuste deficiente de la función de interrupción también puede hacer que el agente deje de hablar con demasiada facilidad o que siga hablando después de que el interlocutor vuelva a intervenir.
¿Puede un agente de voz sonar como una persona y aun así cometer errores?
Un agente de voz puede producir un discurso fluido mientras interpreta mal una palabra clave, elige la herramienta equivocada, proporciona argumentos incorrectos o no actualiza el backend. La fidelidad de la voz y la finalización operativa de tareas son medidas independientes en las evaluaciones comparativas de 2026.
¿Se debe informar a quienes llaman de que están hablando con una IA?
Los directivos de Otter y PolyAI declararon a TechCrunch en octubre de 2026 que los sistemas deben informar de cuándo se está grabando a los participantes o de cuándo están hablando con una IA. Las organizaciones también deben revisar las leyes y los requisitos de consentimiento aplicables en cada jurisdicción en la que se realicen las llamadas.