La automatización con IA que se siente lenta casi nunca es culpa del modelo

01Lo esencial

• La latencia se reparte entre el modelo, las herramientas que consulta y la orquestación del flujo.
• Cada capa tiene un arreglo distinto y, en una empresa grande, un dueño distinto.
• Paralelismo, tiempos límite, caché y respuesta parcial resuelven la mayoría de los casos.

Si tu equipo dice que la automatización con IA es lenta y la propuesta es cambiar de modelo, detén la junta. Una sola llamada a un modelo puede ser rápida. Lo que se vuelve insoportable es apilar llamadas en un flujo de producción, y eso no se arregla solo con código.

Antes de gastar, hay que ubicar dónde se pierde el tiempo. Se pierde en tres capas distintas, y cada una vive en un área distinta de la empresa.

• Modelo: lo gobierna quien elige y configura la solución de IA.
• Herramientas: lo gobiernan los dueños de cada sistema y de las integraciones.
• Orquestación: lo gobiernan tecnología y operaciones.

Cuando nadie mide por capa, cada área apunta a otra. La discusión se vuelve política en vez de técnica, y el presupuesto se va en el arreglo equivocado.

02Las tres capas de la espera

• Inferencia del modelo: el tiempo que el modelo pasa leyendo la instrucción y generando palabras.
• Herramientas y llamadas a APIs: todo lo que el agente consulta, desde un índice de búsqueda hasta el sistema de otro proveedor.
• Orquestación: el tiempo, el cómputo, el ancho de banda y la memoria que cuesta ejecutar el flujo completo.

Cada capa pide una intervención diferente. Cambiar de modelo no ayuda a un flujo que gasta varios segundos en tres llamadas seguidas a servicios externos. Y paralelizar esas llamadas no resuelve un cuello de botella causado por servidores en zonas distantes.

03Capa uno: lo que hace el modelo

Una solicitud a un modelo de lenguaje tiene dos fases. El prellenado procesa toda la entrada de una vez y produce la primera palabra. Suele ser rápido, porque se paraleliza.

La decodificación genera el resto una palabra a la vez. Es la parte lenta, porque es secuencial. Por eso importa más cuánto tarda en aparecer el primer fragmento que cuánto tarda el total.

04Capa dos: lo que hacen las herramientas

Las llamadas a herramientas pueden tardar varios segundos. Cada búsqueda y cada consulta suma el viaje de red más el procesamiento del sistema de destino. En una empresa con varios sistemas heredados, esta es la capa donde más tiempo se esconde.

Si las consultas no dependen una de otra, pueden lanzarse a la vez. Si dependen, ordena cuál va primero y cuál puede esperar.

05Capa tres: la orquestación

Aquí se paga el costo de mover el flujo: cómputo, ancho de banda, memoria. Es el terreno de tecnología y operaciones, no de quien eligió el modelo. Un flujo que funcionaba con poco uso puede degradarse cuando crece el volumen.

06Cuatro palancas que casi siempre sirven

• Paralelismo: ejecutar a la vez lo que no depende entre sí.
• Tiempos límite: cortar lo que tarda demasiado y usar una respuesta de respaldo.
• Caché: guardar resultados que se repiten para no pedirlos otra vez.
• Respuesta parcial: mostrar algo pronto mientras el resto termina.

07Errores que conviene evitar

• Cambiar de modelo sin medir dónde se pierde el tiempo.
• Paralelizar llamadas cuando el cuello de botella es otro.
• Optimizar a ciegas con cifras de referencia de otros.
• Dejar llamadas sin límite de tiempo, que se quedan esperando.
• Medir solo el total y no cada paso.

08Y en México

En muchas operaciones del país la lentitud también viene de cosas básicas: una conexión modesta en una sede, un sistema viejo que responde despacio o una hoja de cálculo enorme que alguien consulta en cada paso. Mide cada paso antes de culpar a la IA. Con frecuencia el retraso está en la consulta a un sistema, no en el modelo.

09Checklist para aplicarlo

• Mide cuánto tarda cada paso de tu flujo más lento.
• Anótalo en una tabla con el responsable de cada capa.
• Arregla primero la capa con el número más grande.
• Vuelve a medir después de cada cambio.

10Cómo diagnosticar tu flujo

• Mide el tiempo de cada paso, no solo el total.
• Identifica el paso más lento y pregúntate a qué capa pertenece.
• Ataca primero lo que se puede paralelizar.
• Define un tiempo máximo y qué hacer cuando se acaba.
• Revisa cada mes: lo que era rápido deja de serlo cuando crece el uso.

Una automatización lenta casi nunca se arregla con un modelo más listo. Se arregla mirando dónde espera, y poniendo a alguien a cargo de cada capa.

11Para aplicar hoy

Mide cuánto tarda cada paso de tu flujo más lento y anótalo en una tabla. Arregla primero la capa con el número más grande.