14 minutos sin un solo token: el servidor no estaba lento, estaba roto
Qué pasó
Un agente pidió una tarea con mucho contexto. Catorce minutos sin ningún token. Todos los indicadores parecían sanos: servicio activo, peticiones aceptadas, GPU al 96 % de uso.
La GPU consumía 18 W. Un 96 % de uso con 18 W no es calcular: es esperar. El servidor estaba compilando piezas internas en mitad de la inferencia.
Lo que lo empeoró
El agente se rendía a los 5 minutos sin respuesta y reintentaba. Cada reintento era otra petición enorme compitiendo por la misma GPU. Esperar no lo arreglaba: lo empeoraba.
Por qué se repetía
El servidor guardaba esas compilaciones en una caché que se perdía cada vez que se recreaba el contenedor.
Cómo evitarlo
- Monta la caché de compilación en un volumen persistente.
- Tras arrancar, calienta el servidor con un prompt largo (uno corto no toca ese camino).
- Y la lección general: un sistema no funciona porque sus piezas estén vivas; funciona cuando puedes hacer tu trabajo. La métrica era «¿ha salido un token?», y llevaba 14 minutos en cero.