La primera petición después de arrancar siempre sale peor
Qué pasó
Tras cambiar la configuración de un modelo, la primera medida dio un tiempo hasta el primer token de 1.240 ms, frente a los 136 ms de antes. Parecía una regresión enorme. Repetida un minuto después: 137 ms. Idéntico.
Semanas más tarde nos volvió a pasar: 15,3 tok/s recién arrancado, 20,3 tok/s en caliente. Un 25 % de diferencia sin ningún error.
Por qué
La primera petición carga piezas que el servidor inicializa «cuando hacen falta» (analizadores, compilaciones, cachés). Las siguientes ya no pagan ese coste.
Cómo evitarlo
- Haz siempre una o dos peticiones de calentamiento que no cuenten.
- Compara estados equivalentes: servidor caliente contra servidor caliente.
- Si una cifra sale rarísima y no tienes otra con la que compararla, mídela dos veces antes de creértela.