Tres parámetros de vLLM que nos dieron un 57 % más de trabajo y cuatro veces más contexto

Qué queríamos saber

Si podíamos sacar más de un modelo que ya funcionaba bien, sin cambiar hardware ni cuantización.

Lo que encontramos al mirar la configuración

parámetro	tenía	el modelo admite
--max-model-len	65.536	262.144
--max-num-seqs	4	había memoria para muchas más

Es decir: usábamos un cuarto del contexto y, con más de cuatro peticiones a la vez, las demás esperaban en cola.

Qué cambiamos

- --max-model-len=65536         + --max-model-len=262144
- --max-num-seqs=4              + --max-num-seqs=16
- --max-num-batched-tokens=8192 + --max-num-batched-tokens=16384

Resultado

peticiones a la vez	antes	después	espera hasta el primer token (antes → después)
1	106,9 tok/s	100,2 tok/s	136 ms → 137 ms
2	133,2	158,4	816 ms → 202 ms
8	221,4	346,9 (+57 %)	3,2 s → 0,45 s
16	—	218,4	2,0 s

• Con una petición, igual que antes: la mejora no cuesta nada al uso normal.
• El punto óptimo está en 8 peticiones a la vez; con 16 empeora.
• El contexto nuevo se probó de verdad: un prompt de 98.685 tokens respondió correctamente.

Qué significa para ti

Antes de cambiar de modelo o de máquina, lee los límites de tu configuración. Los valores por defecto de muchas recetas están pensados para ir sobre seguro, no para aprovechar tu hardware.