«Me marca 8 tokens por segundo»: el límite no era el modelo, era cómo reservaba memoria
Nuestro banco decía 20 tok/s y en uso real salían 8. Con conversaciones largas, el motor desalojaba memoria sin parar. Una actualización lo dobló.
Qué pasaba
Trabajando con conversaciones largas (unos 105.000 tokens) la velocidad caía a unos 8 tok/s, cuando el banco decía 20. Las dos cifras eran ciertas: medían cosas distintas.
Por qué
El motor calculaba de forma muy pesimista la memoria que necesitaba cada petición (unas 6,5 veces más de la real). Con contexto largo, rechazaba y desalojaba trabajo que la máquina podía asumir, y la decodificación especulativa se apagaba.
Resultado tras actualizar el motor
| versión anterior | versión nueva | |
|---|---|---|
| una petición, prompt corto | 20,3 | 21,9 |
| una petición, 105.000 tokens | ~8 | 17,45 |
Qué significa para ti
Mide también con conversaciones largas, que es como se usa un agente de verdad. Un banco con prompts cortos no ve este tipo de problema.
Medido en nuestras máquinas. Dos ASUS Ascent GX10 (NVIDIA GB10, 128 GB de memoria unificada). En tu equipo las cifras serán otras: lo que se traslada es el método y la lección.