La documentación decía que una función estaba apagada, y estaba encendida

Qué pasó

Nuestras notas decían que la decodificación especulativa (un truco que acelera la generación usando un modelo pequeño como «borrador») estaba desactivada. Con esa creencia, atribuimos una mejora de velocidad de 14,9 a 27,3 tokens por segundo a otro cambio: la cuantización de la memoria de contexto (el KV).

Pero el contenedor llevaba desde la tarde anterior con el borrador activado. Al medirlo por separado:

configuración	velocidad
sin borrador	14,92 tok/s
con borrador	26,70 tok/s
con borrador + KV cuantizado	27,30 tok/s

El +79 % lo daba el borrador. La cuantización del KV aportaba otra cosa, también buena: duplicar el contexto casi sin coste de memoria.

Por qué pasó

Alguien activó el borrador midiendo aparte y nunca actualizó las notas. Todo lo que se escribió después partía de una configuración que ya no existía.

Cómo evitarlo

Antes de fiarte de lo que dice un documento, pregúntale a la máquina qué está ejecutando de verdad:

docker inspect <contenedor> --format '{{json .Config.Cmd}}'

Si no coincide con tus notas, gana la máquina: corrige las notas en ese momento.