El mismo banco de pruebas, dos veces seguidas, da notas distintas

Qué pasó

Pasamos el mismo banco de 84 escenarios dos veces seguidas, sin cambiar nada, con temperature 0 y la misma semilla: 88 y 90. Nueve escenarios cambiaron de resultado, en las dos direcciones.

Por qué

temperature 0 quita el azar del muestreo, pero no la variación numérica. Con decodificación especulativa y peticiones agrupadas, el lote cambia entre pasadas y con él, a veces, el token elegido.

Cómo evitarlo

• Antes de comparar modelos o ajustes, pasa el banco dos veces sin cambiar nada y mira cuánto se mueve la nota.
• Para diferencias de menos de 5 puntos, haz tres pases por condición y compara rangos, no números sueltos.