Una cuantización de 2 bits: 16 GB más de memoria libre sin pérdida medible

La idea

En un modelo MoE, la mayoría de los pesos (~91 %) son expertos que solo se usan de vez en cuando. La propuesta de antirez: comprimir esos expertos a 2 bits y dejar a 8 bits las partes que se usan siempre (el enrutador, las proyecciones y la salida).

Qué hicimos

Cambiamos solo el fichero del modelo. Todo lo demás, idéntico.

Resultado

	versión habitual (IQ3)	2 bits de antirez
tamaño en disco	97,1 GB	80,8 GB
memoria libre tras cargar	4,4 GB	20,5 GB
arranque	96 s	82 s
velocidad de generación	26,7 tok/s	27,6 tok/s
encontrar 9 datos escondidos en 50K tokens	9/9	9/9
preguntas trampa (con agente)	17/18	16/18

La diferencia de un punto en las preguntas trampa está dentro de lo que varía el banco entre pasadas.

Una lección de método

Con el modelo «desnudo», las dos versiones sacaban 3–4 sobre 18. Ahí no se puede ver si una es peor, porque las dos fallan casi todo. La comparación útil es la que tiene recorrido: por eso comparamos también a través del agente, donde la nota era 17/18. No compares donde todo falla.

Qué significa para ti

Si vas justo de memoria con un modelo MoE grande, una cuantización asimétrica puede darte mucho margen. Pruébala con tus tareas antes de adoptarla.