DeepSeek en una sola máquina, con menos expertos y menos bits, y no sale peor
Una receta para una sola Spark poda 40 de los 256 expertos y cuantiza a 3 bits. Reprodujimos sus cifras y la calidad no bajó frente a nuestra versión completa.
La receta
DeepSeek-V4-Flash con 216 de sus 256 expertos (los menos usados, podados) y cuantizado a 3 bits por peso, en una sola máquina con decodificación especulativa.
Resultado
| medido aquí | lo que anunciaba la receta | |
|---|---|---|
| generación, salida estructurada | 46 tok/s | 44–47 ✅ |
| generación, prosa | 22,8 tok/s | — |
| lectura de prompt (~54K) | ~1.080 tok/s | — |
| contexto disponible | ~434K tokens | ~439K ✅ |
Y en calidad, no salió peor que nuestra versión completa en los mismos bancos.
Lo que costó arrancarla
Tres arranques fallidos por «falta de memoria» con memoria de sobra (P-095): dos servicios del sistema hinchados y la verificación de pesos llenando la caché.
Qué significa para ti
Menos bits y menos expertos no significan siempre peor modelo. Hay que medirlo con tus tareas, pero merece la pena probar las versiones podadas si vas justo de memoria.
Medido en nuestras máquinas. Dos ASUS Ascent GX10 (NVIDIA GB10, 128 GB de memoria unificada). En tu equipo las cifras serán otras: lo que se traslada es el método y la lección.