Qwen3.8-Flash-Next con TensorFold: 130 tok/s en una única GX10
La receta comunitaria de Mia saca casi 130 tok/s con salida estructurada y contexto de 256K verificado en una sola Spark; el récord en una GX10 sigue siendo el 139,4 de Nemotron.
Configuración
Reprodujimos la receta pública de Mia para este modelo en una sola GX10: cuantización 4-bit con decodificación especulativa MTP, caché int8 y visibilidad de imágenes activada. El arranque compiló extensiones de CUDA (unos 4 minutos) y luego ya fue normal.
Resultado
| prueba | resultado |
|---|---|
| generación, una petición (salida estructurada) | 129,6 tok/s |
| generación, una petición (prosa) | 66,8 tok/s |
| 4 peticiones a la vez | 113,9 tok/s en total |
| aguja de contexto a 251.412 tokens | CORRECTA (cerca del límite de 256K, 2,3 min de prefill) |
| prefill de 50.354 tokens | 2.231 tok/s |
| herramientas y visión | 3/3 en el banco corto; describió imágenes sin fallo |
Estado
No lo promocionamos: se quedó como candidato mononodo preparado y el modelo de producción sigue siendo GLM-5.3 repartido en dos máquinas (EXP-0129). El banco agéntico completo de esta receta quedó en 81/100 (EXP-0128), por debajo de las baselines que ya teníamos.
Qué significa para ti
Si solo tienes una Spark, esta receta es el buen ejemplo de lo que dan los motores con MTP bien afinados: 129,6 tok/s en salida estructurada (por detrás del 139,4 de Nemotron, que sigue siendo el récord en una GX10) y un ×1,6 sobre la configuración dual anterior de este modelo en prosa (66,8 frente a 41,2), con un contexto de 256K que aguanta de verdad.
Medido en nuestras máquinas. Dos ASUS Ascent GX10 (NVIDIA GB10, 128 GB de memoria unificada). En tu equipo las cifras serán otras: lo que se traslada es el método y la lección.