MiMo-V2.6-Flash
Repartido en dos GX10. Salida estructurada con una sola petición; con ocho a la vez llega a 226 tok/s en total.
34.03tok/sgenerando
configuración
- modelo
- MiMo-V2.6-Flash-RL
- cuantización
- MXFP4 experts + BF16 router + FP8 KV
- motor
- SGLang
- hardware
- 2× ASUS Ascent GX10 (repartido)
- contexto
- 1M
- especulativa
- EAGLE-4x3