Cuánto corre cada modelo en nuestra mesa.
Velocidad de generación con una petición, agregado con varias, y nota en un banco agéntico de 84 escenarios. Todo medido en dos ASUS Ascent GX10 con el runtime, la cuantización y el commit a la vista. Si una cifra no tiene experimento detrás, no está aquí.
▲ Velocidad con una petición
cómo medimos →| # | modelo | tok/s |
|---|---|---|
| 01 | Nemotron-3.5-LightningNVFP4 · vLLM · cómo lo medimos | 139.4 |
| 02 | Qwen3.8-Flash-NextMLX 4-bit group32 + MTP head + int8 KV · TensorFold · cómo lo medimos | 129.59 |
| 03 | Qwen3.6-35B-A3BNVFP4 · vLLM | 125.58 |
| 04 | GLM-5.3-FlashEXL3 4 bpw + Dense FP8 dense-kda + KV FP8 · vLLM E3 + Adaptive-K | 73.18 |
| 05 | DeepSeek-V4.1-Flash EXL3EXL3 2.9bpw + Engram file-backed · vLLM 0.1.dev20904+g179dd0fa · cómo lo medimos | 50.08 |
| 06 | Ling-3.0-FlashINT4-compressed-tensors · sglang | 35.76 |
| 07 | MiMo-V2.6-FlashMXFP4 experts + BF16 router + FP8 KV · SGLang · cómo lo medimos | 34.03 |
| 08 | DeepSeek-V4-FlashUD-IQ3_XXS · llama.cpp · cómo lo medimos | 33.45 |
| 09 | Muse-Glimmer-30BUD-Q4_K_XL · llama.cpp | 27.89 |
| 10 | Laguna-S-2.1Q4_K_M · llama.cpp | 24.78 |
La mejor generación medida con una sola petición para cada modelo, en cualquier configuración que hayamos probado. No es una comparación en igualdad de condiciones: un modelo de 30B en una GX10 y uno de 300B repartido en dos no juegan la misma liga. Por eso cada fila lleva su configuración.
◆ Calidad agéntica · banco de 84 escenarios
qué mide el banco →| # | modelo | nota |
|---|---|---|
| 01 | GLM-5.3-Flash2× GX10 · 2026-10-01 · cómo lo medimos | 90/100 |
| 02 | DeepSeek-V4.1-Flash EXL32× GX10 · 2026-10-18 · cómo lo medimos | 83/100 |
| 03 | MiMo-V2.6-Flash2× GX10 · 2026-09-22 · cómo lo medimos | 82/100 |
Llamadas a herramientas, instrucciones contradictorias, datos ausentes e inyecciones. El banco no es determinista: dos pases idénticos pueden separarse un par de puntos (P-063), así que lo que cuenta es la media de varios pases cuando la hay.