DeepSeek-V4.1-Flash-EXL3-2.9bpw2026-10-18gx10-1+gx10-2EXL3 2.9bpw + Engram file-backedvLLM 0.1.dev20904+g179dd0factx 586Kesp: DSpark-k3
banco de agentes
DeepSeek-V4.1-Flash-EXL3-2.9bpw2026-10-18gx10-1+gx10-2EXL3 2.9bpw + Engram file-backedvLLM 0.1.dev20904+g179dd0factx 586Kesp: DSpark-k318315 tok entrada87.8 °C
- generación
- 47.02 tok/s
- prefill
- ~1831 tok/s
- TTFT
- 18.2 s
- RAM libre
- 2.97 GiB
- swap
- 4.71 GiB
prompt en frío
DeepSeek-V4.1-Flash-EXL3-2.9bpw2026-10-18gx10-1+gx10-2EXL3 2.9bpw + Engram file-backedvLLM 0.1.dev20904+g179dd0factx 586Kesp: DSpark-k318315 tok entrada87.8 °C
- generación
- 50.08 tok/s
- prefill
- ~8190 tok/s
- TTFT
- 2.24 s
- RAM libre
- 2.97 GiB
- swap
- 4.71 GiB
GLM-5.3-Flash-EXL32026-10-01gx10-1+gx10-2EXL3 4 bpw + Dense q4 + FP8 KVTensorFold v0.5.0ctx 1Mesp: DFlash2383267 tok entrada67 °C
- TTFT
- 1.28 s
- swap
- 7.1 GiB
3 peticiones a la vez (total) · banco de agentes
GLM-5.3-Flash-EXL32026-10-01gx10-1+gx10-2EXL3 4 bpw + Dense q4 + FP8 KVTensorFold v0.5.0ctx 1Mesp: DFlash250333 tok entrada54 °C
- prefill
- 1549 tok/s
- RAM libre
- 7.1 GiB
GLM-5.3-Flash-EXL32026-10-01gx10-1+gx10-2EXL3 4 bpw + Dense q4 + FP8 KVTensorFold v0.5.0ctx 1Mesp: DFlash254 °C
- generación
- 40.3 tok/s
- RAM libre
- 7.1 GiB
código
GLM-5.3-Flash-EXL32026-10-01gx10-1+gx10-2EXL3 4 bpw + Dense q4 + FP8 KVTensorFold v0.5.0ctx 1Mesp: DFlash254 °C
- generación
- 43.5 tok/s
- RAM libre
- 7.1 GiB
GLM-5.3-Flash-EXL32026-10-01gx10-1+gx10-2EXL3 4 bpw + Dense q4 + FP8 KVTensorFold v0.5.0ctx 1Mesp: DFlash2194851 tok entrada54 °C
- prefill
- 1623 tok/s
- RAM libre
- 7.1 GiB
Qwen3.8-Flash-Next2026-09-29gx10-2MLX 4-bit group32 + MTP head + int8 KVTensorFoldctx 256Kesp: MTP drafts 1-639 tok entrada51.8 °C
- generación
- 66.81 tok/s
- TTFT
- 185.1 ms
- swap
- 0.79 GiB
prosa
Qwen3.8-Flash-Next2026-09-29gx10-2MLX 4-bit group32 + MTP head + int8 KVTensorFoldctx 256Kesp: MTP drafts 1-635 tok entrada51.8 °C
- generación
- 129.59 tok/s
- TTFT
- 199.8 ms
- swap
- 0.79 GiB
salida estructurada
Qwen3.8-Flash-Next2026-09-29gx10-2MLX 4-bit group32 + MTP head + int8 KVTensorFoldctx 256Kesp: MTP drafts 1-651.8 °C
- generación
- 113.88 tok/s
- TTFT
- 533.9 ms
- swap
- 0.79 GiB
varias peticiones a la vez (total)
Qwen3.8-Flash-Next2026-09-29gx10-2MLX 4-bit group32 + MTP head + int8 KVTensorFoldctx 256Kesp: MTP drafts 1-6251412 tok entrada51.8 °C
- prefill
- 1801 tok/s
- swap
- 0.79 GiB
MiMo-V2.6-Flash-RL2026-09-22gx10-1+gx10-2MXFP4 experts + BF16 router + FP8 KVSGLangctx 1Mesp: EAGLE-4x38010 tok entrada
- prefill
- 2320 tok/s
prompt en frío
MiMo-V2.6-Flash-RL2026-09-22gx10-1+gx10-2MXFP4 experts + BF16 router + FP8 KVSGLangctx 1Mesp: EAGLE-4x3
- generación
- 27.74 tok/s
prosa
MiMo-V2.6-Flash-RL2026-09-22gx10-1+gx10-2MXFP4 experts + BF16 router + FP8 KVSGLangctx 1Mesp: EAGLE-4x3
- generación
- 34.03 tok/s
salida estructurada
MiMo-V2.6-Flash-RL2026-09-22gx10-1+gx10-2MXFP4 experts + BF16 router + FP8 KVSGLangctx 1Mesp: EAGLE-4x3
- generación
- 226.13 tok/s
8 peticiones a la vez (total)
MiMo-V2.6-Flash-RL2026-09-22gx10-1+gx10-2MXFP4 experts + BF16 router + FP8 KVSGLangctx 1Mesp: EAGLE-4x384 tok entrada
banco de agentes
MiMo-V2.6-Flash-RL2026-09-22gx10-1+gx10-2MXFP4 experts + BF16 router + FP8 KVSGLangctx 1Mesp: EAGLE-4x350 tok entrada
MiMo-V2.6-Flash-RL2026-09-22gx10-1+gx10-2MXFP4 experts + BF16 router + FP8 KVSGLangctx 1Mesp: EAGLE-4x310 tok entrada
DeepSeek-V4.1-Flash-EXL3-2.9bpw2026-09-16gx10-1+gx10-2EXL3 2.9bpw + Engram NVMevLLM + EXL3 + Engramctx 586Kesp: DSpark-k313 tok entrada
DeepSeek-V4.1-Flash-EXL3-2.9bpw2026-09-16gx10-1+gx10-2EXL3 2.9bpw + Engram NVMevLLM + EXL3 + Engramctx 586Kesp: DSpark-k3
DeepSeek-V4.1-Flash-EXL3-2.9bpw2026-09-16gx10-1+gx10-2EXL3 2.9bpw + Engram NVMevLLM + EXL3 + Engramctx 586Kesp: DSpark-k3
banco de agentes
DeepSeek-V4.1-Flash-EXL3-2.9bpw2026-09-16gx10-1+gx10-2EXL3 2.9bpw + Engram NVMevLLM + EXL3 + Engramctx 586Kesp: DSpark-k3512 tok entrada
- generación
- 27.1 tok/s
- prefill
- 119498 tok/s
- TTFT
- 5 ms
DeepSeek-V4.1-Flash-EXL3-2.9bpw2026-09-16gx10-1+gx10-2EXL3 2.9bpw + Engram NVMevLLM + EXL3 + Engramctx 586Kesp: DSpark-k3512 tok entrada
- generación
- 38.6 tok/s
- prefill
- 98999 tok/s
- TTFT
- 6 ms
2 peticiones a la vez (total)
DeepSeek-V4.1-Flash-EXL3-2.9bpw2026-09-16gx10-1+gx10-2EXL3 2.9bpw + Engram NVMevLLM + EXL3 + Engramctx 586Kesp: DSpark-k38192 tok entrada
- generación
- 13.5 tok/s
- prefill
- 649412 tok/s
- TTFT
- 13 ms
DeepSeek-V4.1-Flash-EXL3-2.9bpw2026-09-16gx10-1+gx10-2EXL3 2.9bpw + Engram NVMevLLM + EXL3 + Engramctx 586Kesp: DSpark-k38192 tok entrada
- generación
- 16.0 tok/s
- prefill
- 470387 tok/s
- TTFT
- 20 ms
2 peticiones a la vez (total)
DeepSeek-V4.1-Flash-EXL3-2.9bpw2026-09-16gx10-1+gx10-2EXL3 2.9bpw + Engram NVMevLLM + EXL3 + Engramctx 586Kesp: DSpark-k332768 tok entrada
- generación
- 45.3 tok/s
- prefill
- 299094 tok/s
- TTFT
- 111 ms
DeepSeek-V4.1-Flash-EXL3-2.9bpw2026-09-16gx10-1+gx10-2EXL3 2.9bpw + Engram NVMevLLM + EXL3 + Engramctx 586Kesp: DSpark-k332768 tok entrada
- generación
- 41.2 tok/s
- prefill
- 524508 tok/s
- TTFT
- 70 ms
2 peticiones a la vez (total)
DeepSeek-V4.1-Flash-EXL3-2.9bpw2026-09-16gx10-1+gx10-2EXL3 2.9bpw + Engram NVMevLLM + EXL3 + Engramctx 586Kesp: DSpark-k3
- generación
- 28.4 tok/s
salida estructurada
DeepSeek-V4.1-Flash-EXL3-2.9bpw2026-09-16gx10-1+gx10-2EXL3 2.9bpw + Engram NVMevLLM + EXL3 + Engramctx 586Kesp: DSpark-k3
- generación
- 30.2 tok/s
código
DeepSeek-V4.1-Flash-EXL3-2.9bpw2026-09-16gx10-1+gx10-2EXL3 2.9bpw + Engram NVMevLLM + EXL3 + Engramctx 586Kesp: DSpark-k3
- generación
- 20.2 tok/s
DeepSeek-V4.1-Flash-EXL3-2.9bpw2026-09-16gx10-1+gx10-2EXL3 2.9bpw + Engram NVMevLLM + EXL3 + Engramctx 586Kesp: DSpark-k333671 tok entrada
- generación
- 37.51 tok/s
prompt repetido (caché) · contexto largo
GLM-5.3-Flash-tr3-4bpw2026-09-16gx10-1+gx10-2EXL3 4 bpw + Dense FP8 dense-kda + FP8 KVvLLMctx 830Kesp: DFlash2-k727 tok entrada
- generación
- 59.01 tok/s
- TTFT
- 329 ms
salida estructurada
GLM-5.3-Flash-tr3-4bpw2026-09-16gx10-1+gx10-2EXL3 4 bpw + Dense FP8 dense-kda + FP8 KVvLLMctx 830Kesp: DFlash2-k733 tok entrada
- generación
- 28.98 tok/s
- TTFT
- 326 ms
prosa
GLM-5.3-Flash-tr3-4bpw2026-09-16gx10-1+gx10-2EXL3 4 bpw + Dense FP8 dense-kda + FP8 KVvLLMctx 830Kesp: DFlash2-k7839995 tok entrada
- prefill
- 1087.90 tok/s
- TTFT
- 772.1 s
GLM-5.3-Flash-tr3-4bpw2026-09-16gx10-1+gx10-2EXL3 4 bpw + Dense FP8 dense-kda + FP8 KVvLLMctx 830Kesp: DFlash2-k7
- generación
- ~70.7 tok/s
4 peticiones a la vez (total) · código
GLM-5.3-Flash-tr3-4bpw2026-09-16gx10-1+gx10-2EXL3 4 bpw + Dense FP8 dense-kda + FP8 KVvLLMctx 830Kesp: DFlash2-k7
3 peticiones a la vez (total) · banco de agentes
GLM-5.3-Flash-tr3-4bpw2026-09-11gx10-1+gx10-2EXL3 4 bpw + Dense FP8 dense-kda + KV FP8vLLM E3 + Adaptive-Kctx 830Kesp: DFlash2-k727 tok entrada65 °C
- generación
- 73.18 tok/s
- TTFT
- 326 ms
salida estructurada
GLM-5.3-Flash-tr3-4bpw2026-09-11gx10-1+gx10-2EXL3 4 bpw + Dense FP8 dense-kda + KV FP8vLLM E3 + Adaptive-Kctx 830Kesp: DFlash2-k733 tok entrada65 °C
- generación
- 32.39 tok/s
- TTFT
- 309 ms
prosa
GLM-5.3-Flash-tr3-4bpw2026-09-11gx10-1+gx10-2EXL3 4 bpw + Dense FP8 dense-kda + KV FP8vLLM E3 + Adaptive-Kctx 830Kesp: DFlash2-k7839995 tok entrada86 °C
- prefill
- 1135.98 tok/s
- TTFT
- 739.4 s
prompt en frío
GLM-5.3-Flash-tr3-4bpw2026-09-11gx10-1+gx10-2EXL3 4 bpw + Dense FP8 dense-kda + KV FP8vLLM E3 + Adaptive-Kctx 830Kesp: DFlash2-k7+APC-SWA027 tok entrada65 °C
- generación
- 72.84 tok/s
- TTFT
- 349 ms
salida estructurada
GLM-5.3-Flash-tr3-4bpw2026-09-11gx10-1+gx10-2EXL3 4 bpw + Dense FP8 dense-kda + KV FP8vLLM E3 + Adaptive-Kctx 830Kesp: DFlash2-k7+APC-SWA033 tok entrada65 °C
- generación
- 32.09 tok/s
- TTFT
- 309 ms
prosa
GLM-5.3-Flash-tr3-4bpw2026-09-09gx10-1+gx10-2EXL3 4 bpw + Dense FP8 dense-kda + KV FP8vLLM E3 + Adaptive-Kctx 830Kesp: DFlash2-k754 °C
- generación
- 71.43 tok/s
- TTFT
- 342 ms
- RAM libre
- 5.0 GiB
- swap
- 5.4 GiB
salida estructurada
GLM-5.3-Flash-tr3-4bpw2026-09-09gx10-1+gx10-2EXL3 4 bpw + Dense FP8 dense-kda + KV FP8vLLM E3 + Adaptive-Kctx 830Kesp: DFlash2-k754 °C
- generación
- 32.07 tok/s
- TTFT
- 252 ms
- RAM libre
- 5.0 GiB
- swap
- 5.4 GiB
prosa
GLM-5.3-Flash-tr3-4bpw2026-09-09gx10-1+gx10-2EXL3 4 bpw + Dense FP8 dense-kda + KV FP8vLLM E3 + Adaptive-Kctx 830Kesp: DFlash2-k734 tok entrada86 °C
- generación
- 68.11 tok/s
- TTFT
- 333 ms
- RAM libre
- 5.0 GiB
- swap
- 7.2 GiB
salida estructurada
GLM-5.3-Flash-tr3-4bpw2026-09-09gx10-1+gx10-2EXL3 4 bpw + Dense FP8 dense-kda + KV FP8vLLM E3 + Adaptive-Kctx 830Kesp: DFlash2-k740 tok entrada86 °C
- generación
- 33.71 tok/s
- TTFT
- 343 ms
- RAM libre
- 5.0 GiB
- swap
- 7.2 GiB
prosa
GLM-5.3-Flash-tr3-4bpw2026-09-09gx10-1+gx10-2EXL3 4 bpw + Dense FP8 dense-kda + KV FP8vLLM E3 + Adaptive-Kctx 830Kesp: DFlash2-k7849502 tok entrada86 °C
- prefill
- 1178.44 tok/s
- TTFT
- 720.9 s
- RAM libre
- 5.0 GiB
- swap
- 7.2 GiB
GLM-5.3-Flash-tr3-4bpw2026-09-09gx10-1+gx10-2EXL3 4 bpw + Dense FP8 dense-kda + KV FP8vLLM E3 + Adaptive-Kctx 830Kesp: DFlash2-k786 °C
- generación
- 53.8 tok/s
- TTFT
- 21.4 s
- RAM libre
- 5.0 GiB
- swap
- 7.2 GiB
1 peticiones a la vez (total)
GLM-5.3-Flash-tr3-4bpw2026-09-09gx10-1+gx10-2EXL3 4 bpw + Dense FP8 dense-kda + KV FP8vLLM E3 + Adaptive-Kctx 830Kesp: DFlash2-k732000 tok entrada86 °C
- prefill
- 7.5 tok/s
- TTFT
- 114.8 s
- RAM libre
- 5.0 GiB
- swap
- 7.2 GiB
varias peticiones a la vez (total)
GLM-5.3-Flash-tr3-4bpw2026-09-09gx10-1+gx10-2EXL3 4 bpw + Dense FP8 dense-kda + KV FP8vLLM E3 + Adaptive-Kctx 830Kesp: DFlash2-k786 °C
- RAM libre
- 5.0 GiB
- swap
- 7.2 GiB
3 peticiones a la vez (total) · banco de agentes
GLM-5.3-Flash-tr3-4bpw2026-09-07gx10-1+gx10-2EXL3 4 bpw + FP8 KVvLLM E3ctx 830Kesp: DFlash2-k7
- generación
- 60.16 tok/s
- TTFT
- 351 ms
salida estructurada
GLM-5.3-Flash-tr3-4bpw2026-09-07gx10-1+gx10-2EXL3 4 bpw + FP8 KVvLLM E3ctx 830Kesp: DFlash2-k7
- generación
- 29.21 tok/s
- TTFT
- 286 ms
prosa
GLM-5.3-Flash-tr3-4bpw2026-09-07gx10-1+gx10-2EXL3 4 bpw + FP8 KVvLLM E3ctx 830Kesp: DFlash2-k7256000 tok entrada
- prefill
- 1476 tok/s
GLM-5.3-Flash-tr3-4bpw2026-09-07gx10-1+gx10-2EXL3 4 bpw + FP8 KVvLLM E3ctx 830Kesp: DFlash2-k7294275 tok entrada
banco de agentes
Qwen3.8-Flash-Next-NVFP42026-09-06gx10-1+gx10-2NVIDIA NVFP4 + FP8 KVvLLMctx 256Kesp: MTP31076 tok entrada75 °C
- generación
- 40.1 tok/s
- prefill
- 2110 tok/s
- TTFT
- 2.02 s
Qwen3.8-Flash-Next-NVFP42026-09-06gx10-1+gx10-2NVIDIA NVFP4 + FP8 KVvLLMctx 256Kesp: MTP336 tok entrada75 °C
- TTFT
- 5.68 s
varias peticiones a la vez (total)
Qwen3.8-Flash-Next-NVFP42026-09-06gx10-1+gx10-2NVIDIA NVFP4 + FP8 KVvLLMctx 256Kesp: MTP3250086 tok entrada75 °C
- generación
- 47.7 tok/s
- prefill
- 2110 tok/s
- TTFT
- 118.5 s
contexto largo
Qwen3.8-Flash-Next-NVFP42026-09-06gx10-1+gx10-2NVIDIA NVFP4 + FP8 KVvLLMctx 256Kesp: MTP3303141 tok entrada75 °C
Qwen3.8-Flash-Next-NVFP42026-08-28gx10-1+gx10-2NVFP4 weights + NVFP4 KVsglangctx 256Kesp: NEXTN 3/1/439 tok entrada
- generación
- 56.17 tok/s
- TTFT
- 234 ms
salida estructurada
Qwen3.8-Flash-Next-NVFP42026-08-28gx10-1+gx10-2NVFP4 weights + NVFP4 KVsglangctx 256Kesp: NEXTN 3/1/439 tok entrada
- generación
- 41.19 tok/s
- TTFT
- 238 ms
prosa
Qwen3.8-Flash-Next-NVFP42026-08-28gx10-1+gx10-2NVFP4 weights + NVFP4 KVsglangctx 256Kesp: NEXTN 3/1/4
- generación
- 81.5 tok/s
- TTFT
- 522 ms
4 peticiones a la vez (total)
Qwen3.8-Flash-Next-NVFP42026-08-28gx10-1+gx10-2NVFP4 weights + NVFP4 KVsglangctx 256Kesp: NEXTN 3/1/431175 tok entrada
- generación
- 8.2 tok/s
- TTFT
- 62.5 s
varias peticiones a la vez (total)
Qwen3.8-Flash-Next-NVFP42026-08-28gx10-1+gx10-2NVFP4 weights + NVFP4 KVsglangctx 256Kesp: NEXTN 3/1/4
contexto largo
Nemotron-3.5-Lightning-30B-A3B2026-08-12gx10-1NVFP4vLLMctx 256Kesp: none60 tok entrada57.5 °C
- generación
- 45.96 tok/s
- prefill
- 391.7 tok/s
- TTFT
- 107.2 ms
- RAM libre
- 65.51 GiB
sin decodificación especulativa
Nemotron-3.5-Lightning-30B-A3B2026-08-12gx10-1NVFP4vLLMctx 256Kesp: none60 tok entrada64.1 °C
- generación
- 45.31 tok/s
- RAM libre
- 5.70 GiB
sin decodificación especulativa
Nemotron-3.5-Lightning-30B-A3B2026-08-12gx10-1NVFP4vLLMctx 256Kesp: dspark60 tok entrada61.6 °C
- generación
- 139.40 tok/s
- TTFT
- 228.8 ms
- RAM libre
- 1.13 GiB
Nemotron-3.5-Lightning-30B-A3B2026-08-12gx10-1NVFP4vLLMctx 256Kesp: dspark17444 tok entrada61.6 °C
- generación
- 137.90 tok/s
- RAM libre
- 1.13 GiB
prompt repetido (caché)
DeepSeek-V4-Flash-07312026-08-11gx10-1UD-IQ3_XXSllama.cppctx 128Kesp: draft-dspark17444 tok entrada73.8 °C
- generación
- 30.71 tok/s
- prefill
- 409.8 tok/s
- TTFT
- 44.7 s
DeepSeek-V4-Flash-07312026-08-11gx10-1UD-IQ3_XXSllama.cppctx 128Kesp: draft-dspark17444 tok entrada73.8 °C
- generación
- 33.45 tok/s
- prefill
- 2048.6 tok/s
- TTFT
- 8.94 s
prompt repetido (caché)
Qwen3.6-35B-A3B2026-08-11gx10-1UD-Q8_K_XLllama.cppctx 256Kesp: draft-mtp60 tok entrada83.1 °C
- generación
- 75.90 tok/s
- prefill
- 95.9 tok/s
- TTFT
- 365.1 ms
- RAM libre
- 67.90 GiB
Qwen3.6-35B-A3B2026-08-11gx10-1UD-Q8_K_XLllama.cppctx 256Kesp: draft-mtp17444 tok entrada83.1 °C
- generación
- 90.91 tok/s
- prefill
- 1754.0 tok/s
- TTFT
- 9.93 s
- RAM libre
- 67.90 GiB
prompt en frío
Qwen3.6-35B-A3B2026-08-11gx10-1UD-Q8_K_XLllama.cppctx 256Kesp: draft-mtp17444 tok entrada83.1 °C
- generación
- 87.03 tok/s
- prefill
- 174420.0 tok/s
- TTFT
- 99.9 ms
- RAM libre
- 67.90 GiB
prompt repetido (caché)
Qwen3.6-35B-A3B2026-08-11gx10-1UD-Q8_K_XLllama.cppctx 256Kesp: draft-mtp83.1 °C
- generación
- 90.68 tok/s
- TTFT
- 568.6 ms
- RAM libre
- 67.90 GiB
4 peticiones a la vez (total)
Qwen3.6-35B-A3B2026-08-11gx10-1UD-Q8_K_XLllama.cppctx 256Kesp: draft-mtp83.1 °C
- generación
- 85.33 tok/s
- TTFT
- 7.62 s
- RAM libre
- 67.90 GiB
8 peticiones a la vez (total)
Muse-Glimmer-30B2026-08-11gx10-1UD-Q8_K_XLllama.cppctx 128Kesp: none60 tok entrada88.9 °C
- generación
- 7.04 tok/s
- prefill
- 768.6 tok/s
- RAM libre
- 79.54 GiB
- swap
- 2.22 GiB
sin decodificación especulativa
Muse-Glimmer-30B2026-08-11gx10-1UD-Q8_K_XLllama.cppctx 128Kesp: none16566 tok entrada88.9 °C
- generación
- 7.05 tok/s
- prefill
- 23718.6 tok/s
- TTFT
- 698.4 ms
- RAM libre
- 79.54 GiB
- swap
- 2.22 GiB
prompt repetido (caché) · sin decodificación especulativa
Muse-Glimmer-30B2026-08-11gx10-1UD-Q8_K_XLllama.cppctx 128Kesp: draft-dflash60 tok entrada86.9 °C
- generación
- 17.42 tok/s
- prefill
- 116.9 tok/s
- TTFT
- 684.1 ms
- RAM libre
- 77.08 GiB
- swap
- 2.18 GiB
2 peticiones a la vez (total)
Muse-Glimmer-30B2026-08-11gx10-1UD-Q8_K_XLllama.cppctx 128Kesp: draft-dflash16566 tok entrada86.9 °C
- generación
- 19.34 tok/s
- prefill
- 12673.7 tok/s
- TTFT
- 1.31 s
- RAM libre
- 77.08 GiB
- swap
- 2.18 GiB
2 peticiones a la vez (total) · prompt repetido (caché)
Muse-Glimmer-30B2026-08-11gx10-1UD-Q4_K_XLllama.cppctx 128Kesp: draft-dflash60 tok entrada94.4 °C
- generación
- 27.67 tok/s
- prefill
- 122.6 tok/s
- TTFT
- 652.3 ms
- RAM libre
- 92.07 GiB
- swap
- 2.18 GiB
Muse-Glimmer-30B2026-08-11gx10-1UD-Q4_K_XLllama.cppctx 128Kesp: draft-dflash16566 tok entrada94.4 °C
- generación
- 27.89 tok/s
- prefill
- 56191.1 tok/s
- TTFT
- 294.8 ms
- RAM libre
- 92.07 GiB
- swap
- 2.18 GiB
prompt repetido (caché)
gx10-1Q4_K_Mllama.cppctx 128Kesp: none24678 tok entrada
- generación
- 24.78 tok/s
- prefill
- 895.9 tok/s
- RAM libre
- 17.52 GiB
- swap
- 2.28 GiB
contexto largo
DeepSeek-V4-Flash-07312026-08-10gx10-1UD-IQ3_XXSllama.cppctx 256Kesp: draft-dspark153418 tok entrada
- generación
- 31.18 tok/s
- prefill
- 229.3 tok/s
- RAM libre
- 2.40 GiB
- swap
- 2.65 GiB
prompt en frío · contexto largo
DeepSeek-V4-Flash-07312026-08-10gx10-1IQ2XXS-w2Q2K-antirezllama.cppctx 64Kesp: draft-dspark49737 tok entrada
- generación
- 27.62 tok/s
- prefill
- 416.1 tok/s
- RAM libre
- 20.52 GiB
- swap
- 2.47 GiB
contexto largo
DeepSeek-V4-Flash-07312026-08-10gx10-1UD-IQ3_XXSllama.cppctx 64Kesp: draft-dspark21333 tok entrada
- generación
- 26.66 tok/s
- prefill
- 417.5 tok/s
- RAM libre
- 4.43 GiB
- swap
- 2.55 GiB
DeepSeek-V4-Flash-07312026-08-10gx10-1UD-IQ3_XXSllama.cppctx 64Kesp: draft-dspark21325 tok entrada
- generación
- 26.41 tok/s
- prefill
- 416.1 tok/s
- RAM libre
- 4.19 GiB
- swap
- 2.55 GiB
DeepSeek-V4-Flash-07312026-08-10gx10-1UD-IQ3_XXSllama.cppctx 64Kesp: draft-dspark20311 tok entrada
- generación
- 29.52 tok/s
- prefill
- 422.7 tok/s
- RAM libre
- 4.04 GiB
- swap
- 2.55 GiB
DeepSeek-V4-Flash-07312026-08-08gx10-1UD-IQ3_XXSllama.cppctx 64Kesp: draft-dspark
- generación
- 28.90 tok/s
- TTFT
- 140.6 ms
1 peticiones a la vez (total)
DeepSeek-V4-Flash-07312026-08-08gx10-1UD-IQ3_XXSllama.cppctx 64Kesp: draft-dspark
- generación
- 27.72 tok/s
- TTFT
- 6.35 s
2 peticiones a la vez (total)
DeepSeek-V4-Flash-07312026-08-08gx10-1UD-IQ3_XXSllama.cppctx 64Kesp: draft-dspark
- generación
- 28.23 tok/s
- TTFT
- 17.2 s
4 peticiones a la vez (total)
gx10-1INT4-compressed-tensorssglangctx 64Kesp: NEXTN
- generación
- 29.21 tok/s
- TTFT
- 499.5 ms
- RAM libre
- 25.4 GiB
1 peticiones a la vez (total)
gx10-1INT4-compressed-tensorssglangctx 64Kesp: NEXTN
- generación
- 24.53 tok/s
- TTFT
- 463.4 ms
- RAM libre
- 25.4 GiB
2 peticiones a la vez (total)
gx10-1INT4-compressed-tensorssglangctx 64Kesp: NEXTN
- generación
- 20.41 tok/s
- TTFT
- 595.5 ms
- RAM libre
- 25.4 GiB
4 peticiones a la vez (total)
gx10-1INT4-compressed-tensorssglangctx 64Kesp: NEXTN
- generación
- 16.93 tok/s
- TTFT
- 581.4 ms
- RAM libre
- 25.4 GiB
6 peticiones a la vez (total)
Qwen3.6-35B-A3B-NVFP42026-08-08gx10-1NVFP4vLLMctx 256Kesp: MTP64.4 °C
- generación
- 104.73 tok/s
- TTFT
- 136.8 ms
- RAM libre
- 39.9 GiB
- swap
- 2.99 GiB
1 peticiones a la vez (total)
Qwen3.6-35B-A3B-NVFP42026-08-08gx10-1NVFP4vLLMctx 256Kesp: MTP66.4 °C
- generación
- 66.77 tok/s
- TTFT
- 271.3 ms
- RAM libre
- 39.8 GiB
- swap
- 2.99 GiB
4 peticiones a la vez (total)
Qwen3.6-35B-A3B-NVFP42026-08-08gx10-1NVFP4vLLMctx 256Kesp: MTP67.1 °C
- generación
- 47.79 tok/s
- TTFT
- 454.3 ms
- RAM libre
- 39.8 GiB
- swap
- 2.99 GiB
8 peticiones a la vez (total)
Qwen3.6-35B-A3B-NVFP42026-08-08gx10-1NVFP4vLLMctx 256Kesp: MTP67.1 °C
- generación
- 18.86 tok/s
- TTFT
- 2.02 s
- RAM libre
- 39.8 GiB
- swap
- 2.99 GiB
16 peticiones a la vez (total)
Qwen3.6-35B-A3B-NVFP42026-08-08gx10-1NVFP4vLLMctx 256Kesp: MTP98685 tok entrada
- generación
- 102.10 tok/s
- prefill
- 2895 tok/s
- TTFT
- 34.1 s
- RAM libre
- 23.6 GiB
contexto largo
DeepSeek-V4-Flash-07312026-08-08gx10-1UD-IQ3_XXSllama.cppctx 64Kesp: draft-dspark18315 tok entrada90.6 °C
- generación
- 31.90 tok/s
- prefill
- 988 tok/s
- TTFT
- 18.5 s
- RAM libre
- 1.59 GiB
- swap
- 7.15 GiB
prompt en frío
DeepSeek-V4-Flash-07312026-08-08gx10-1UD-IQ3_XXSllama.cppctx 64Kesp: draft-dspark18315 tok entrada90.6 °C
- generación
- 31.74 tok/s
- TTFT
- 146.3 ms
- RAM libre
- 1.56 GiB
- swap
- 7.07 GiB
prompt repetido (caché)
gx10-1INT4-compressed-tensorssglangctx 64Kesp: NEXTN47 tok entrada67.3 °C
- generación
- 35.76 tok/s
- TTFT
- 397.0 ms
- RAM libre
- 24.63 GiB
- swap
- 6.87 GiB
gx10-1INT4-compressed-tensorssglangctx 64Kesp: NEXTN19834 tok entrada67.3 °C
- generación
- 24.93 tok/s
- prefill
- 437 tok/s
- TTFT
- 45.4 s
- RAM libre
- 23.08 GiB
- swap
- 6.81 GiB
prompt en frío
gx10-1INT4-compressed-tensorssglangctx 64Kesp: NEXTN19834 tok entrada67.3 °C
- generación
- 29.80 tok/s
- TTFT
- 360.3 ms
- RAM libre
- 23.08 GiB
- swap
- 6.81 GiB
prompt en frío
gx10-1INT4-compressed-tensorssglangctx 64Kesp: NEXTN70 tok entrada72.2 °C
- generación
- 33.14 tok/s
- TTFT
- 269.8 ms
- RAM libre
- 23.07 GiB
- swap
- 6.81 GiB
código
Qwen3.6-35B-A3B-NVFP42026-08-08gx10-1NVFP4vLLMctx 64Kesp: MTP35 tok entrada57.8 °C
- generación
- 119.58 tok/s
- TTFT
- 111.7 ms
- RAM libre
- 42.33 GiB
- swap
- 3.68 GiB
Qwen3.6-35B-A3B-NVFP42026-08-08gx10-1NVFP4vLLMctx 64Kesp: MTP17444 tok entrada57.8 °C
- generación
- 123.70 tok/s
- prefill
- 6122 tok/s
- TTFT
- 2.85 s
- RAM libre
- 41.09 GiB
- swap
- 3.66 GiB
prompt en frío
Qwen3.6-35B-A3B-NVFP42026-08-08gx10-1NVFP4vLLMctx 64Kesp: MTP17444 tok entrada57.8 °C
- generación
- 125.58 tok/s
- TTFT
- 553.6 ms
- RAM libre
- 41.09 GiB
- swap
- 3.66 GiB
prompt en frío
Qwen3.6-35B-A3B-NVFP42026-08-08gx10-1NVFP4vLLMctx 64Kesp: MTP57 tok entrada66.4 °C
- generación
- 118.71 tok/s
- TTFT
- 112.4 ms
- RAM libre
- 41.16 GiB
- swap
- 3.68 GiB
código
DeepSeek-V4-Flash-07312026-08-07gx10-1UD-IQ3_XXSllama.cppctx 64K34 tok entrada
- generación
- 16.70 tok/s
- prefill
- 51.96 tok/s
sin decodificación especulativa
DeepSeek-V4-Flash-07312026-08-07gx10-1UD-IQ3_XXSllama.cppctx 64K18615 tok entrada
- generación
- 14.92 tok/s
- prefill
- 426.18 tok/s
- TTFT
- 43.7 s
- RAM libre
- 14 GiB
- swap
- 0 GiB
sin decodificación especulativa
DeepSeek-V4-Flash-07312026-08-07gx10-1UD-IQ3_XXSllama.cppctx 32Kesp: draft-dspark34 tok entrada
- generación
- 31.25 tok/s
DeepSeek-V4-Flash-07312026-08-07gx10-1UD-IQ3_XXSllama.cppctx 32Kesp: draft-dspark18615 tok entrada
- generación
- 24.66 tok/s
- prefill
- 322.14 tok/s
- RAM libre
- 0.4 GiB
- swap
- 4.7 GiB
DeepSeek-V4-Flash-07312026-08-07gx10-1UD-IQ3_XXSllama.cppctx 32Kesp: draft-dspark18615 tok entrada
- generación
- 26.70 tok/s
- prefill
- 377.96 tok/s
- RAM libre
- 5.2 GiB
- swap
- 0 GiB
DeepSeek-V4-Flash-07312026-08-07gx10-1UD-IQ3_XXSllama.cppctx 64Kesp: draft-dspark18615 tok entrada
- generación
- 27.30 tok/s
- prefill
- 374.54 tok/s
- RAM libre
- 4.7 GiB
- swap
- 0 GiB
prompt en frío
DeepSeek-V4-Flash-07312026-08-07gx10-1UD-IQ3_XXSllama.cppctx 32K56 °C
- generación
- 14.53-15.42 tok/s
- RAM libre
- 104.3 GiB
- swap
- 17.35 GiB