DeepSeek-V4.1-Flash EXL3
Repartido en dos GX10, una sola petición y prompt corto. Media de 3 pasadas.
27.1tok/sgenerando
119498tok/sleyendo el prompt
0.005shasta el primer token
configuración
- modelo
- DeepSeek-V4.1-Flash-EXL3-2.9bpw
- cuantización
- EXL3 2.9bpw + Engram NVMe
- motor
- vLLM + EXL3 + Engram
- hardware
- 2× ASUS Ascent GX10 (repartido)
- contexto
- 586K
- especulativa
- DSpark-k3