Nemotron-3.5-Lightning-30B-A3B
Receta oficial de NVIDIA con decodificación especulativa: tres veces más rápido que sin ella. El más rápido que hemos medido en una sola GX10.
139.4tok/sgenerando
0.229shasta el primer token
configuración
- modelo
- Nemotron-3.5-Lightning-30B-A3B
- cuantización
- NVFP4
- motor
- vLLM
- hardware
- 1× ASUS Ascent GX10
- contexto
- 256K
- especulativa
- dspark
- temperatura GPU
- 61.6 °C