ficha de modelo

Nemotron-3.5-Lightning-30B-A3B

MoE de 30B con solo 3B activos, en NVFP4. Con decodificación especulativa llega a 139 tok/s en una GX10: el más rápido que hemos medido.

NVIDIAmedido · 1 GX10—

Sin un prompt de sistema defensivo cae ante las inyecciones de prompt. Úsalo con uno si va a leer contenido de terceros.

▤ Benchmarks medidos en el rack

1× GX10 · ver ficha →
139.4tok/s
0.229s al primer token
NVFP4ctx 256K12 de agosto de 2026

✦ Recetas para correrlo

Todavía no hay recetas publicadas para Nemotron-3.5-Lightning-30B-A3B.