ficha de modelo
Nemotron-3.5-Lightning-30B-A3B
MoE de 30B con solo 3B activos, en NVFP4. Con decodificación especulativa llega a 139 tok/s en una GX10: el más rápido que hemos medido.
Sin un prompt de sistema defensivo cae ante las inyecciones de prompt. Úsalo con uno si va a leer contenido de terceros.
▤ Benchmarks medidos en el rack
1× GX10 · ver ficha →
139.4tok/s
0.229s al primer token
✦ Recetas para correrlo
Todavía no hay recetas publicadas para Nemotron-3.5-Lightning-30B-A3B.