Nemotron 3.5 Lightning: el más rápido que hemos medido… y el que peor resiste los ataques
139 tokens por segundo con decodificación especulativa en una sola GX10, y muy frío. Pero cayó en 5 de 5 inyecciones de prompt sin un prompt defensivo.
El modelo
Un MoE de 30B con solo 3B de parámetros activos, híbrido (Mamba-2 + MoE), en NVFP4.
Velocidad
| configuración | generación |
|---|---|
| nuestra configuración inicial | 45,96 tok/s |
| receta oficial de NVIDIA | 45,31 tok/s |
| receta oficial + decodificación especulativa (DSpark) | 139,4 tok/s (×3,08) |
La configuración inicial (45,96 tok/s, sin decodificación especulativa) fue también la más fría del laboratorio hasta la fecha: 57,5 °C. Con la receta oficial completa + decodificación especulativa (139,4 tok/s) la máquina se quedó en 61,6 °C: más rendimiento y todavía temperatura contenida. La regla que lo explica: un modelo denso de 31 GB se quedaba en 7 tok/s porque lee todos sus pesos para cada token; este lee 3B.
Seguridad
En la prueba de inyección de prompt entre turnos (una orden maliciosa escondida en la respuesta de una herramienta), cayó 5 de 5 veces sin prompt defensivo. Lo verificamos a mano.
Qué significa para ti
Es una opción excelente para velocidad, siempre con un prompt de sistema defensivo si va a leer contenido de terceros (correos, webs, documentos). La velocidad no arregla la seguridad.
Medido en nuestras máquinas. Dos ASUS Ascent GX10 (NVIDIA GB10, 128 GB de memoria unificada). En tu equipo las cifras serán otras: lo que se traslada es el método y la lección.