Un MoE de 35B con 3B activos iguala en calidad a un modelo denso de 27B y lo triplica en velocidad
Ornith-1.5 contra Qwen3.8-27B: misma máquina, mismo motor, mismos bancos. Empate en calidad y el triple de velocidad para el MoE.
Qué hicimos
Comparar Ornith-1.5-35B-A3B (MoE: 35B de parámetros, solo 3B activos por token) con Qwen3.8-27B (denso), con la misma imagen de SGLang, en la misma máquina y con los mismos bancos.
Resultado
- Calidad: empate en nuestros bancos.
- Velocidad: unos 78 tok/s para Ornith, alrededor del triple que Qwen3.8-27B.
Por qué
Un modelo denso lee todos sus pesos para generar cada token. Un MoE solo lee los expertos que necesita. En una máquina con mucha memoria y ancho de banda moderado, como la GX10, eso lo es todo.
Qué significa para ti
En equipos con memoria unificada (GX10, DGX Spark, Strix Halo, Mac), busca MoE con pocos parámetros activos. Es la regla que más explica nuestras cifras.
Medido en nuestras máquinas. Dos ASUS Ascent GX10 (NVIDIA GB10, 128 GB de memoria unificada). En tu equipo las cifras serán otras: lo que se traslada es el método y la lección.