ficha de modelo
Muse-Glimmer-30B
Modelo denso de 30B. Sin ayuda va a 7 tok/s; con un borrador DFlash llega a unos 17–28 tok/s.
Un buen ejemplo de por qué los modelos densos rinden poco en memoria unificada.
▤ Benchmarks medidos en el rack
1× GX10 · ver ficha →
27.89tok/s
0.295s al primer token
✦ Recetas para correrlo
Todavía no hay recetas publicadas para Muse-Glimmer-30B.