Qué modelo cabe en tu máquina
Decide qué modelos de IA local caben en 8, 16, 24, 64 o 128 GB y qué debes medir después.
Qué modelo cabe en tu máquina
La primera pregunta no es «¿cuántos tok/s hace?». Es «¿cabe con el contexto y el margen de memoria que necesito?».
Mapa rápido
| Memoria disponible | Punto de partida | Qué hay que comprobar |
|---|---|---|
| 8 GB | modelos pequeños cuantizados | contexto, backend y memoria libre |
| 16 GB | 7B–14B según formato | cuantización y longitud de contexto |
| 24 GB | modelos medianos cuantizados | KV cache y velocidad sostenida |
| 64 GB | modelos grandes o MoE ajustados | ancho de banda y runtime |
| 128 GB o más | modelos grandes y pruebas distribuidas | topología, red y consumo |
Esto es una orientación de planificación, no una promesa de rendimiento. Una misma etiqueta de parámetros puede necesitar una cantidad distinta de memoria según pesos, KV cache, contexto y overhead del runtime.
El orden correcto
- Elige una cuantización y deja margen para el contexto.
- Comprueba que el backend realmente usa el dispositivo esperado.
- Mide una carga fija y guarda el comando exacto.
- Repite la prueba y anota tok/s, TTFT, memoria y vatios.
En Benchmarks solo verás resultados que hayan pasado ese proceso. El inventario disponible está en Hardware y la arquitectura completa en El Rack.
Si quieres una decisión aplicada a tu caso, Empieza aquí y usa nuestro mini-benchmark casero para medirlo en tu máquina.