Cómo elegir hardware para IA local sin comprar a ciegas
Una guía de capacidad, memoria y coste total para elegir entre PC, GPU, memoria unificada y varios nodos. Los tamaños son orientativos: tu runtime y tu caso mandan.
La pregunta importante no es qué tarjeta gana una gráfica, sino qué carga quieres servir, con qué latencia y durante cuánto tiempo. Esta guía ordena la decisión sin convertir una estimación de memoria en una promesa de rendimiento.
Primero: define tu caso de uso
Antes de mirar tarjetas, responde:
- ¿Qué quieres hacer? (chat, imágenes, transcripción, agentes…)
- ¿Qué calidad mínima aceptas?
- ¿Cuántos usuarios habrá?
- ¿El equipo estará en un escritorio, un salón o un rack?
- ¿Cuánto ruido, consumo y mantenimiento aceptas?
Una tabla de capacidad orientativa
| Memoria disponible | Punto de partida | Qué suele ser razonable | Veredicto |
|---|---|---|---|
| 8GB | CPU o GPU de entrada | 1–4B y algunos 7–8B muy ajustados | Para aprender y automatizar |
| 12–16GB | GPU de entrada/media | 7–14B cuantizados; imagen según workflow | Buen primer banco |
| 24GB | GPU de gama alta o móvil | 14–32B cuantizados, si el runtime los soporta | Mucha flexibilidad |
| 64–128GB | Memoria unificada | 30–70B o MoE, según pesos y contexto | Capacidad antes que velocidad |
| Varios nodos | Cluster con red adecuada | Cargas que no caben en un nodo | Solo con benchmark de red |
(La memoria de los pesos no es la memoria total: suma runtime, KV cache, contexto, concurrencia y sistema. Q4 tampoco significa exactamente cuatro bits por parámetro.)
Las cinco verdades que importan
1. La memoria es el techo; el ancho de banda y el runtime marcan el ritmo
Una GPU con 24GB puede ser más útil para IA local que otra más rápida con 8GB si el modelo no cabe en la segunda. Mira memoria disponible, ancho de banda, soporte del backend y calidad de los drivers antes que el número de núcleos de la caja.
2. El modelo de moda no es tu caso de uso
Si solo clasificas documentos o redactas correos, un modelo pequeño puede ser la mejor compra. Si necesitas contexto largo, concurrencia o varias modalidades, la respuesta cambia. Mide diez tareas tuyas antes de pagar por más capacidad.
3. La memoria unificada no es VRAM gratis
CPU, GPU, sistema operativo, contenedores y KV cache compiten por el mismo presupuesto. Los 128GB de un nodo describen capacidad instalada, no memoria íntegramente disponible para pesos. A nosotros nos costó apagar la máquina con el botón aprenderlo. Y busca modelos MoE con pocos parámetros activos: en memoria unificada rinden mucho más que los densos del mismo tamaño (aquí, con cifras).
4. Ruido y energía cuentan tanto como la velocidad
El consumo real cambia con carga, temperatura, fuente, pantalla y periféricos. No uses el TDP como si fuera una factura: mide el enchufe con la carga que realmente vas a mantener. Un truco barato: limitar el reloj de la GPU nos bajó un 32 % el consumo casi sin perder velocidad.
5. Un cluster añade una red y una operación nuevas
Repartir un modelo puede resolver el problema de capacidad, pero añade transferencia, sincronización, configuración y puntos de fallo. Si el modelo cabe y rinde bien en un nodo, duplicar máquinas no lo convierte automáticamente en una solución mejor. Lo contamos con cifras en cuándo compensa juntar dos máquinas.
Qué encaja con cada perfil
- Curioso total: tu ordenador actual + Ollama.
- Entusiasta: 12–24GB para aprender runtimes, imagen y modelos cuantizados.
- Hogar con servicios: memoria unificada y una red estable para mantener embeddings, audio y automatizaciones separados del chat.
- Laboratorio: varios nodos solo cuando exista una carga que lo justifique y una suite de pruebas que permita comparar el resultado.
El consejo final
Empieza con lo que ya tienes. Guarda los prompts, la configuración, la memoria usada, la latencia, la calidad y el consumo. Cuando el límite aparezca dos o tres veces, compra capacidad para ese límite concreto. El mini-benchmark casero te ayuda a tomar la decisión con tus datos.