Qué es la IA local (y por qué nos tiene enamorados)

Cuando la gente dice «IA» piensa en ChatGPT: abres una web, escribes, y algo en un centro de datos te responde. La IA local es ejecutar el modelo en tu propio equipo o servidor. Puede reducir dependencias externas y dar más control sobre los datos, pero no elimina el mantenimiento ni convierte por sí sola un sistema en privado.

La analogía de la música

Recuerda qué pasó con la música: primero comprabas CDs, luego vinieron Spotify y el streaming (tu música vive en el servidor de otro), y también quedó el camino de tener tus propios archivos. La IA está viviendo lo mismo:

• ChatGPT / Gemini / Claude = servicios gestionados en la nube: cómodos, con modelos capaces y políticas que debes revisar.
• IA local = ejecutar tus propios pesos. Ganas control sobre el entorno y los datos, pero asumes hardware, mantenimiento y actualizaciones.

¿Qué necesitas para ejecutar un modelo en local?

Tres cosas, y una de ellas importa mucho:

1. El modelo: el «cerebro» — un archivo (o diez) que contiene los pesos entrenados. Viene en formatos como GGUF, AWQ o EXL3.
2. Un runtime: el programa que lo ejecuta. Los más conocidos: llama.cpp, Ollama, vLLM, SGLang o LM Studio (con interfaz gráfica, ideal para empezar).
3. Hardware, y aquí viene la parte seria:
   • CPU: puede funcionar en un PC moderno, pero la velocidad depende mucho del modelo, la cuantización y el hardware.
   • GPU con mucha VRAM: la memoria de la tarjeta es el factor limitante. Como orden de magnitud para los pesos en 4-bit, un modelo de 7B puede rondar ~5GB y uno de 70B ~40GB; la KV cache, el runtime y los temporales necesitan margen adicional.
   • Apple Silicon / plataformas con memoria compartida: pueden ser prácticas para ciertos tamaños porque CPU y GPU comparten memoria; el ancho de banda y la memoria disponible siguen siendo límites reales.

¿Y qué se puede hacer en local, de verdad?

Estos son casos de uso que puedes montar tú (casi todos tienen su receta):

• Chat y asistencia con modelos tipo Llama, Qwen, GLM o Mistral.
• Transcribir audio con Whisper manteniendo el audio en local si no conectas servicios externos.
• Generar imágenes con Flux o SDXL.
• Automatizar con n8n + un modelo local como cerebro.
• E incluso servir IA a toda la familia desde tu propio servidor.

Por qué lo hacemos (las 4 razones honestas)

1. Más control: tus datos pueden quedarse en tu perímetro si revisas logs e integraciones.
2. Coste visible: pagas hardware, luz, almacenamiento y mantenimiento en vez de solo una cuota o consumo de API.
3. Aprendizaje: montar un servidor de IA te enseña más que 100 tutoriales.
4. Porque se puede aprender: demostrar los límites forma parte de nuestra misión.

El precio de la libertad

Seamos honestos: los modelos locales todavía van por detrás de los mejores de la nube en algunas tareas. Y tu hardware tiene un límite físico. La brecha cambia con cada modelo y runtime, pero la comparación debe hacerse con tus datos. Lo que hemos medido nosotros está en Benchmarks, y si quieres empezar hoy, aquí tienes la ruta.