Qué es la IA local (y por qué nos tiene enamorados)

Cuando la gente dice «IA» piensa en ChatGPT: abres una web, escribes, y algo en un centro de datos a miles de kilómetros te responde. La IA local es lo contrario: el modelo vive en tu máquina. Sin nube, sin suscripciones, sin que nadie lea tus datos.

La analogía de la música

Recuerda qué pasó con la música: primero comprabas CDs, luego vinieron Spotify y el streaming (tu música vive en el servidor de otro), y también quedó el camino de tener tus propios archivos. La IA está viviendo lo mismo:

• ChatGPT / Gemini / Claude = el Spotify de la IA. Cómodo, de pago, en la nube.
• IA local = tener tus propios «archivos». Tú controlas el modelo, tus datos y tu gasto.

¿Qué necesitas para ejecutar un modelo en local?

Tres cosas, y una de ellas importa mucho:

1. El modelo: el «cerebro» — un archivo (o diez) que contiene los pesos entrenados. Viene en formatos como GGUF, AWQ o EXL3.
2. Un runtime: el programa que lo ejecuta. Los más conocidos: llama.cpp, Ollama, vLLM, SGLang o LM Studio (con interfaz gráfica, ideal para empezar).
3. Hardware, y aquí viene la parte seria:
   • CPU: funciona con cualquier PC moderno, pero lento (2-10 tokens/segundo en modelos medianos).
   • GPU con mucha VRAM: la memoria de la tarjeta es el factor limitante. Un modelo de 7B en cuantización 4-bit necesita ~5GB; uno de 70B, ~40GB.
   • Apple Silicon / Jetson: las GPU integradas con memoria unificada son la estrella del IA local, porque «comparten» RAM con la GPU.

¿Y qué se puede hacer en local, de verdad?

Todo lo que hacemos en El Laboratorio corre en local:

• Chat y asistencia con modelos tipo Llama, Qwen, GLM o Mistral.
• Transcribir audio con Whisper (sin enviar ninguna reunión a la nube).
• Generar imágenes con Flux o SDXL.
• Automatizar con n8n + un modelo local como cerebro.
• E incluso servir IA a toda la familia desde tu propio servidor.

Por qué lo hacemos (las 4 razones honestas)

1. Privacidad real: tus conversaciones no salen de casa.
2. Coste plano: pagas la luz, no la suscripción.
3. Aprendizaje: montar un servidor de IA te enseña más que 100 tutoriales.
4. Porque se puede: y demostrarlo es nuestra misión en este podcast.

El precio de la libertad

Seamos honestos: los modelos locales todavía van por detrás de los mejores de la nube en algunas tareas. Y tu hardware tiene un límite físico. Pero la brecha se cierra cada mes, y hay una Magia especial cuando tu propio ordenador te responde. Ese momento lo vamos a compartir con vosotros episodio a episodio.