De dos nodos al Rack-0: así nació En Local

Todo empezó con una pregunta demasiado simple: «¿Y si montamos nuestra propia IA?»

No la de una web ni la de una app de terceros. La que podamos inspeccionar, medir y explicar en español, con el hardware delante y los datos a la vista. El nombre de este post conserva el origen: al principio imaginábamos el laboratorio como un cluster de dos nodos. Hoy el proyecto se llama En Local y su inventario ha crecido hasta convertirse en Rack-0.

El inventario que estamos construyendo

• 6× ASUS Ascent GX10: nodos GB10 con hasta 128 GB de memoria unificada por equipo. Son la base para estudiar modelos grandes y ejecución distribuida.
• 3× Strix Halo: Ryzen AI Max+ 395 con memoria compartida, pensadas para servicio, embeddings, audio y comparativas de modelos que sí caben en un nodo.
• 2× RTX 5090 móvil: el banco rápido para imagen, vídeo, prototipos y modelos cuya huella entra en 24 GB.
• MikroTik CRS812: el tejido de red que permitirá comparar una configuración de laboratorio con el cuello de botella de una red doméstica.

La lista describe hacia dónde vamos, no lo que ya funciona. Hoy tenemos dos GX10 operativas, unidas por un cable de 200 Gb/s y funcionando como clúster; el resto está en plano. Lo que ya hemos medido en ellas —velocidad, contexto, temperatura— está en Benchmarks, siempre con la configuración exacta.

Por qué nos atrapó la memoria unificada

En una GPU convencional, la VRAM marca pronto el techo. En un sistema de memoria unificada CPU y GPU comparten un espacio común, lo que abre otra escala de experimentación: modelos que no entrarían en una tarjeta de 24 GB pueden ser candidatos en un nodo con más memoria. No significa que toda esa memoria sea utilizable por los pesos: el sistema operativo, la KV cache, los contenedores y el runtime también necesitan espacio.

La pregunta interesante no es «¿cuántos parámetros anuncia?», sino:

1. ¿Qué huella ocupa la revisión exacta y su cuantización?
2. ¿Cuánta memoria queda para contexto y concurrencia?
3. ¿Qué ancho de banda y qué red necesita?
4. ¿Qué calidad y velocidad entrega en tareas reales en español?

Qué papel tendrá cada máquina

Cuando el rack esté completo, cada nodo tendrá un papel claro:

• un nodo de servicio para modelos pequeños, embeddings y audio;
• un nodo rápido para demos y pruebas cortas;
• un par de GX10 para investigar inferencia distribuida;
• un nodo soberano para ALIA, Salamandra y RAG sobre documentación española;
• una reserva para cuantizaciones, LoRA y comparativas de runtimes.

Es un mapa de trabajo, no una promesa de que todo eso esté ya funcionando. La arquitectura viva se puede seguir en El Rack.

Las primeras lecciones

La primera regla del proyecto salió antes de la primera gran medición: la memoria no es gratis. El contexto consume recursos, las descargas necesitan espacio temporal y una red rápida puede ser tan importante como el modelo. Por eso no publicaremos «récords» sin identificar modelo, revisión, cuantización, runtime, contexto, temperatura y potencia.

También aprendimos que el laboratorio tiene dos caras. Toni se ocupa del rack, las configuraciones y las medidas; Jaume de la voz, la edición, la comunidad y la traducción de lo técnico a algo que se pueda usar. Los dos decidimos qué merece convertirse en una prueba pública.

Lo que viene

El primer episodio del podcast está en construcción. Mientras tanto, por dónde empezar:

• Qué modelo poner en una GX10, con las cifras de lo que ya hemos probado.
• Recetas, guías paso a paso.
• Trampas, los errores que ya cometimos para que no te pasen a ti.

La idea sigue siendo la misma que al principio: construir algo nuestro y enseñar también lo que no funciona. Tener máquinas no tiene mérito; lo útil es contar qué se puede hacer con ellas.