Dos ASUS Ascent GX10 unidas por un cable de 200 Gb/s, un servidor en casa y todo lo que aprendemos haciéndolas correr modelos de IA. Te lo contamos en español y paso a paso: qué funciona, cuánto corre, cómo montarlo y los errores que ya cometimos por ti.
Generación con una sola petición. Cada cifra enlaza su experimento en la clasificación completa.
Desactivamos el pensamiento oculto por defecto para agentes: desaparecieron los bucles de «!!!!!!!!» que veían los clientes, la latencia bajó y la nota subió de 82 a 83.
Un modelo de código comunitario con buenas señales cortas (100/100 en 15 escenarios) que se cae en el banco completo: sus problemas con llamadas de herramientas obligatorias y JSON lo desaconsejan como modelo de trabajo.
El cambio de la receta v0.5.0 a la v1.5 mantiene el 90/100, mejora la velocidad de decodificación y el alias del modelo no cambia, así que ningún cliente se reconfiguró.
El mismo banco de 84 escenarios le da a GLM con TensorFold su mejor nota histórica (90/100), junto a un salto de agilidad en los turnos.
Promovimos la receta TensorFold de GLM como residente de producción: un millón de contexto, herramientas, visión y arranque automático con rollback.
Del servidor propio al móvil: VPS o máquina en casa, red privada, publicación sin abrir puertos, despliegue con git y agentes de IA que siguen trabajando cuando tú no estás delante.
Ver la serie completa
Poner dos ordenadores con memoria unificada a servir un mismo modelo funciona, pero sumar memoria no es sumar un solo pool. Lo que hay que decidir antes de encender nada.
El protocolo que usamos en el laboratorio para que una medida sea reproducible: qué registrar, en qué orden, y por qué una cifra sin condiciones no es una medida.
Del clúster que funciona solo después de un reinicio al cartucho que rota sin borrar pesos. Los detalles de operación que convierten un experimento en algo que puedes dejar encendido.
Los agentes no recuerdan lo que hizo otro agente ayer, ni lo que hicieron ellos mismos en otra sesión. Una carpeta con cuatro ficheros de texto lo cambia todo. Así la organizamos y estas son las reglas que la mantienen útil.
De todos los errores que hemos documentado, estos son los que casi todo el mundo pisa al empezar con vLLM, llama.cpp o SGLang. Síntoma, causa y la comprobación de treinta segundos que te ahorra la tarde.
Juntar dos máquinas en un solo modelo da un millón de contexto y modelos de 300B. Separarlas da casi el doble de trabajo total. Las cifras de un mes probando las dos cosas en el mismo par de GX10.
El resumen de la semana del laboratorio: lo medido, lo roto y lo que recomendamos ahora.
Una ruta guiada para pasar de «¿qué es un token?» a tener un modelo funcionando en tu ordenador, y después llevártelo al móvil.
Empieza aquí