Juntar dos máquinas en un solo modelo da un millón de contexto y modelos de 300B. Separarlas da casi el doble de trabajo total. Las cifras de un mes probando las dos cosas en el mismo par de GX10.
Después de medir diez modelos en el mismo par de máquinas, esta es nuestra recomendación según para qué lo quieras: chat rápido, agentes en paralelo, programación, contexto enorme o multimodal. Con la cifra y el experimento detrás de cada elección.
Velocidad, contexto, varias peticiones a la vez, calidad con preguntas trampa, uso de herramientas y seguridad. Qué medimos antes de recomendar un modelo y por qué cada pieza está ahí.
MMLU, HumanEval, GPQA... Los benchmarks son el carnet de notas de los modelos de IA. Te explicamos qué miden, cómo y cuándo te engañan.