Cómo medimos IA local

Una cifra sin contexto es una anécdota. En Local publica una medida solo cuando otra persona puede entender qué se ejecutó y repetir la prueba.

El contrato de cada benchmark

• Modelo y versión: nombre exacto, formato y cuantización.
• Hardware: nodo, memoria disponible y topología si hay más de una máquina.
• Runtime: backend, versión y flags relevantes.
• Carga: contexto, tokens de entrada y tokens generados.
• Resultado: tok/s de generación, TTFT, temperatura y potencia cuando estén disponibles.
• Notas: cualquier limitación, error o decisión que cambie la lectura.

Tres etiquetas, una regla

Medido significa que lo hemos ejecutado y registrado en el laboratorio. Derivado significa que parte de una medida propia, pero incluye una operación explicada. Pendiente significa que la ficha ayuda a ordenar la investigación, pero todavía no es evidencia.

Las fichas de Modelos y Hardware pueden estar en cola antes de tener un benchmark. Cuando haya números, aparecerán en Benchmarks con su configuración.

Qué no hacemos

No convertimos la especificación de un fabricante en una medida nuestra. No rellenamos tok/s, vatios o latencias para que una tabla parezca completa. Si una prueba falla, el fallo también forma parte de la receta.

Consulta la arquitectura de El Rack y recibe cada medida nueva en Lab Notes.