← Las 34 trampasTrampa P-084 · severidad alta

Medir con una sola petición cuando el uso real son varios agentes a la vez

Qué pasó

Comparábamos modelos y montajes por la velocidad con una petición. Pero el uso real eran varios agentes trabajando en paralelo, y ahí lo que manda es el trabajo total:

peticiones a la vez total cada una
1 25,7 tok/s 25,7
4 44,1 tok/s 12,4

Con cuatro agentes, una sola máquina hacía tanto trabajo como dos máquinas juntas con una petición. Habíamos comparado el mejor caso de un montaje contra el peor del otro.

Cómo evitarlo

Mide siempre dos cifras: con una petición (lo que siente quien chatea) y con 4 u 8 a la vez (lo que importa para agentes). Publicar solo una es contar media historia.