Medir con una sola petición cuando el uso real son varios agentes a la vez
Qué pasó
Comparábamos modelos y montajes por la velocidad con una petición. Pero el uso real eran varios agentes trabajando en paralelo, y ahí lo que manda es el trabajo total:
| peticiones a la vez | total | cada una |
|---|---|---|
| 1 | 25,7 tok/s | 25,7 |
| 4 | 44,1 tok/s | 12,4 |
Con cuatro agentes, una sola máquina hacía tanto trabajo como dos máquinas juntas con una petición. Habíamos comparado el mejor caso de un montaje contra el peor del otro.
Cómo evitarlo
Mide siempre dos cifras: con una petición (lo que siente quien chatea) y con 4 u 8 a la vez (lo que importa para agentes). Publicar solo una es contar media historia.