El mismo modelo en dos motores distintos: el motor importa tanto como el modelo

Qué hicimos

Servir el mismo modelo con dos programas distintos: llama.cpp (el que usábamos) y ds4, un motor especializado en este modelo. Después, el mismo banco de 84 escenarios con herramientas.

Resultado

	ds4	llama.cpp
banco de agentes	89/100	83/100
escenarios fallados	3	9
lectura del prompt (18K tokens)	~910 tok/s	410 tok/s
generación, una petición	18–23 tok/s	30–33 tok/s
12 peticiones a la vez	55,7 tok/s en total	no admite
memoria libre	10,2 GB (a 256K)	3,5 GB (a 128K)

Y lo hace con una cuantización más agresiva (menos bits).

Lo único que pierde

La generación con una sola petición. Pero en trabajo con agentes —respuestas cortas y mucho contexto releído— pesa más leer el prompt rápido que generar rápido, y ahí ds4 va 2,2 veces más rápido.

Qué significa para ti

Antes de cambiar de modelo porque «va lento» o «falla con herramientas», prueba otro motor. La misma cuantización en otro programa puede dar resultados muy distintos.