«No tiene memoria y se queda parado»: casi nunca es el contexto

Qué pasó

Las quejas eran «el contexto es muy pequeño», «se queda parado», «se pierde con cosas simples». Todo sonaba a falta de contexto. Medimos el uso real de tokens por turno: el pico era de 12.553 tokens de 262.144 disponibles, un 4,8 %.

Lo que sí había en cada mensaje fallido era un error que el cliente no mostraba:

Expected 'function.name' to be a string.

Es decir, una llamada a herramienta mal formada que dejaba al agente sin respuesta.

Cómo evitarlo

Antes de ampliar el contexto o cambiar de modelo, mira cuántos tokens usa de verdad cada turno y qué error devuelve cada mensaje fallido. Casi todos los agentes tienen una forma de consultar el historial de la sesión con sus errores. Es gratis y suele dar la respuesta.