Servíamos el 6 % del contexto que el modelo es capaz de usar

Cómo nos dimos cuenta

Otro laboratorio recomendaba este mismo modelo con 1M de contexto en una sola máquina. Nosotros lo servíamos con 64K. El log del servidor lo decía claro: n_ctx_train: 1048576.

Qué hicimos

Subir el contexto de 65.536 a 262.144 tokens y comprobarlo de verdad con una prueba de «agujas»: esconder datos concretos en un texto enorme y pedir al modelo que los encuentre.

Resultado

• 9 de 9 datos encontrados en un texto de 153.418 tokens.
• Respuestas idénticas a temperatura 0 que con el contexto corto.

Qué significa para ti

Mira el contexto con el que se entrenó tu modelo (suele aparecer en su ficha o en el log de arranque como n_ctx_train o max_position_embeddings) y compáralo con el que estás sirviendo. Y recuerda que el cliente también tiene su propio límite (P-022).