Dos prompts de prueba que empiezan igual: la caché te regala la medida
Qué pasó
Una medida de lectura de prompts salió espectacular. Demasiado. Nuestro generador de pruebas creaba los textos con random.Random(semilla): con la misma semilla, el prompt corto era exactamente el comienzo del largo. El servidor ya tenía ese comienzo en su caché de prefijo y solo procesaba el final.
Cómo evitarlo
- Usa una semilla distinta para cada prompt de prueba.
- Mira el campo
cached_tokensde la respuesta: en una medida en frío tiene que ser 0. - Si una mejora parece demasiado buena, busca qué trabajo se está saltando el servidor.