← Las 34 trampasTrampa P-015 · severidad alta

Descargar un modelo sin su plantilla de chat: arranca bien y falla en cada petición

Qué pasó

Descargamos 72 GB de un modelo con un filtro de ficheros que parecía completo (*.safetensors, *.json, *.txt…). El servidor arrancó, el /health decía «ok», el modelo aparecía en la lista… y cada petición de chat devolvía error 400:

Cannot use chat template functions because tokenizer.chat_template is not set

Por qué

Los repositorios modernos ya no meten la plantilla de chat dentro de tokenizer_config.json: la guardan aparte, en chat_template.jinja. El filtro no incluía *.jinja.

Cómo evitarlo

  • Si descargas con filtros, añade *.jinja.
  • Compara la lista de ficheros de tu carpeta con la del repositorio antes de dar la descarga por buena. Son diez segundos y te ahorran otra carga de cinco minutos.