Descargar un modelo sin su plantilla de chat: arranca bien y falla en cada petición
Qué pasó
Descargamos 72 GB de un modelo con un filtro de ficheros que parecía completo (*.safetensors, *.json, *.txt…). El servidor arrancó, el /health decía «ok», el modelo aparecía en la lista… y cada petición de chat devolvía error 400:
Cannot use chat template functions because tokenizer.chat_template is not set
Por qué
Los repositorios modernos ya no meten la plantilla de chat dentro de tokenizer_config.json: la guardan aparte, en chat_template.jinja. El filtro no incluía *.jinja.
Cómo evitarlo
- Si descargas con filtros, añade
*.jinja. - Compara la lista de ficheros de tu carpeta con la del repositorio antes de dar la descarga por buena. Son diez segundos y te ahorran otra carga de cinco minutos.