«--no-mmap»: el arranque del modelo pasó de 8 minutos a minuto y medio
Un solo parámetro de llama.cpp redujo el tiempo de carga de un modelo de 97 GB de 478 a 93 segundos, y además dejó más memoria libre.
Qué hicimos
Arrancamos el mismo modelo (97 GB en disco) con y sin --no-mmap en llama.cpp.
Resultado
sin --no-mmap |
con --no-mmap |
|
|---|---|---|
| arranque | 478 s | 93 s (5,1× más rápido) |
| memoria disponible tras cargar | — | +1,2 GiB y menos swap |
Por qué
Por defecto, llama.cpp «mapea» el fichero del modelo y deja que el sistema lo vaya leyendo según hace falta. En una máquina con memoria unificada y un modelo que ocupa casi toda la memoria, eso provoca muchas lecturas pequeñas y presión sobre la caché. Con --no-mmap lo lee de una vez.
Qué significa para ti
Si tu modelo ocupa gran parte de la memoria y tarda mucho en arrancar, prueba --no-mmap. Mide antes y después: en máquinas con memoria de sobra puede no notarse.
Medido en nuestras máquinas. Dos ASUS Ascent GX10 (NVIDIA GB10, 128 GB de memoria unificada). En tu equipo las cifras serán otras: lo que se traslada es el método y la lección.