Un lote demasiado grande hace que el sistema use swap y todo vaya más lento

Qué pasó

Teníamos un modelo grande con su borrador ocupando 107 de 121 GiB de memoria. Con --ubatch-size 4096, al sistema le quedaban 0,4 GiB libres y empezó a usar swap (memoria en disco). La lectura del prompt cayó un 24 % y parecía «el coste del borrador».

Bajando a --ubatch-size 2048 quedaron 5 GiB libres, el swap desapareció y mejoraron las dos fases: prompt +17 %, generación +8 %.

Por qué

En una máquina con memoria unificada, la memoria que usa el modelo y la del sistema son la misma. Si te pasas, el sistema mueve datos a disco y todo se hunde.

Cómo evitarlo

Antes de culpar a un cambio de una pérdida de rendimiento, mira si estás usando swap:

awk '/MemAvailable|SwapFree/' /proc/meminfo
vmstat 1 3      # la columna "so" debe ser 0 mientras mides

Si so no es 0 durante una prueba, esa medida no vale.