Copiar «--gpu-memory-utilization 0.90» de otra receta nos apagó la máquina

Qué pasó

Arrancamos un modelo con --gpu-memory-utilization 0.90, copiado de una receta pensada para otra máquina. En una GX10 eso son unos 109 GiB de 121,6. vLLM lo confirmó en su log (116 GiB disponibles para caché)… y el sistema operativo se quedó sin aire. La máquina dejó de responder y hubo que apagarla con el botón.

Por qué

En una tarjeta gráfica normal, ese porcentaje es de la memoria de la tarjeta. En una máquina con memoria unificada (GB10, Strix Halo, Mac), la «memoria de la GPU» es la del sistema. Lo que reservas para el modelo se lo quitas al sistema operativo, a Docker y a todo lo demás.

Cómo evitarlo

• Calcula cuánto deja libre antes de arrancar: total × (1 − utilización) tiene que cubrir el sistema y lo que corra al lado.
• Empieza bajo (0,70–0,80) y sube poco a poco vigilando free -g.
• Nunca copies ese valor de una receta hecha para otro hardware.