Tras un reinicio, el clúster de dos máquinas no arranca por un número que cambió solo

Qué pasó

Una de las dos GX10 se apagó con el botón. Al volver, el modelo repartido entre las dos no arrancaba: 17 minutos reintentando y un único error visible:

RuntimeError: NCCL error: unhandled system error

La pista real estaba escondida entre cientos de líneas: ibv_modify_qp failed with 61 No data available.

Por qué

Para hablar por el cable de alta velocidad, NCCL usa un índice GID de la tarjeta de red. Ese índice no es fijo: puede cambiar tras un reinicio. Teníamos el mismo número para las dos máquinas; tras el apagón, en una de ellas pasó del 3 al 4.

Cómo evitarlo

• No fijes el mismo índice para las dos máquinas: calcúlalo en cada arranque o compruébalo antes de lanzar.
• Ante un error de NCCL que no dice nada, arranca con NCCL_DEBUG=INFO y busca la primera advertencia, no la última línea.