Check Utilization
User could use the following commands to check/monitor the resource utilization/usage of the SLURM jobs:
Check GPU Node Usage
User can use command gpu_avail to check the status of GPU nodes
$ gpu_avail ╒═════════╤═════╤═══════════════════╤════════════════════╕ │ Compute │ GPU | TRES per node │ Available │ │ node │ GEN | CPU RAM(GB) GPU │ CPU RAM(GB) GPU │ ├─────────┼─────┼───────────────────┼────────────────────┤ │ SPG-1-1 │ VLT │ 32 384 4 │ 22 224 3 │ │ SPG-1-2 │ VLT │ 32 384 4 │ 0 290 0 │ │ SPG-1-3 │ VLT │ 32 384 4 │ 7 180 1 │ │ SPG-1-4 │ VLT │ 32 384 4 │ 0 290 0 │ │ SPG-2-1 │ VLT │ 32 384 8 │ 24 361 4 │ │ SPG-2-2 │ VLT │ 32 384 8 │ 1 293 2 │ │ SPG-2-3 │ VLT │ 32 384 8 │ 1 246 3 │ │ SPG-3-1 │ ADA │ 64 1000 10 │ 64 1000 10 │ │ SPG-3-2 │ ADA │ 64 1000 10 │ 64 1000 10 │ │ SPG-4-1 │ ADA │ 64 500 8 │ 59 484 4 │ │ SPG-4-2 │ ADA │ 64 500 8 │ 64 500 8 │ └─────────┴─────┴───────────────────┴────────────────────┘