Slurm — мощный менеджер рабочей нагрузки, используемый в средах высокопроизводительных вычислений (HPC). Это позволяет пользователям отправлять задания в кластерах и управлять ими. Со временем может накопиться большое количество скриптов Slurm, что приводит к необходимости время от времени очищать и удалять ненужные скрипты. Однако очень важно убедиться, что этот процесс не затрагивает выполняемые задания. В этой статье мы рассмотрим различные методы удаления сценариев Slurm, исключая при этом любые сценарии, связанные с выполнением заданий. Для облегчения реализации мы предоставим примеры кода для каждого метода.

Метод 1: использование squeue и grep
Команда squeue позволяет нам просматривать состояние запущенных заданий. Мы можем объединить его с grep, чтобы исключить каталоги или файлы, связанные с запущенными заданиями, и удалить оставшиеся сценарии. Вот пример:

#!/bin/bash
# Get the list of running job IDs
running_jobs=$(squeue -h -u $USER -o "%i")
# Delete Slurm scripts excluding running jobs
find /path/to/scripts/ -name "*.slurm" -type f | grep -vFf <(echo "$running_jobs") | xargs rm -f

Метод 2: использование sacct и awk
Команда sacct предоставляет информацию о завершенных заданиях Slurm. Мы можем использовать его вместе с awk для фильтрации каталогов или файлов, связанных с запущенными заданиями. Вот пример:

#!/bin/bash
# Get the list of running job IDs
running_jobs=$(squeue -h -u $USER -o "%i")
# Delete Slurm scripts excluding running jobs
find /path/to/scripts/ -name "*.slurm" -type f | grep -vFf <(sacct -u $USER -n -P -o JobID | awk '{print "^" $1 "$"}') | xargs rm -f

Метод 3: анализ журналов заданий Slurm
Slurm хранит журналы заданий в определенном каталоге. Мы можем проанализировать эти журналы, чтобы определить идентификаторы выполняемых заданий и исключить связанные с ними сценарии из удаления. Вот пример:

#!/bin/bash
# Get the list of running job IDs
running_jobs=$(grep -r "RUNNING" /var/log/slurm/ | awk '{print $8}')
# Delete Slurm scripts excluding running jobs
find /path/to/scripts/ -name "*.slurm" -type f | grep -vFf <(echo "$running_jobs") | xargs rm -f

Очистка ненужных сценариев Slurm — важная задача обслуживания в средах HPC. Однако крайне важно исключить сценарии, связанные с выполнением заданий, чтобы избежать каких-либо сбоев. В этой статье мы представили три метода достижения этой цели. Используя squeue и grep, sacct и awk или анализируя журналы заданий Slurm, администраторы могут эффективно удалять ненужные сценарии, обеспечивая при этом бесперебойное выполнение выполняемых заданий. С помощью этих методов и предоставленных примеров кода пользователи могут поддерживать хорошо организованную среду Slurm и оптимизировать рабочий процесс HPC.