giovtorres/docker-centos7-slurm

Slurm on CentOS 7 Docker镜像

镜像概述和主要用途

这是一个基于CentOS 7的Slurm一体化安装镜像，集成了Slurm集群所需的全部核心组件。该容器运行以下关键进程：

• slurmd（Slurm计算节点守护进程）
• slurmctld（Slurm中央管理守护进程）
• slurmdbd（Slurm数据库守护进程）
• slurmrestd（Slurm REST API守护进程）
• munged（身份验证服务，用于创建和验证凭据）
• mariadb（MySQL兼容数据库）
• supervisord（进程控制系统，统一管理所有服务）

此外，通过https://github.com/pyenv/pyenv%E9%A2%84%E5%AE%89%E8%A3%85%E4%BA%86%E4%BB%A5%E4%B8%8BPython%E7%89%88%E6%9C%AC%EF%BC%9A3.6.15%E3%80%813.7.12%E3%80%813.8.12%E3%80%813.9.9%E5%92%8C3.10.0%EF%BC%8C%E6%BB%A1%E8%B6%B3%E4%B8%8D%E5%90%8C%E5%BA%94%E7%94%A8%E7%9A%84%E8%BF%90%E8%A1%8C%E9%9C%80%E6%B1%82%E3%80%82

核心功能和特性

• 一体化部署：无需额外配置即可运行完整的Slurm集群环境
• 完整进程栈：包含Slurm集群所需的全部核心服务和数据库
• 多Python支持：内置3.6到3.10多个Python版本，适应不同应用场景
• REST API支持：通过slurmrestd提供Slurm REST API接口
• 进程管理：使用supervisord统一监控和管理所有服务进程
• 灵活定制：支持通过构建参数自定义Slurm版本和Python版本

使用场景和适用范围

• Slurm集群管理的开发与测试环境
• 快速搭建Slurm功能验证平台
• Slurm工作流的学习和演示
• 自动化测试Slurm相关应用程序
• 科研计算集群的原型验证

使用方法和配置说明

基本使用

该镜像提供多个https://hub.docker.com/r/giovtorres/docker-centos7-slurm/tags/%E3%80%82%E4%BD%BF%E7%94%A8%E6%9C%80%E6%96%B0%E7%89%88%E6%9C%AC%EF%BC%9A

shell
docker pull giovtorres/docker-centos7-slurm:latest
docker run -it -h slurmctl --cap-add sys_admin giovtorres/docker-centos7-slurm:latest

上述命令将进入容器内的bash shell。Tini负责init功能，supervisord管理所有进程。查看进程状态：

shell
[root@slurmctl /]# supervisorctl status
munged                           RUNNING   pid 23, uptime 0:02:35
mysqld                           RUNNING   pid 24, uptime 0:02:35
slurmctld                        RUNNING   pid 25, uptime 0:02:35
slurmd                           RUNNING   pid 22, uptime 0:02:35
slurmdbd                         RUNNING   pid 26, uptime 0:02:35
slurmrestd                       RUNNING   pid 456, uptime 0:02:00

注意：slurm.conf中ControlMachine主机名设置为slurmctl，运行时必须通过-h slurmctl参数确保主机名匹配。

运行Slurm命令示例：

shell
[root@slurmctl /]# sinfo
PARTITION AVAIL  TIMELIMIT  NODES  STATE NODELIST
normal*      up 5-00:00:00      5   idle c[1-5]
debug        up 5-00:00:00      5   idle c[6-10]

shell
[root@slurmctl /]# scontrol show partition normal
PartitionName=normal
   AllowGroups=ALL AllowAccounts=ALL AllowQos=ALL
   AllocNodes=ALL Default=YES QoS=N/A
   DefaultTime=5-00:00:00 DisableRootJobs=NO ExclusiveUser=NO GraceTime=0 Hidden=NO
   MaxNodes=1 MaxTime=5-00:00:00 MinNodes=1 LLN=NO MaxCPUsPerNode=UNLIMITED
   Nodes=c[1-5]
   PriorityJobFactor=50 PriorityTier=50 RootOnly=NO ReqResv=NO OverSubscribe=NO PreemptMode=OFF
   State=UP TotalCPUs=5 TotalNodes=5 SelectTypeParameters=NONE
   DefMemPerCPU=500 MaxMemPerNode=UNLIMITED

构建镜像

使用现有标签

不同Slurm版本对应不同标签，构建特定版本：

shell
git clone https://github.com/giovtorres/docker-centos7-slurm
git checkout <tag>
docker build -t docker-centos7-slurm .

使用构建参数

通过--build-arg自定义Slurm版本和Python版本：

指定Slurm版本：

shell
docker build --build-arg SLURM_TAG="slurm-19-05-1-2" -t docker-centos7-slurm:19.05.1-2

指定Python版本（空格分隔）：

shell
docker build --build-arg PYTHON_VERSIONS="3.6 3.7" -t docker-centos7-slurm:py3

使用docker-compose

docker-compose文件支持后台运行并通过数据卷持久化Slurm状态：

启动集群：

shell
docker-compose up -d

在容器中执行命令：

shell
docker exec dockercentos7slurm_slurm_1 sinfo
docker exec dockercentos7slurm_slurm_1 sbatch --wrap="sleep 10"
docker exec dockercentos7slurm_slurm_1 squeue

附加到容器bash shell：

shell
docker attach dockercentos7slurm_slurm_1

按Ctrl-p,Ctrl-q可安全分离容器。

停止集群：

shell
docker-compose down

本地测试

使用Testinfra和pytest进行测试：

shell
pytest -v