1094956080/submit-condor

多平台分布式处理工具包（基于Docker和HTCondor）

本镜像基于Ubuntu 16.04构建，集成HTCondor组件，作为分布式计算系统的SUBMIT节点。项目为哥伦比亚昆迪纳马卡大学系统与计算机工程专业学生的毕业设计，受组织知识产权规范保护。

核心功能

1. 作为SUBMIT节点，支持分布式计算任务的提交与管理
2. 包含Rscript运行环境及PHP/HTML5/CSS3开发的Web管理平台，提供任务创建、执行、节点监控等可视化操作
3. 内置配置脚本，可通过Web界面控制节点

使用场景

适用于需要多节点分布式处理的场景，如批量数据处理、科学计算任务调度等，帮助用户简化分布式系统的管理流程。

配置说明

1. 需自定义配置condor_config.local文件
2. 系统hosts文件需包含所有节点的hostname及对应IP
3. 若使用host网络模式，容器hostname需与主机一致

部署示例

脚本执行方式

项目提供初始化脚本init_Kit_HTconDocker.sh，需传入3个参数：

1. 容器类型：master/submit/execute
2. 镜像版本：如5.4（需参考DockerHub最新版本）
3. 网络模式：host/subnet-public-port/subnet

脚本内容：

bash
#!/***/bash 
if [ ! $1 ]
then 
echo "必须指定容器类型 [ master | submit | execute ]";
else
if [ ! $2 ]
then
echo "必须指定版本参数 [ 1.0 | 2.0 | ... | 5.4 ]（请查看DockerHub最新版本）"
else
if [ ! $3 ]
then
echo "必须指定网络类型 [ host | subnet-public-port | subnet ]"
else
	if [ $1 = 'master' ] || [ $1 = 'submit' ] || [ $1 = 'execute' ]
	then
	HOSTNAME=$(cat /etc/hostname);
	NAME=$1"-condor";
	CONTENEDOR="***/"$NAME":"$2;
	CONTENEDOREXISTE=$(docker ps -a | grep "$NAME:$2");
		if [ ${#CONTENEDOREXISTE} -gt 0 ]
		then
		echo "已存在该类型容器：$1，版本：$2"
		else
			echo "将安装容器：$1，版本：$2";
			if [ $3 = 'host' ]
			then
				docker run -it --net host --hostname $HOSTNAME --name $NAME $CONTENEDOR
			elif [ $3 = 'subnet-public-port' ]
			then
				docker run -it -p 9600-***:9600-*** -p 80:80 --hostname $HOSTNAME --name $NAME $CONTENEDOR
			elif [ $3 = 'subnet' ]
			then
				docker run -it --hostname $HOSTNAME --name $NAME $CONTENEDOR
			else
			echo "网络类型参数错误，需为 [ host | subnet-public-port | subnet ]"
			fi
		fi
	else
	echo "容器类型错误，仅支持 [ master | submit | execute ]";
	fi
fi
fi
fi

执行示例

bash
$ ./init_Kit_HTconDocker.sh submit 5.4 host

网络模式说明

• host：容器使用主机网络，需注意端口冲突
• subnet-public-port：容器使用私有子网，暴露80端口及9600-***端口（HTCondor所需）
• subnet：容器使用私有子网，无端口暴露，适合同一子网内的节点测试
  ===END===