htcondor/htmap-exec

HTMap执行镜像（htcondor/htmap-exec）

镜像概述

本镜像为HTMap的默认执行环境镜像。HTMap是基于HTCondor的Python库，通过包装集群功能实现Python函数的分布式映射，帮助用户高效利用高吞吐量计算资源，专注于业务逻辑而非集群管理细节。

核心功能

1. 支持将任意Python函数提交到HTCondor集群执行
2. 提供任务提交、状态监控、结果回收的全流程管理
3. 透明化集群资源访问，降低高吞吐量计算入门门槛
4. 兼容常见Python依赖，便于功能扩展

使用场景

• 科学计算中的大规模并行任务（如数据模拟、统计分析）
• 批量数据处理与转换
• 利用集群资源的机器学习模型训练（分布式任务拆分）
• 高频次低延迟的计算任务调度

配置说明

1. 工作目录挂载：挂载本地代码/数据目录到容器内

   bash
   docker run -v /本地路径:/容器内路径 htcondor/htmap-exec
   

2. 环境变量配置：设置HTCondor参数（如池地址、资源限制）

   bash
   docker run -e HTCONDOR_POOL=your-pool-address htcondor/htmap-exec
   

3. 依赖扩展：基于本镜像构建自定义镜像，或挂载requirements.txt安装额外包

Docker部署示例

基础运行

bash
docker pull htcondor/htmap-exec
docker run htcondor/htmap-exec

结合HTMap使用（Python代码示例）

python
import htmap

# 指定执行镜像
htmap.settings['executor']['docker']['image'] = 'htcondor/htmap-exec'

# 定义任务函数
def compute(x):
    return x ** 2

# 提交10个并行任务
task_map = htmap.map(compute, range(10))

# 获取并打印结果
print(task_map.get_results())