plotter/docker-job-dispatcher

Docker任务调度器

这是一个轻量级API，用于调度已准备好的Docker容器作为任务执行。它是实验性项目，使用https://jqlang.github.io/jq/%E4%BD%9C%E4%B8%BA%E9%85%8D%E7%BD%AE%E8%AF%AD%E8%A8%80%EF%BC%88%E7%B1%BB%E4%BC%BChttps://github.com/kklingenberg/k8s-job-dispatcher%EF%BC%89%E3%80%82

暴露的API会将请求转换为Docker API请求以创建和获取容器，转换过程通过jq过滤器和https://github.com/01mf02/jaq%E5%BA%93%E6%89%A7%E8%A1%8C%E3%80%82%E7%94%A8%E6%88%B7%E5%8F%AF%E9%85%8D%E7%BD%AEjq%E8%BF%87%E6%BB%A4%E5%99%A8%EF%BC%8C%E8%87%AA%E7%94%B1%E8%A7%A3%E6%9E%90%E8%AF%B7%E6%B1%82%E5%B9%B6%E7%BB%84%E8%A3%85%E5%AE%B9%E5%99%A8%E6%B8%85%E5%8D%95%E3%80%82

核心功能

• 请求转换：将外部请求通过jq过滤器转换为Docker容器创建请求
• 自定义配置：支持从文件加载jq过滤器，灵活定义任务逻辑
• 并发控制：可设置最大并发运行容器数，默认无限制
• 任务清理：自动清理指定时间后退出的任务容器
• 监控指标：通过/metrics端点提供OpenMetrics格式的任务运行指标

使用场景

• 批量执行Docker容器化任务（如数据处理、自动化测试）
• 轻量级容器作业调度，替代复杂的K8s任务调度场景
• 需要自定义请求转换逻辑的容器任务管理

配置说明

命令行选项

text
任务调度接口，作为Docker容器调度器使用

用法：docker-job-dispatcher [OPTIONS] [FILTER]

参数：
  [FILTER]  用于将请求转换为容器清单的过滤器

选项：
  -f, --from-file <FROM_FILE>    从文件读取过滤器 [环境变量: FROM_FILE=]
  -p, --port <PORT>              监听的TCP端口 [环境变量: PORT=] [默认值:8000]
  -m, --max-concurrent <MAX_CONCURRENT>  最大并发运行容器数；默认无限制；设为0则不启动任务 [环境变量: MAX_CONCURRENT=]
  -k, --keep-exited-for <KEEP_EXITED_FOR>  保留已退出任务的时间（秒）；默认永久保留 [环境变量: KEEP_EXITED_FOR=]
  -u, --upkeep-interval <UPKEEP_INTERVAL>  定期调度和清理的间隔时间（秒） [环境变量: UPKEEP_INTERVAL=] [默认值:3]
  -t, --transport <TRANSPORT>    连接Docker守护进程的方式 [环境变量: TRANSPORT=] [默认值:socket] [可选值:http,tls,socket]
  -n, --namespace <NAMESPACE>    应用于任务的标签，用于分组 [环境变量: NAMESPACE=] [默认值:default]
      --log-level <LOG_LEVEL>    日志级别 [环境变量: LOG_LEVEL=] [默认值:INFO]
  -h, --help                     打印帮助信息
  -V, --version                  打印版本信息

部署示例

Docker Run命令

bash
docker run -d \
  --name docker-job-dispatcher \
  -v /var/run/docker.sock:/var/run/docker.sock \
  -p 8000:8000 \
  plotter/docker-job-dispatcher \
  --from-file /path/to/your/filter.jq \
  --max-concurrent 5 \
  --keep-exited-for 1800 \
  --log-level DEBUG

监控指标

通过http://<host>:8000/metrics可获取任务运行指标，示例如下：

text
# HELP jobs Number of jobs.
# TYPE jobs counter
jobs_total{namespace="default",action="die",status="124"} 3
jobs_total{namespace="default",action="create",status=""} 2
jobs_total{namespace="default",action="start",status=""} 4
jobs_total{namespace="default",action="die",status="0"} 1