daskdev/dask-jobqueue

Dask-Jobqueue CI Docker镜像文档

概述

本Docker镜像专为Dask-Jobqueue项目设计，用于支持持续集成（CI）流程。通过提供预配置的标准化环境，确保Dask-Jobqueue的测试、构建及验证流程在不同环境中保持一致性，简化开发团队的自动化工作流。

核心功能与特性

1. 标准化集成环境

• 基于官方Python镜像构建，预配置Dask-Jobqueue及其依赖组件
• 包含测试工具链（如pytest、tox）、代码检查工具（如flake8、black）及构建工具
• 固定基础环境版本，避免因依赖变动导致的CI流程不稳定

2. 多版本兼容性支持

• 提供多标签镜像，对应不同Python版本（如py38、py39、py310）及Dask版本
• 支持指定依赖版本进行兼容性测试，确保Dask-Jobqueue与上下游组件的版本适配

3. CI流程优化

• 内置缓存机制，加速依赖安装与测试执行
• 支持非root用户运行，符合CI环境安全规范
• 与主流CI/CD平台（GitHub Actions、GitLab CI、Jenkins等）无缝集成

4. 可扩展配置

• 支持通过环境变量自定义测试参数、日志级别及输出路径
• 预留挂载点，便于集成用户自定义测试脚本或配置文件

使用场景

1. 开发团队自动化测试

• 集成至项目CI流水线，在代码提交或PR创建时自动触发测试
• 验证代码变更对Dask-Jobqueue核心功能的影响，提前发现兼容性问题

2. 多版本兼容性验证

• 针对不同Python版本或Dask版本运行测试套件，确保跨版本支持
• 在发布前执行全版本测试，降低生产环境兼容性风险

3. 贡献者本地测试

• 为项目贡献者提供一致的本地测试环境，减少"本地可运行，CI失败"问题
• 简化新功能开发过程中的测试流程，提升贡献效率

使用方法与配置说明

镜像获取

从Docker Hub拉取最新版本镜像：

bash
docker pull daskjobqueue/ci:latest

指定Python版本（如Python 3.10）：

bash
docker pull daskjobqueue/ci:py310

基础使用（docker run）

运行测试命令示例：

bash
docker run --rm \
  -v $(pwd):/app \  # 挂载本地代码目录至容器内/app
  -e PYTHON_VERSION=3.10 \  # 指定Python版本（可选）
  -e DASK_VERSION=2023.12.0 \  # 指定Dask版本（可选）
  daskjobqueue/ci:py310 \
  pytest /app/tests  # 执行测试命令

集成CI/CD流水线（GitHub Actions示例）

在.github/workflows/ci.yml中配置：

yaml
jobs:
  test:
    runs-on: ubuntu-latest
    strategy:
      matrix:
        python-version: ["3.8", "3.9", "3.10"]
    steps:
      - uses: actions/checkout@v4
      - name: Run tests with Dask-Jobqueue CI image
        run: |
          docker run --rm \
            -v $(pwd):/app \
            -e PYTHON_VERSION=${{ matrix.python-version }} \
            daskjobqueue/ci:py${{ matrix.python-version }} \
            pytest /app/tests -v

docker-compose配置示例

创建docker-compose.yml：

yaml
version: '3'
services:
  ci-test:
    image: daskjobqueue/ci:latest
    volumes:
      - ./:/app
    environment:
      - PYTHON_VERSION=3.10
      - DASK_VERSION=latest
      - TEST_LOG_LEVEL=DEBUG
    command: pytest /app/tests --cov=dask_jobqueue

运行：

bash
docker-compose up ci-test

环境变量配置

注意事项

• 本地开发时，建议通过-v挂载代码目录，避免重复构建镜像
• 生产CI环境中，推荐使用固定标签（如py310-2024.01）而非latest，确保版本一致性
• 如需扩展功能，可基于此镜像创建自定义Dockerfile，添加项目特定依赖

维护与更新

镜像由Dask-Jobqueue维护团队定期更新，同步依赖版本及安全补丁。最新版本及标签信息可通过Docker Hub仓库（https://hub.docker.com/r/daskjobqueue/ci%EF%BC%89%E8%8E%B7%E5%8F%96%E3%80%82