docker/pipeline_unpacker

Docker Pipeline 辅助镜像 技术文档

1. 镜像概述和主要用途

1.1 概述

Docker Pipeline 辅助镜像是 Docker Pipeline 服务的配套组件，设计用于增强主服务的稳定性与功能性，通过协同主服务完成任务调度、资源管理、日志处理等辅助操作，是 Docker Pipeline 生态中不可或缺的支撑组件。

1.2 主要用途

• 为主服务提供任务执行过程中的资源监控与调度支持
• 处理主服务的日志聚合、格式化及转发
• 实现主服务与外部系统（如存储、监控平台）的配置同步
• 辅助主服务完成多阶段任务的状态管理与流程衔接

2. 核心功能和特性

2.1 核心功能

• 服务协同：与 Docker Pipeline 主服务实时通信，同步任务状态与资源需求
• 资源监控：监控主服务及任务容器的 CPU、内存、网络等资源使用情况，触发阈值告警
• 任务调度支持：为多阶段任务提供依赖解析、执行顺序协调及重试机制支持
• 日志处理：聚合任务执行日志，支持按规则格式化并转发至指定存储或分析平台（如 ELK、Prometheus）
• 配置同步：同步主服务与外部系统的配置参数，确保环境一致性

2.2 特性

• 轻量级：基于 Alpine 或 Debian Slim 基础镜像构建，镜像体积小（通常 < 100MB），资源占用低
• 兼容性强：支持 Docker Pipeline 服务 v1.0+ 所有版本，兼容主流容器运行时（Docker Engine 20.10+、containerd 1.5+）
• 易于集成：提供标准化接口，可直接通过环境变量或配置文件完成与主服务的对接
• 可配置性高：支持自定义日志级别、资源监控阈值、同步频率等核心参数

3. 使用场景和适用范围

3.1 典型使用场景

• CI/CD 流水线构建：在 Docker Pipeline 驱动的代码构建、测试、部署全流程中，辅助完成任务依赖管理与资源分配
• 容器化应用部署流程：支持多环境（开发/测试/生产）部署任务的状态追踪与配置同步
• 多阶段任务调度：在包含串行/并行任务的复杂流程中，协调任务执行顺序与资源抢占
• 分布式任务监控：对跨节点部署的 Docker Pipeline 集群，提供统一的资源监控视图

3.2 适用范围

• 环境类型：开发环境、测试环境、生产环境
• 用户规模：个人开发者、中小型团队、企业级项目
• 部署模式：单机部署、集群部署（Kubernetes/Docker Swarm）

4. 使用方法和配置说明

4.1 快速启动（docker run 命令）

bash
docker run -d \
  --name docker-pipeline-auxiliary \
  --network pipeline-network \  # 需与主服务在同一网络
  -e PIPELINE_MASTER_URL=http://pipeline-master:8080 \  # 主服务地址
  -e LOG_LEVEL=info \  # 日志级别：debug/info/warn/error
  -e RESOURCE_MONITOR_INTERVAL=30s \  # 资源监控间隔
  -v /var/run/docker.sock:/var/run/docker.sock \  # 挂载 Docker 套接字（如需监控容器资源）
  docker-pipeline/auxiliary:latest

4.2 Docker Compose 配置示例

yaml
version: '3.8'
services:
  pipeline-master:
    image: docker-pipeline/master:latest
    ports:
      - "8080:8080"
    networks:
      - pipeline-network

  pipeline-auxiliary:
    image: docker-pipeline/auxiliary:latest
    depends_on:
      - pipeline-master
    environment:
      - PIPELINE_MASTER_URL=http://pipeline-master:8080
      - LOG_LEVEL=info
      - RESOURCE_MONITOR_INTERVAL=30s
      - TASK_RETRY_LIMIT=3  # 任务最大重试次数
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
    networks:
      - pipeline-network

networks:
  pipeline-network:
    driver: bridge

4.3 环境变量说明

4.4 配置参数说明

除环境变量外，可通过挂载配置文件（默认路径 /etc/pipeline-auxiliary/config.yaml）自定义高级配置，示例配置项：

yaml
# /etc/pipeline-auxiliary/config.yaml
master:
  timeout: 30s  # 与主服务通信超时时间
  retry_interval: 5s  # 主服务连接失败重试间隔
monitor:
  cpu_threshold: 80%  # CPU 使用率告警阈值
  mem_threshold: 90%  # 内存使用率告警阈值
log:
  max_size: 100MB  # 单日志文件大小上限
  max_backup: 5    # 日志文件保留数量

5. 注意事项

• 镜像需与 Docker Pipeline 主服务版本匹配（建议使用相同版本标签，如 v2.3.0）

• 生产环境中建议挂载持久化存储卷保存日志文件（如 -v ./auxiliary-logs:/var/log/pipeline-auxiliary）

• 如需启用资源监控功能，必须挂载 Docker 套接字（/var/run/docker.sock）并确保容器具有足够权限

注：具体功能与配置可能因镜像版本不同略有差异，建议结合实际使用的镜像标签（如 latest/v1.2.0）参考官方版本说明。