CI/CD 统计数据收集镜像文档

镜像概述和主要用途

概述

轻量级Docker镜像，专注于CI/CD流程中的统计数据采集与处理。通过自动化方式从主流CI/CD平台收集关键指标，提供数据支持以监控流水线健康状态，助力团队优化构建效率与稳定性。

主要用途

采集CI/CD全流程（构建、测试、部署）的核心性能指标
支持多平台数据整合与分析
为DevOps团队提供可视化与优化依据

核心功能和特性

核心功能

全流程指标采集：自动收集构建时长、成功率、失败原因分类、资源消耗（CPU/内存）、并发任务数等关键指标
多平台兼容：原生支持Jenkins、GitLab CI、GitHub Actions、Azure DevOps等主流CI/CD工具
灵活数据存储：支持本地文件系统、PostgreSQL、MySQL、SQLite等多种数据持久化方案
数据导出能力：支持CSV/JSON文件导出、Prometheus监控集成、第三方API推送

特性

轻量化设计：基于Alpine Linux构建，镜像体积<50MB
低资源占用：运行时CPU占用<5%，内存占用<64MB
可配置采集策略：支持实时监听或定时轮询模式
高扩展性：提供插件接口，支持自定义指标采集规则

使用场景和适用范围

适用场景

CI/CD流水线性能瓶颈分析
构建失败率根因定位
资源消耗趋势监控（如构建服务器负载）
团队间流水线效率对比分析
构建流程优化效果验证

适用范围

中小型开发团队的CI/CD流程监控
DevOps工程师的流水线性能调优
企业级DevOps平台的 metrics 采集组件
需要提升构建稳定性的技术组织

使用方法和配置说明

快速启动（Docker Run）

bash
docker run -d \
  --name cicd-stats-collector \
  -e CI_PROVIDER=github-actions \
  -e DATA_STORAGE_PATH=/data \
  -e COLLECTION_INTERVAL=30 \
  -e API_KEY=your_github_pat \
  -v /host/cicd-stats:/data \
  -p 8080:8080 \
  cicd-stats-collector:latest

Docker Compose 配置示例

yaml
version: '3.8'
services:
  stats-collector:
    image: cicd-stats-collector:latest
    container_name: cicd-stats
    restart: always
    environment:
      - CI_PROVIDER=gitlab-ci
      - DB_CONNECTION_STRING=postgresql://stats_user:stats_pass@db:5432/cicd_stats
      - COLLECTION_INTERVAL=45
      - LOG_LEVEL=info
      - API_KEY=your_gitlab_api_token
      - PROMETHEUS_EXPORTER=true
    volumes:
      - ./local-backup:/data/backup
    ports:
      - "8080:8080"  # API端口
      - "9090:9090"  # Prometheus metrics端口
    depends_on:
      - db

  db:
    image: postgres:15-alpine
    container_name: cicd-stats-db
    restart: always
    environment:
      - POSTGRES_USER=stats_user
      - POSTGRES_PASSWORD=stats_pass
      - POSTGRES_DB=cicd_stats
    volumes:
      - postgres-data:/var/lib/postgresql/data
    ports:
      - "5432:5432"

volumes:
  postgres-data:

核心配置参数说明

环境变量	描述	默认值	可选值
`CI_PROVIDER`	CI/CD平台类型指定	`gitlab-ci`	`jenkins`, `gitlab-ci`, `github-actions`, `azure-devops`
`DATA_STORAGE_PATH`	本地存储路径（文件存储模式）	`/data`	容器内绝对路径
`COLLECTION_INTERVAL`	数据采集间隔（秒）	`60`	10-3600（建议值）
`DB_CONNECTION_STRING`	数据库连接字符串（数据库存储模式）	无	PostgreSQL/MySQL/SQLite连接串
`API_KEY`	CI平台API访问密钥（私有项目必填）	无	平台生成的访问令牌
`LOG_LEVEL`	日志输出级别	`info`	`debug`, `info`, `warn`, `error`
`PROMETHEUS_EXPORTER`	是否启用Prometheus指标导出	`false`	`true`, `false`
`EXPORT_FORMAT`	数据文件导出格式	`csv`	`csv`, `json`

数据访问与导出

文件导出

默认存储路径：${DATA_STORAGE_PATH}/metrics/[yyyyMMdd].${EXPORT_FORMAT}
示例（CSV格式）：

timestamp,job_id,status,duration_seconds,resource_cpu_usage,resource_memory_mb
20231026T***,build-123,success,125,0.8,450
20231026T***,test-456,failed,89,0.6,320

API访问

启动时映射端口（如 -p 8080:8080），通过以下端点获取数据：

GET /api/v1/metrics：获取最近24小时汇总指标（JSON）
GET /api/v1/export?start=20231001&end=20231031：指定日期范围导出数据

Prometheus集成

启用后自动暴露指标接口：http://<container-ip>:9090/metrics，包含指标如：

cicd_build_success_count{job="backend"} 156
cicd_build_duration_seconds_avg{job="frontend"}=87.3

注意事项

权限配置：
- 本地存储模式需确保挂载目录有读写权限（建议设置权限 chmod 775 /host/cicd-stats）
- 数据库模式需提前创建数据库并配置用户权限
API密钥安全：
- 敏感环境变量建议通过Docker Secrets或环境变量文件注入，避免明文暴露
性能调优：
- 高频流水线（>10次/小时）建议设置 COLLECTION_INTERVAL=10-30
- 低频次流水线建议设置 COLLECTION_INTERVAL=300-900 以减少资源消耗
数据清理：
- 默认保留90天历史数据，可通过 MAX_DATA_RETENTION_DAYS 环境变量调整（如 MAX_DATA_RETENTION_DAYS=30）