apache/devlake

Apache Devlake (Incubating) 便捷二进制镜像文档

镜像概述和主要用途

本镜像为Apache Devlake（孵化中）项目的便捷二进制分发版本，基于官方开源项目构建，包含运行Devlake所需的完整二进制可执行文件。无需从源码编译，可直接部署使用，大幅降低部署门槛。

Devlake是一款开源DevOps数据平台，专注于从Git、Jira、Jenkins、GitHub Actions、GitLab CI、SonarQube等多源DevOps工具中收集、转换、存储和分析数据，通过标准化数据模型和预定义ETL（抽取-转换-加载）流程，生成关键DevOps指标（如DORA四大指标、SPOT指标），助力团队可视化研发流程、定位效能瓶颈、优化开发效率。

核心功能和特性

多源数据集成

• 支持主流DevOps工具链：覆盖代码管理（Git、GitLab、GitHub）、项目管理（Jira、Trello）、CI/CD（Jenkins、GitHub Actions、GitLab CI）、代码质量（SonarQube）等20+工具。
• 标准化数据模型：统一不同工具的异构数据格式，实现跨工具数据关联分析。

自动化数据处理

• 内置完整ETL流程：自动完成数据抽取（API调用）、转换（格式标准化）、加载（存储至数据库），无需人工干预。
• 可配置同步策略：支持定时同步、增量同步，减少数据冗余和资源消耗。

丰富指标分析

• 预置核心指标模板：包含DORA指标（部署频率、变更前置时间、故障恢复时间、变更失败率）、SPOT指标（周期时间、交付速率）等行业标准度量。
• 支持自定义指标：通过配置文件定义业务特定指标，满足个性化分析需求。

便捷部署与运维

• 二进制就绪：包含预编译可执行文件，容器启动即可运行，避免源码编译依赖。
• 灵活配置管理：支持环境变量和配置文件双重配置方式，适配不同部署场景。
• 轻量化设计：基于Alpine基础镜像构建，体积小巧，资源占用低。

使用场景和适用范围

典型使用场景

• DevOps效能度量：需要量化评估团队研发效能，监控DORA等核心指标的团队。
• 跨工具数据整合：数据分散在多个DevOps工具中，需关联分析（如代码提交与Jira任务关联）的场景。
• 快速平台搭建：希望避免从零开发数据集成能力，快速部署可用的DevOps数据平台。
• 自定义指标分析：需根据业务特性定义专属指标，进行深度研发流程分析的场景。

适用范围

• 软件开发团队（后端、前端、全栈）
• DevOps工程师、SRE（站点可靠性工程师）
• 技术管理者（研发经理、技术总监）
• 对DevOps效能度量感兴趣的组织或个人

详细使用方法和配置说明

前提条件

• Docker Engine 20.10+
• 外部数据库（推荐MySQL 8.0+）：Devlake需依赖数据库存储元数据和分析结果
• 网络环境：可访问目标DevOps工具API（如GitLab、Jira服务器）

镜像拉取

从Docker Hub拉取最新版本镜像（具体版本号可参考Apache Devlake官方文档）：

bash
docker pull apache/devlake:latest

基础部署示例（Docker Run）

1. 准备环境

• 创建本地目录用于挂载配置文件和数据持久化：

  bash
  mkdir -p /path/to/devlake/config /path/to/devlake/data
  

• 确保已部署MySQL数据库，创建专用数据库（如devlake）及用户。

2. 启动容器

bash
docker run -d \
  --name devlake \
  -p 8080:8080 \  # Web UI端口映射
  -v /path/to/devlake/config:/app/config \  # 配置文件目录挂载
  -v /path/to/devlake/data:/app/data \      # 数据持久化目录挂载
  -e DB_HOST=your-mysql-host \              # 数据库主机地址
  -e DB_PORT=3306 \                         # 数据库端口
  -e DB_USER=devlake-user \                 # 数据库用户名
  -e DB_PASSWORD=devlake-password \         # 数据库密码
  -e DB_NAME=devlake \                      # 数据库名称
  apache/devlake:latest

配置数据源

1. 创建配置文件

在/path/to/devlake/config目录下创建config.yml，配置目标数据源（以GitLab为例）：

yaml
envs:
  # GitLab连接参数
  GITLAB_ENDPOINT: "https://gitlab.example.com/api/v4"  # GitLab API地址
  GITLAB_TOKEN: "glpat-xxx"  # GitLab个人访问令牌（需具备api权限）
  GITLAB_PROJECTS: "100,200"  # 需同步的项目ID列表（逗号分隔）

connections:
  - name: gitlab-connection  # 连接名称（自定义）
    type: gitlab  # 数据源类型
    endpoint: ${GITLAB_ENDPOINT}  # 引用环境变量
    token: ${GITLAB_TOKEN}
    projects: ${GITLAB_PROJECTS}
    transformation:
      enabled: true  # 启用数据转换

2. 应用配置

重启容器使配置生效：

bash
docker restart devlake

访问与使用Web UI

1. 访问控制台：容器启动后，通过浏览器访问http://localhost:8080
2. 初始登录：默认账号密码参考官方文档（首次登录建议修改密码）
3. 数据同步：在控制台"项目管理"页面选择数据源连接，触发数据同步任务
4. 查看指标：同步完成后，在"指标"页面查看预置指标看板，或通过"数据查询"模块自定义分析

高级配置

自定义指标

在/path/to/devlake/config目录创建metrics.yml，定义自定义指标：

yaml
metrics:
  - name: custom_commit_frequency
    description: "自定义提交频率指标"
    expression: "count(commits) / days"  # 指标计算表达式
    data_source: "git"  # 关联数据源
    granularity: "day"  # 时间粒度

数据库迁移

版本升级时需同步数据库schema，执行容器内命令：

bash
docker exec -it devlake ./devlake db migrate up

日志配置

修改/path/to/devlake/config/log4j2.xml调整日志级别（如设置为DEBUG）：

xml
<Root level="DEBUG">
  <AppenderRef ref="Console"/>
  <AppenderRef ref="File"/>
</Root>

注意事项

• 数据库需独立部署，建议配置定期备份
• 生产环境建议使用docker-compose或Kubernetes进行编排，增强稳定性
• 数据源API令牌需具备足够权限（如GitLab需read_api权限，Jira需read权限）
• 详细文档及更新日志请参考Apache Devlake官方网站