datadog/system-tests

DataDog system-tests 基础镜像文档

镜像概述和主要用途

DataDog system-tests 基础镜像是专为 https://github.com/DataDog/system-tests 项目设计的底层支撑镜像，旨在为系统测试场景提供标准化、可复用的运行环境。该镜像预配置了测试所需的核心依赖、工具链及环境变量，确保跨平台、跨版本的测试一致性，简化测试环境搭建流程，提升测试效率。

核心功能和特性

1. 标准化测试环境

• 基于 Debian/Ubuntu LTS 稳定版本构建，确保操作系统层兼容性。
• 统一预装测试工具链（如 pytest、goss、curl、jq 等），避免环境差异导致的测试结果不一致。

2. 深度集成 DataDog 生态

• 内置 DataDog Agent 基础运行环境，支持与 Agent 各版本的兼容性测试。
• 预配置 Datadog 测试框架依赖（如 dd-trace-py、datadog-api-client），可直接对接测试用例。

3. 轻量级与可扩展性

• 基于 Alpine 或精简 Debian 镜像优化，压缩镜像体积（默认镜像大小 < 500MB）。
• 支持通过环境变量、卷挂载动态调整配置，适配不同测试场景需求。

4. 版本化与稳定性

• 严格遵循语义化版本（SemVer），镜像标签与 system-tests 项目版本同步（如 v1.2.0）。
• 每个版本镜像经过验证，确保依赖版本锁定，避免因上游依赖变更导致测试失败。

使用场景和适用范围

1. DataDog 内部系统测试

• 用于 system-tests 项目核心功能验证（如 Agent 数据采集、Pipeline 处理逻辑）。
• 支持多版本 Agent 兼容性测试（如 Agent v7.40+ 与测试用例的集成验证）。

2. 第三方集成测试

• 第三方开发者基于 DataDog 产品构建集成时，可复用该镜像快速搭建测试环境。

3. CI/CD 流水线集成

• 无缝对接 GitHub Actions、GitLab CI 等流水线工具，作为测试阶段的运行容器，自动执行系统测试套件。

4. 跨环境测试验证

• 支持本地开发环境、测试服务器、云环境（AWS/GCP/Azure）等多场景部署，验证测试用例在不同基础设施下的表现。

使用方法和配置说明

1. 获取镜像

通过 Docker Hub 或 GitHub Container Registry 拉取镜像（需先配置 DataDog 私有仓库权限）：

bash
# 从 GitHub Container Registry 拉取（推荐）
docker pull ghcr.io/datadog/system-tests-base:latest

# 或指定版本标签（如 v1.2.0）
docker pull ghcr.io/datadog/system-tests-base:v1.2.0

2. 基本使用示例

2.1 快速启动测试环境

以交互模式启动镜像，直接进入测试环境终端：

bash
docker run -it --rm \
  --name system-tests-env \
  ghcr.io/datadog/system-tests-base:latest \
  /bin/bash

2.2 运行测试用例

挂载本地测试文件到容器内，并执行测试命令：

bash
# 假设本地测试用例目录为 ./tests，输出报告至 ./reports
docker run --rm \
  -v $(pwd)/tests:/system-tests/tests \
  -v $(pwd)/reports:/system-tests/reports \
  -e TEST_MODE="integration" \
  -e DD_AGENT_VERSION="7.45.0" \
  ghcr.io/datadog/system-tests-base:latest \
  pytest /system-tests/tests -o log_file=/system-tests/reports/test.log

3. Dockerfile 集成

在自定义测试镜像中，可直接以该镜像为基础构建：

dockerfile
# 自定义测试镜像 Dockerfile
FROM ghcr.io/datadog/system-tests-base:v1.2.0

# 添加项目特定依赖
RUN pip install --no-cache-dir my-test-framework==1.0.0

# 复制测试用例
COPY ./custom-tests /system-tests/custom-tests

# 定义默认测试命令
CMD ["pytest", "/system-tests/custom-tests"]

4. 配置参数说明

4.1 环境变量

4.2 卷挂载

4.3 网络配置

若测试需与外部服务（如 DataDog Agent、数据库）通信，可通过端口映射或网络模式配置：

bash
# 映射容器内测试工具端口（如 8080 为测试服务端口）
docker run -p 8080:8080 ghcr.io/datadog/system-tests-base:latest

# 加入宿主机网络（直接访问宿主机上的 Agent）
docker run --net=host ghcr.io/datadog/system-tests-base:latest

部署方案示例

1. 单容器测试部署（docker run）

bash
# 集成测试场景：运行指定版本 Agent 的兼容性测试，输出 HTML 报告
docker run --rm \
  -v $(pwd)/tests:/system-tests/tests \
  -v $(pwd)/reports:/system-tests/reports \
  -e TEST_MODE="integration" \
  -e DD_AGENT_VERSION="7.45.0" \
  -e LOG_LEVEL="debug" \
  -e DD_API_KEY="${DD_API_KEY}" \
  -p 8126:8126  # 映射 APM 端口（如需测试追踪功能） \
  ghcr.io/datadog/system-tests-base:latest \
  pytest /system-tests/tests --html=/system-tests/reports/report.html

2. CI/CD 流水线集成（GitHub Actions）

在 .github/workflows/test.yml 中配置：

yaml
jobs:
  system-test:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout code
        uses: actions/checkout@v4
      
      - name: Run system tests with base image
        run: |
          docker run --rm \
            -v ${{ github.workspace }}/tests:/system-tests/tests \
            -v ${{ github.workspace }}/reports:/system-tests/reports \
            -e TEST_MODE="integration" \
            -e DD_AGENT_VERSION="7.45.0" \
            -e DD_API_KEY="${{ secrets.DD_API_KEY }}" \
            ghcr.io/datadog/system-tests-base:latest \
            pytest /system-tests/tests
      
      - name: Upload test report
        uses: actions/upload-artifact@v3
        with:
          name: test-report
          path: reports/

3. Docker Compose 多服务测试

创建 docker-compose.yml 联动 Agent 服务：

yaml
version: '3.8'
services:
  system-test:
    image: ghcr.io/datadog/system-tests-base:latest
    volumes:
      - ./tests:/system-tests/tests
      - ./reports:/system-tests/reports
    environment:
      - TEST_MODE=integration
      - DD_AGENT_VERSION=7.45.0
      - LOG_LEVEL=info
    depends_on:
      - dd-agent
    networks:
      - test-net

  dd-agent:
    image: gcr.io/datadoghq/agent:7.45.0
    environment:
      - DD_API_KEY=${DD_API_KEY}
      - DD_SITE=datadoghq.com
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock:ro
      - /proc/:/host/proc:ro
      - /sys/fs/cgroup/:/host/sys/fs/cgroup:ro
    networks:
      - test-net

networks:
  test-net:

启动命令：

bash
DD_API_KEY=${DD_API_KEY} docker-compose up --abort-on-container-exit

注意事项

• 镜像需通过 DataDog 私有仓库权限认证（如 GitHub Container Registry 需配置 GHCR_PAT）。
• 不同镜像版本可能存在依赖差异，建议在测试环境中明确指定版本标签（如 v1.2.0）而非 latest。
• 敏感信息（如 DD_API_KEY）需通过环境变量或密钥管理工具注入，避免硬编码。
• 测试报告目录建议通过卷挂载持久化，避免容器退出后数据丢失。