apache/superset-cache

Apache Superset Buildx 缓存镜像文档

1. 镜像概述和主要用途

Apache Superset Buildx 缓存镜像是专为加速 Apache Superset 镜像构建过程设计的辅助镜像。其核心功能是通过 Docker Buildx 的缓存机制，持久化存储 Superset 构建过程中的依赖项（如 Python 包、前端资源等），避免重复下载和编译，从而显著缩短构建时间。该镜像适用于开发环境、CI/CD 流水线及多团队协作场景，尤其适合需要频繁构建 Superset 镜像的场景。

2. 核心功能和特性

• 依赖缓存持久化：缓存 Superset 构建所需的 Python pip 依赖、Node.js npm 前端依赖及编译产物，避免重复拉取。
• 跨构建复用：支持在多次构建、多环境（开发/CI）间复用缓存数据，降低网络带宽消耗。
• 与 Buildx 原生集成：通过 Docker Buildx 的 --cache-from 和 --cache-to 机制无缝对接，无需额外工具链。
• 轻量化设计：仅包含缓存数据及必要的元信息，镜像体积小，存储成本低。
• 多平台支持：兼容 Buildx 的多平台构建能力，可缓存不同架构（如 amd64、arm64）的构建依赖。

3. 使用场景和适用范围

适用场景

• 开发环境：开发者频繁修改 Superset 代码并重新构建时，加速本地构建流程。
• CI/CD 流水线：在 Jenkins、GitHub Actions 等平台中，缩短构建步骤耗时，提升流水线效率。
• 多团队协作：共享统一的构建缓存，确保各团队使用一致的依赖版本，减少"环境不一致"问题。
• 高频迭代场景：对 Superset 进行功能迭代或版本升级时，减少重复构建开销。

4. 使用方法和配置说明

4.1 构建缓存镜像

前提条件

• 已安装 Docker 20.10+ 及 Buildx 插件（docker buildx install）。
• 已配置 Docker 镜像仓库（如本地 registry、Docker Hub 或私有仓库）用于存储缓存镜像。

构建步骤

1. 创建缓存目录结构
   在项目根目录下创建缓存配置文件（如 cache.Dockerfile），定义缓存路径：

   dockerfile
   # cache.Dockerfile
   FROM scratch
   # 定义 Superset 构建依赖的缓存路径
   VOLUME ["/root/.cache/pip", "/app/frontend/node_modules", "/app/frontend/.npm"]
   

2. 构建缓存镜像
   使用 Buildx 构建并推送缓存镜像至仓库：

   bash
   docker buildx build \
     -f cache.Dockerfile \
     --tag <registry>/superset-build-cache:latest \
     --push .
   

4.2 在 Superset 构建中使用缓存

核心参数说明

• --cache-from：指定缓存源（即已构建的缓存镜像）。
• --cache-to：指定缓存目标（构建后更新缓存镜像）。

构建 Superset 镜像时引用缓存

在构建 Superset 主镜像时，通过 Buildx 参数关联缓存：

bash
docker buildx build \
  -f Dockerfile.superset \  # Superset 官方或自定义 Dockerfile
  --tag <registry>/superset:latest \
  --cache-from=type=registry,ref=<registry>/superset-build-cache:latest \  # 从缓存镜像拉取缓存
  --cache-to=type=registry,ref=<registry>/superset-build-cache:latest,mode=max \  # 构建后更新缓存
  --push .

4.3 配置参数说明

5. Docker 部署方案示例

5.1 使用 docker buildx 命令构建（CI/CD 场景）

在 GitHub Actions 或 GitLab CI 中集成缓存，示例 workflow 片段：

yaml
# .github/workflows/build-superset.yml (GitHub Actions)
jobs:
  build:
    runs-on: ubuntu-latest
    steps:
      - name: Set up Docker Buildx
        uses: docker/setup-buildx-action@v2

      - name: Login to Registry
        uses: docker/login-action@v2
        with:
          registry: ${{ secrets.REGISTRY_URL }}
          username: ${{ secrets.REGISTRY_USER }}
          password: ${{ secrets.REGISTRY_PWD }}

      - name: Build and push Superset with cache
        uses: docker/build-push-action@v4
        with:
          context: .
          file: ./Dockerfile.superset
          push: true
          tags: ${{ secrets.REGISTRY_URL }}/superset:${{ github.sha }}
          cache-from: type=registry,ref=${{ secrets.REGISTRY_URL }}/superset-build-cache:latest
          cache-to: type=registry,ref=${{ secrets.REGISTRY_URL }}/superset-build-cache:latest,mode=max

5.2 docker-compose 配置示例（本地开发环境）

在 docker-compose.yml 中配置 Buildx 缓存，加速本地构建：

yaml
# docker-compose.yml
version: '3.8'

services:
  superset:
    build:
      context: .
      dockerfile: Dockerfile.superset
      x-bake:  # Buildx 扩展配置（需配合 docker compose bake 使用）
        cache-from:
          - type=registry,ref=localhost:5000/superset-build-cache:latest
        cache-to:
          - type=registry,ref=localhost:5000/superset-build-cache:latest,mode=max
    image: localhost:5000/superset:dev

使用方式：

bash
# 启动并构建（需本地 registry 运行）
docker compose up --build

6. 注意事项

• 缓存有效期：建议定期（如每月）清理或重建缓存镜像，避免缓存数据过期导致依赖版本冲突。
• 多平台兼容性：若需构建多架构镜像（如 amd64 + arm64），需在 buildx build 中添加 --platform linux/amd64,linux/arm64 参数，并确保缓存镜像支持多平台（可通过 docker buildx imagetools inspect 验证）。
• 私有仓库权限：确保 CI/CD 环境或开发机器有权限拉取/推送缓存镜像（配置 docker login 凭证）。
• 缓存清理：通过 docker buildx prune 命令清理本地无效缓存，或在仓库中配置镜像生命周期规则（如自动删除 30 天未使用的缓存镜像）。