apache/gravitino

Apache Gravitino (Incubating) Docker镜像文档

1. 镜像概述和主要用途

Apache Gravitino (Incubating) 是一款开源统一元数据管理平台，旨在解决多源异构数据系统的元数据碎片化问题。该Docker镜像封装了Gravitino服务端组件，提供开箱即用的元数据管理能力，支持快速部署和集成到现有数据平台架构中。

主要用途：

• 整合多源元数据（如Hive、Iceberg、Delta Lake、Hudi等数据湖/仓），提供统一访问入口
• 管理元数据生命周期（版本控制、变更追踪、血缘分析）
• 实现跨系统元数据一致性和权限统一控制
• 简化数据平台中多计算引擎（Spark、Flink、Trino等）的元数据协同

2. 核心功能和特性

2.1 多源元数据统一管理

• 支持主流数据系统元数据接入：Hive Metastore、Iceberg、Delta Lake、Hudi、PostgreSQL等
• 提供标准化元数据模型，屏蔽底层系统差异

2.2 元数据版本与血缘追踪

• 元数据变更历史记录与版本回溯
• 自动捕获表、列级数据血缘关系，支持上游依赖分析

2.3 统一权限控制

• 基于RBAC（角色）的细粒度权限模型
• 支持与LDAP/AD、OAuth2等身份认证系统集成
• 跨数据源权限策略统一管理

2.4 高可用与扩展性

• 分布式架构设计，支持水平扩展
• 元数据存储支持MySQL、PostgreSQL等关系型数据库，确保数据可靠性
• 内置缓存机制提升查询性能

2.5 开放生态集成

• 提供RESTful API、Java/Python客户端SDK
• 兼容Apache Atlas元数据导入/导出
• 支持与数据治理平台（如Apache Ranger）联动

3. 使用场景和适用范围

3.1 典型使用场景

• 数据湖/仓统一元数据管理：整合Hive Metastore、Iceberg等元数据，避免“元数据孤岛”
• 多计算引擎协同：使Spark、Flink、Trino等引擎共享统一元数据视图，确保数据一致性
• 元数据变更追踪：审计表结构变更、数据分区增减等操作，满足合规性要求
• 企业级权限控制：跨数据系统统一配置数据访问权限，简化权限管理流程

3.2 适用范围

• 中大型数据平台（数据量TB级以上，多数据源）
• 多团队协作的数据开发/分析环境
• 需要构建数据血缘、元数据治理体系的场景
• 采用混合计算引擎（批处理+流处理+查询分析）的架构

4. 使用方法和配置说明

4.1 获取镜像

目前Gravitino官方镜像托管于Apache镜像仓库或Docker Hub（视孵化阶段而定），获取命令：

bash
docker pull apache/gravitino:incubating-0.5.0  # 替换为具体版本号

4.2 基本使用（docker run）

4.2.1 快速启动（使用内置H2数据库，仅用于测试）

bash
docker run -d \
  --name gravitino-test \
  -p 8090:8090 \
  apache/gravitino:incubating-0.5.0

注意：内置H2数据库不适合生产环境，数据会随容器销毁丢失。

4.2.2 生产环境启动（连接外部MySQL数据库）

bash
docker run -d \
  --name gravitino-server \
  -p 8090:8090 \
  -v /path/to/gravitino/data:/opt/gravitino/data \  # 持久化数据目录
  -e GRAVITINO_DB_TYPE=mysql \
  -e GRAVITINO_DB_URL=jdbc:mysql://mysql-host:3306/gravitino?useSSL=false \
  -e GRAVITINO_DB_USERNAME=root \
  -e GRAVITINO_DB_PASSWORD=password \
  -e GRAVITINO_SERVER_PORT=8090 \
  -e GRAVITINO_LOG_LEVEL=INFO \
  apache/gravitino:incubating-0.5.0

4.3 Docker Compose配置示例

创建docker-compose.yml文件，集成Gravitino与MySQL（生产环境推荐）：

yaml
version: '3.8'
services:
  gravitino:
    image: apache/gravitino:incubating-0.5.0
    container_name: gravitino-server
    ports:
      - "8090:8090"
    environment:
      - GRAVITINO_DB_TYPE=mysql
      - GRAVITINO_DB_URL=jdbc:mysql://mysql:3306/gravitino?useSSL=false&allowPublicKeyRetrieval=true
      - GRAVITINO_DB_USERNAME=root
      - GRAVITINO_DB_PASSWORD= gravitino123
      - GRAVITINO_SERVER_PORT=8090
      - GRAVITINO_LOG_LEVEL=INFO
      - GRAVITINO_AUTH_ENABLED=true  # 启用认证
      - GRAVITINO_AUTH_TYPE=ldap  # 支持ldap/oauth2/none
      - GRAVITINO_LDAP_URL=ldap://ldap-server:389
      - GRAVITINO_LDAP_BASE_DN=dc=example,dc=com
    volumes:
      - gravitino-data:/opt/gravitino/data  # 持久化元数据
      - ./log:/opt/gravitino/logs  # 日志挂载
    depends_on:
      - mysql
    restart: unless-stopped

  mysql:
    image: mysql:8.0
    container_name: gravitino-mysql
    ports:
      - "3306:3306"
    environment:
      - MYSQL_ROOT_PASSWORD= gravitino123
      - MYSQL_DATABASE=gravitino
    volumes:
      - mysql-data:/var/lib/mysql
    restart: unless-stopped

volumes:
  gravitino-data:
  mysql-data:

启动命令：docker-compose up -d

4.4 环境变量配置详解

4.5 持久化与存储

Gravitino的核心数据包括：

• 元数据存储（依赖外部数据库，通过GRAVITINO_DB_*配置）
• 本地数据（如临时文件、插件）：需挂载/opt/gravitino/data目录
• 日志：推荐挂载/opt/gravitino/logs目录至宿主机，便于日志管理

4.6 网络配置

• 端口映射：默认需映射8090端口（API端口），若启用监控可额外映射9090（Prometheus指标）
• 外部依赖访问：确保容器能访问外部数据库（如MySQL）、LDAP服务等，可通过--network指定自定义网络

5. 验证部署

服务启动后，通过以下方式验证：

1. 访问API：curl http://localhost:8090/api/v1/info，返回服务版本信息
2. 查看日志：docker logs gravitino-server，确认无ERROR级日志
3. 访问Web UI（若启用）：http://localhost:8090（需在配置中启用Web控制台）

6. 注意事项

• 生产环境必须使用外部数据库（MySQL/PostgreSQL），避免使用H2
• 启用认证后需提前配置LDAP/OAuth2服务，确保连接正常
• 元数据存储目录建议使用持久化卷（Volume），避免数据丢失
• 版本升级前需备份数据库数据，参考官方升级指南

注：Apache Gravitino处于孵化阶段，功能和配置可能随版本迭代变化，建议参考官方文档获取最新信息。