acryldata/datahub-gms

DataHub GMS Image 技术文档

一、镜像概述和主要用途

DataHub GMS Image 是 DataHub 数据目录平台的核心服务镜像，封装了 General Metadata Service (GMS)。GMS 作为 DataHub 的元数据管理中枢，负责元数据的存储、检索、索引、变更处理及 API 服务，是连接数据生产者、消费者与数据资产的关键组件。

主要用途：

• 提供元数据全生命周期管理（创建、读取、更新、删除）
• 支撑 DataHub 前端界面与后端服务的数据交互
• 处理元数据变更事件并同步至索引服务
• 通过标准化 API 对外提供元数据访问能力

二、核心功能和特性

2.1 元数据存储与管理

• 支持关系型数据库（MySQL/PostgreSQL）存储结构化元数据（如数据集、字段、标签、所有者信息）
• 实现元数据版本控制，记录历史变更轨迹

2.2 元数据索引与检索

• 与 Elasticsearch 深度集成，构建元数据索引以支持高效全文检索
• 支持复杂过滤条件（如标签、所有者、数据类型）的元数据查询

2.3 API 服务

• 提供 RESTful API 接口，支持元数据 CRUD、搜索、血缘查询等操作
• 兼容 DataHub 前端 SDK 及第三方系统集成

2.4 事件驱动架构

• 与 Kafka 集成，消费元数据变更事件（如数据 schema 变更）
• 触发下游处理流程（如索引更新、通知推送）

2.5 多租户与扩展性

• 支持多租户元数据隔离
• 可扩展元数据模型，适配自定义业务需求

三、使用场景和适用范围

3.1 典型使用场景

• 企业级数据目录构建：集中管理分散在 Hive、BigQuery、*** 等系统的元数据
• 数据资产发现：通过全文检索、血缘分析帮助用户定位目标数据
• 数据治理支持：追踪数据血缘、管理数据质量指标、执行标签/权限策略
• 工具集成：与 Tableau、Airflow、Jupyter 等工具联动，同步元数据至业务场景
• 自动化元数据管理：通过 API 批量同步元数据、触发变更通知

3.2 适用范围

• 中大型企业数据平台（数据量 ≥ 10TB，数据源 ≥ 5 种）
• 数据治理团队（需统一管理数据资产与合规流程）
• 数据工程/科学团队（需高效发现与复用数据）

四、使用方法和配置说明

4.1 前提条件

• Docker 19.03+ 环境
• 依赖服务：MySQL 8.0+、Elasticsearch 7.10+、Kafka 2.8+
• 网络：确保 GMS 与依赖服务互通，开放必要端口（默认 8080）

4.2 获取镜像

从 Docker Hub 或私有仓库拉取镜像：

bash
docker pull acryldata/datahub-gms:latest  # 官方镜像（稳定版）
# 或指定版本：docker pull acryldata/datahub-gms:v0.12.0

4.3 基本运行命令（docker run）

最简示例（需提前启动依赖服务）：

bash
docker run -d \
  --name datahub-gms \
  -p 8080:8080 \
  -e DATAHUB_DB_HOST=mysql-host \
  -e DATAHUB_DB_PORT=3306 \
  -e DATAHUB_DB_USERNAME=root \
  -e DATAHUB_DB_PASSWORD=password \
  -e DATAHUB_DB_NAME=datahub \
  -e DATAHUB_ELASTICSEARCH_URI=http://elasticsearch:9200 \
  -e DATAHUB_KAFKA_BOOTSTRAP_SERVERS=kafka:9092 \
  acryldata/datahub-gms:latest

参数说明：

• -p 8080:8080：映射 GMS REST API 端口
• 环境变量（-e）：配置依赖服务连接信息（见 4.5 节详细说明）

4.4 docker-compose 配置示例

推荐通过 docker-compose 整合依赖服务，简化部署：

yaml
version: '3.8'
services:
  # GMS 服务
  datahub-gms:
    image: acryldata/datahub-gms:latest
    container_name: datahub-gms
    restart: always
    ports:
      - "8080:8080"
    environment:
      # 数据库配置
      DATAHUB_DB_HOST: mysql
      DATAHUB_DB_PORT: 3306
      DATAHUB_DB_USERNAME: datahub
      DATAHUB_DB_PASSWORD: datahub
      DATAHUB_DB_NAME: datahub
      # Elasticsearch 配置
      DATAHUB_ELASTICSEARCH_URI: http://elasticsearch:9200
      DATAHUB_ELASTICSEARCH_INDEX_NAME: datahub_usage_event
      # Kafka 配置
      DATAHUB_KAFKA_BOOTSTRAP_SERVERS: kafka:9092
      DATAHUB_METADATA_CHANGE_LOG_KAFKA_TOPIC_NAME: metadata-change-log
      # 日志配置
      LOG_LEVEL: INFO
    depends_on:
      mysql:
        condition: service_healthy
      elasticsearch:
        condition: service_healthy
      kafka:
        condition: service_started

  # 依赖服务：MySQL
  mysql:
    image: mysql:8.0
    container_name: datahub-mysql
    environment:
      MYSQL_ROOT_PASSWORD: root
      MYSQL_DATABASE: datahub
      MYSQL_USER: datahub
      MYSQL_PASSWORD: datahub
    ports:
      - "3306:3306"
    volumes:
      - mysql-data:/var/lib/mysql
    healthcheck:
      test: ["CMD", "mysqladmin", "ping", "-h", "localhost", "-u$datahub", "-p$datahub"]
      interval: 10s
      timeout: 5s
      retries: 5

  # 依赖服务：Elasticsearch
  elasticsearch:
    image: elasticsearch:7.17.0
    container_name: datahub-elasticsearch
    environment:
      - discovery.type=single-node
      - xpack.security.enabled=false
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ports:
      - "9200:9200"
    volumes:
      - es-data:/usr/share/elasticsearch/data
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9200/_cluster/health"]
      interval: 10s
      timeout: 5s
      retries: 5

  # 依赖服务：Kafka（含 Zookeeper）
  zookeeper:
    image: confluentinc/cp-zookeeper:7.0.0
    container_name: datahub-zookeeper
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
    ports:
      - "2181:2181"

  kafka:
    image: confluentinc/cp-kafka:7.0.0
    container_name: datahub-kafka
    depends_on:
      - zookeeper
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
    ports:
      - "9092:9092"

volumes:
  mysql-data:
  es-data:

启动命令：

bash
docker-compose up -d

4.5 核心配置参数（环境变量）

4.6 持久化配置

为避免容器重启导致数据丢失，需挂载以下目录：

bash
docker run -d \
  ...
  -v /path/on/host/gms/logs:/app/logs \  # 日志持久化
  -v /path/on/host/gms/config:/app/config  # 自定义配置文件（如需）
  ...

4.7 健康检查

GMS 内置健康检查接口，可通过以下命令验证服务状态：

bash
curl -f http://localhost:8080/actuator/health || echo "GMS 服务异常"

4.8 高级配置

• 自定义元数据模型：挂载自定义 model.json 至 /app/config/model.json
• JVM 参数调整：通过 JAVA_OPTS 环境变量设置，如 -e JAVA_OPTS="-Xms1g -Xmx4g"
• SSL 加密：配置 DATAHUB_ELASTICSEARCH_USE_SSL=true 及证书路径

五、常见问题

• 依赖服务连接失败：检查 docker-compose 中服务名是否与环境变量一致（如 DATAHUB_DB_HOST=mysql 需与 MySQL 服务名匹配）
• 元数据索引不更新：确认 Kafka 主题 metadata-change-log 存在且可写
• API 访问超时：调大 MAX_HEAP_SIZE 或检查数据库/Elasticsearch 性能