linkedin/datahub-gms

镜像概述

DataHub GMS（Graph Metadata Store）是LinkedIn开源数据目录平台DataHub的核心元数据服务组件。作为DataHub架构的关键部分，GMS负责元数据的持久化存储、统一管理、查询处理及变更传播，为DataHub前端界面、元数据 ingestion 服务等提供底层元数据支持，是实现数据发现、数据治理和团队协作的基础。

核心功能与特性

• 元数据全生命周期管理：支持数据资产（数据集、数据流、模型、仪表盘等）及其关系（血缘、所有权、标签）的创建、存储、更新和删除。
• 多协议查询接口：提供REST API和GraphQL API，满足多样化元数据查询需求，支持复杂关联查询和过滤。
• 元数据变更处理：实时捕获元数据变更事件，通过Kafka消息队列同步至其他DataHub组件，支持变更历史追踪与审计。
• 跨组件集成能力：与DataHub前端（Frontend）、元数据采集服务（Ingestion）、搜索服务（Search）深度集成，构建完整数据目录生态。
• 可扩展存储层：支持MySQL作为主存储，Elasticsearch作为索引存储，适配企业级数据规模与性能需求。

使用场景

• 企业数据治理体系：作为元数据中枢，支撑数据分类、敏感数据标记、数据质量规则管理等治理流程。
• 数据资产发现平台：提供统一元数据查询入口，帮助数据用户快速定位、理解和使用企业数据资产。
• 数据团队协作工具：通过元数据共享（如数据集描述、使用文档、团队权限）提升跨团队协作效率。
• 自动化数据管理：对接数据流水线工具，实现元数据自动同步、数据资产变更告警等自动化场景。

使用方法与配置说明

基础部署（Docker Run）

bash
docker run -d \
  --name datahub-gms \
  -p 8080:8080 \
  -e DATAHUB_DB_HOST=mysql \
  -e DATAHUB_DB_PORT=3306 \
  -e DATAHUB_DB_NAME=datahub \
  -e DATAHUB_DB_USERNAME=datahub \
  -e DATAHUB_DB_PASSWORD=DataHub123! \
  -e ELASTICSEARCH_HOST=elasticsearch \
  -e ELASTICSEARCH_PORT=9200 \
  -e KAFKA_BOOTSTRAP_SERVERS=kafka:9092 \
  linkedin/datahub-gms:latest

Docker Compose集成配置

在DataHub完整部署架构中，GMS需与依赖服务协同工作，典型docker-compose.yml片段如下：

yaml
version: '3.8'
services:
  gms:
    image: linkedin/datahub-gms:latest
    container_name: datahub-gms
    restart: always
    ports:
      - "8080:8080"
    environment:
      # 数据库配置
      - DATAHUB_DB_HOST=mysql
      - DATAHUB_DB_PORT=3306
      - DATAHUB_DB_NAME=datahub
      - DATAHUB_DB_USERNAME=datahub
      - DATAHUB_DB_PASSWORD=DataHub123!
      # Elasticsearch配置
      - ELASTICSEARCH_HOST=elasticsearch
      - ELASTICSEARCH_PORT=9200
      # Kafka配置
      - KAFKA_BOOTSTRAP_SERVERS=kafka:9092
      # 服务端口配置
      - SERVER_PORT=8080
    volumes:
      - gms-data:/tmp/datahub-gms
    depends_on:
      - mysql
      - elasticsearch
      - kafka

volumes:
  gms-data:

核心配置参数

部署注意事项

1. 依赖服务准备：部署前需确保MySQL（8.0+）、Elasticsearch（7.x）、Kafka（2.8+）已就绪，且网络互通。
2. 数据持久化：生产环境建议为MySQL配置数据卷，避免容器重启导致元数据丢失。
3. 版本兼容性：需与DataHub其他组件（Frontend、Ingestion）版本保持一致（如均使用v0.12.0），版本信息可通过镜像标签指定（如linkedin/datahub-gms:v0.12.0）。
4. 性能调优：根据数据规模调整JVM内存（如JAVA_OPTS=-Xmx4g）及数据库连接池参数。