keremsahin/datahub-mce-consumer

DataHub MCE Consumer镜像说明

镜像概述

本镜像属于DataHub开源元数据平台生态，是一个Kafka Streams作业，负责处理Metadata Change Event（MCE）Kafka流，实现元数据变更的实时同步与处理，支撑DataHub的元数据搜索、发现与管理功能。

核心功能

1. 消费DataHub产生的MCE Kafka主题数据
2. 解析元数据变更事件并同步到DataHub系统
3. 支持元数据的实时更新与一致性维护

使用场景

• DataHub元数据平台的完整部署与运行
• 企业内部数据资产的实时元数据变更处理
• 数据治理场景下的元数据动态管理

配置说明

需通过环境变量配置以下核心参数：

• KAFKA_BOOTSTRAP_SERVERS: Kafka集群地址（如kafka:9092）
• KAFKA_MCE_TOPIC: MCE事件主题名称（默认MetadataChangeEvent_v1）
• DATAHUB_GMS_URL: DataHub GMS服务地址（如http://gms:8080）

部署示例

Docker Run命令

bash
docker run -d \
  --name datahub-mce-consumer \
  -e KAFKA_BOOTSTRAP_SERVERS=kafka:9092 \
  -e KAFKA_MCE_TOPIC=MetadataChangeEvent_v1 \
  -e DATAHUB_GMS_URL=http://gms:8080 \
  docker.xuanyuan.run/keremsahin/datahub-mce-consumer

Docker Compose片段

yaml
services:
  datahub-mce-consumer:
    image: keremsahin/datahub-mce-consumer
    environment:
      KAFKA_BOOTSTRAP_SERVERS: kafka:9092
      KAFKA_MCE_TOPIC: MetadataChangeEvent_v1
      DATAHUB_GMS_URL: [***]
    depends_on:
      - kafka
      - gms