linkedin/datahub-mce-consumer

DataHub MCE Consumer 镜像文档

镜像概述

DataHub MCE Consumer是LinkedIn DataHub（开源数据目录平台）的核心组件之一，专注于消费和处理元数据变更事件（Metadata Change Event, MCE）。MCE是DataHub中描述元数据变更的标准化事件（如数据集创建、字段修改、标签添加等），该组件负责从消息队列（如Kafka）中读取MCE，进行解析、验证与处理，并将结果同步至DataHub元数据存储，支撑DataHub的元数据实时更新与管理能力。

核心功能与特性

• 元数据变更事件消费：从Kafka等消息队列中高效消费MCE，支持批量与流式处理模式。
• 事件解析与验证：对MCE进行格式校验、 schema验证，确保元数据变更的合法性与一致性。
• 元数据更新集成：将处理后的元数据变更同步至DataHub Global Metadata Store（GMS），更新数据目录视图。
• 可扩展处理逻辑：支持通过配置扩展事件处理规则，适配自定义元数据变更场景（如通知触发、权限同步等）。
• 高可用性设计：支持多实例部署与负载均衡，保障元数据变更处理的连续性与可靠性。

使用场景与适用范围

• DataHub完整部署：作为DataHub架构的必备组件，与GMS、Frontend、Ingestion等组件协同工作，构建端到端元数据管理能力。
• 元数据变更实时处理：在数据治理场景中，实时捕获并处理数据资产（如数据库表、数据流、BI报表）的元数据变更，支持数据血缘追踪、数据质量监控等。
• 定制化元数据集成：通过扩展处理逻辑，将元数据变更事件与外部系统（如通知服务、权限管理工具、审计系统）集成，实现元数据驱动的自动化流程。

使用方法与配置说明

前置条件

• 已部署DataHub核心组件（如Kafka、ZooKeeper、DataHub GMS）。
• 已创建MCE事件主题（默认主题名：datahub-mce-events），并确保Kafka集群可访问。

基本使用（Docker Run）

bash
docker run -d \
  --name datahub-mce-consumer \
  -e KAFKA_BOOTSTRAP_SERVERS=kafka:9092 \  # Kafka集群地址
  -e KAFKA_SCHEMA_REGISTRY_URL=http://schema-registry:8081 \  # Schema Registry地址
  -e DATAHUB_GMS_URL=http://datahub-gms:8080 \  # DataHub GMS服务地址
  -e SPRING_PROFILES_ACTIVE=docker \  # 激活Docker环境配置
  linkedin/datahub-mce-consumer:latest

Docker Compose配置示例

yaml
version: '3.8'
services:
  datahub-mce-consumer:
    image: linkedin/datahub-mce-consumer:latest
    container_name: datahub-mce-consumer
    environment:
      - KAFKA_BOOTSTRAP_SERVERS=kafka:9092
      - KAFKA_SCHEMA_REGISTRY_URL=http://schema-registry:8081
      - DATAHUB_GMS_URL=http://datahub-gms:8080
      - SPRING_PROFILES_ACTIVE=docker
      - CONSUMER_THREADS=3  # 消费线程数，默认1
      - OFFSET_RESET_POLICY=earliest  # Kafka消费偏移量策略，默认earliest
    depends_on:
      - kafka
      - schema-registry
      - datahub-gms

核心配置参数

扩展配置

如需自定义事件处理逻辑（如添加自定义过滤器、通知回调），可通过挂载配置文件实现：

bash
docker run -d \
  --name datahub-mce-consumer \
  -v ./custom-mce-processor.yml:/etc/datahub/mce-consumer/custom-config.yml \  # 挂载自定义配置
  -e SPRING_CONFIG_ADDITIONAL_LOCATION=file:/etc/datahub/mce-consumer/custom-config.yml \  # 指定额外配置文件
  linkedin/datahub-mce-consumer:latest

日志与监控

• 日志默认输出至stdout，可通过LOG_LEVEL环境变量调整级别（如INFO、DEBUG）。
• 支持Prometheus指标暴露，通过MANAGEMENT_ENDPOINTS_WEB_EXPOSURE_INCLUDE=health,prometheus开启指标端点，默认端口：8084。

注意事项

• 确保Kafka主题datahub-mce-events已创建，且权限允许消费者组访问。
• 与DataHub版本兼容性：MCE Consumer版本需与DataHub其他组件（如GMS）版本保持一致，避免协议不兼容。
• 生产环境建议配置Kafka消息重试机制（通过KAFKA_CONSUMER_RETRIES等参数），保障事件处理可靠性。