keremsahin/datahub-mae-consumer

DataHub MAE Consumer镜像说明

镜像概述

该镜像为LinkedIn开源元数据搜索与发现工具DataHub的核心组件之一，专注于处理Metadata Audit Event (MAE) Kafka流。它基于Kafka Streams框架构建，负责解析、处理元数据审计事件，是DataHub平台实现元数据流转与资产跟踪的关键环节。

核心功能

• 接收并处理DataHub元数据审计事件的Kafka流
• 基于Kafka Streams实现低延迟的流处理逻辑
• 支持元数据变更事件的解析与转发
• 与DataHub生态系统无缝集成，助力数据资产的全生命周期管理

使用场景

• DataHub元数据平台的审计事件处理场景
• 企业级数据资产变更跟踪与合规审计需求
• 元数据事件驱动的数据分析与管理流程
• 数据治理平台中的元数据流转支撑

配置说明

关键配置项（通过环境变量设置）：

• KAFKA_BOOTSTRAP_SERVERS: Kafka集群地址（必填，如kafka:9092）
• MAE_TOPIC_NAME: MAE事件的Kafka主题名称（默认：MetadataAuditEvent_v4）
• CONSUMER_GROUP_ID: Kafka消费者组ID（默认：datahub-mae-consumer-group）
• APPLICATION_ID: Kafka Streams应用ID（默认：datahub-mae-consumer）

部署示例

Docker Run命令

bash
docker run -d \
  --name datahub-mae-consumer \
  -e KAFKA_BOOTSTRAP_SERVERS=kafka:9092 \
  -e MAE_TOPIC_NAME=MetadataAuditEvent_v4 \
  keremsahin/datahub-mae-consumer

Docker Compose示例

yaml
version: '3.8'
services:
  datahub-mae-consumer:
    image: keremsahin/datahub-mae-consumer
    environment:
      KAFKA_BOOTSTRAP_SERVERS: kafka:9092
      MAE_TOPIC_NAME: MetadataAuditEvent_v4
      CONSUMER_GROUP_ID: datahub-mae-consumer-group
    depends_on:
      - kafka
    restart: always