zeab/simplekafkaenricher

zeab/simplekafkaenricher 镜像说明

镜像概述

本镜像提供一个应用程序，用于从指定Kafka主题拉取数据，对数据进行丰富处理后，推送至另一个Kafka主题。支持通过环境变量灵活配置Kafka连接信息、主题及UDP指标发送等功能。

代码仓库：https://github.com/zeab/simple-scala-examples

核心功能

1. 从指定Kafka消费者主题拉取数据
2. 对拉取的数据进行丰富处理
3. 将处理后的数据推送到指定Kafka生产者主题
4. 可选开启UDP指标发送功能，记录数据消费和生产情况

使用场景

• 实时数据处理流水线中的数据增强环节
• Kafka生态下的数据流转与加工需求
• 需要对Kafka消息进行中间处理的业务场景

配置说明

部署示例

Docker Run命令

bash
docker run \
  -e KAFKA_ADDRESS=your-kafka-server:9092 \
  -e KAFKA_CONSUMER_TOPIC=source-topic \
  -e KAFKA_PRODUCER_TOPIC=target-topic \
  -e IS_UDP_CLIENT_EMIT=true \
  -e UDP_CLIENT_HOST=metrics-collector:8125 \
  zeab/simplekafkaenricher

Docker Compose示例

yaml
version: '3'
services:
  kafka-enricher:
    image: zeab/simplekafkaenricher
    environment:
      KAFKA_ADDRESS: kafka:9092
      KAFKA_CONSUMER_TOPIC: input-topic
      KAFKA_CONSUMER_GROUP: enricher-group
      KAFKA_PRODUCER_TOPIC: output-topic
      IS_KAFKA_EARLIEST: "true"
    depends_on:
      - kafka
  kafka:
    image: wurstmeister/kafka:latest
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
  zookeeper:
    image: wurstmeister/zookeeper:latest
    ports:
      - "2181:2181"