imply/datagen

imply/datagen镜像说明

镜像概述

imply/datagen是一款数据生成服务器镜像，核心能力是生成自定义模拟数据并将其发布到指定的流系统中，帮助用户快速构建数据测试环境或模拟真实数据流场景。

核心功能

• 支持生成多种格式的模拟数据（如JSON、CSV等）
• 可配置数据生成的频率、数量和结构
• 兼容主流流系统（如Kafka、Pulsar等）的消息发布

使用场景

• 流处理框架（Flink、Spark Streaming）的功能测试与性能验证
• 数据 pipeline 开发中的数据模拟
• 演示环境中快速生成示例数据流

配置说明

通过环境变量调整核心参数：

• DATA_FREQUENCY: 每秒生成的消息数量（默认：5）
• STREAM_DESTINATION: 目标流地址（格式：协议://地址/主题，如kafka://kafka:9092/test-topic）
• DATA_SCHEMA: 数据结构定义（JSON格式，如{"id":"int","name":"string","time":"long"}）

部署示例

Docker Run 命令

bash
docker run -d \
  -e DATA_FREQUENCY=10 \
  -e STREAM_DESTINATION=kafka://localhost:9092/my-stream \
  -e DATA_SCHEMA='{"order_id":"int","product":"string","amount":"float"}' \
  imply/datagen

Docker Compose 示例

yaml
version: '3.8'
services:
  datagen:
    image: imply/datagen
    environment:
      DATA_FREQUENCY: 3
      STREAM_DESTINATION: kafka://kafka-broker:9092/demo-topic
      DATA_SCHEMA: '{"user_id":"int","action":"string","timestamp":"long"}'
    depends_on:
      - kafka-broker

  kafka-broker:
    image: confluentinc/cp-kafka:7.4.0
    ports:
      - "9092:9092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka-broker:9092
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    depends_on:
      - zookeeper

  zookeeper:
    image: confluentinc/cp-zookeeper:7.4.0
    ports:
      - "2181:2181"
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181