robinrpr/ris-kafka

RIS实时数据Kafka Broker镜像文档

镜像概述

本镜像为非官方Kafka Broker实现，专为处理RIS（实时信息系统）实时数据流设计，默认配置数据保留期为48小时，可直接用于RIS数据的实时接收、存储与分发，无需额外配置数据清理策略。

核心功能与特性

• RIS数据适配：针对RIS实时数据流格式优化，支持高吞吐量数据传输
• 48小时自动清理：默认配置log.retention.hours=48，自动删除超过48小时的历史数据，节省存储资源
• 标准Kafka兼容：遵循Apache Kafka协议规范，可与标准Kafka客户端无缝对接
• 开箱即用：内置基础配置模板，无需手动调整数据保留策略

适用场景

• RIS实时数据监控系统：需短期保留实时数据用于实时监控分析
• 高频交易数据中转：处理***、物联网等领域的RIS类高频数据流
• 实时数据预处理节点：作为数据管道中间件，为下游分析系统提供48小时内的实时数据窗口
• 短期数据缓存服务：需要临时存储近期RIS数据并支持高并发访问的场景

使用方法

基础启动命令

bash
docker run -d \
  --name ris-kafka-broker \
  -p 9092:9092 \  # Kafka默认端口
  -e KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \  # 需指定ZooKeeper连接地址
  [镜像名称]:[标签]

环境变量配置

完整配置示例（docker-compose.yml）

yaml
version: '3'
services:
  zookeeper:
    image: confluentinc/cp-zookeeper:latest
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000
    ports:
      - "2181:2181"

  ris-kafka:
    image: [镜像名称]:[标签]
    depends_on:
      - zookeeper
    ports:
      - "9092:9092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
      KAFKA_LOG_RETENTION_HOURS: 48  # 固定48小时保留期
      KAFKA_NUM_PARTITIONS: 3  # 按需求调整分区数
    volumes:
      - kafka-data:/var/lib/kafka/data  # 持久化存储Kafka日志

volumes:
  kafka-data:

注意事项

1. 需确保ZooKeeper服务已提前部署并正常运行（可使用官方ZooKeeper镜像或Kafka内置ZooKeeper）
2. KAFKA_ADVERTISED_LISTENERS需根据部署环境配置（如容器网络、宿主机IP等），确保客户端可正确连接
3. 数据保留期KAFKA_LOG_RETENTION_HOURS默认锁定为48小时，如需调整需通过镜像定制实现
4. 生产环境建议配置数据持久化卷（如示例中的kafka-data卷），避免容器重启导致数据丢失