etf1/kafka-mongo-watcher

Kafka MongoDB Watcher Docker镜像文档

镜像概述与主要用途

Kafka MongoDB Watcher是一个用于监听MongoDB集合操作日志（oplog）事件（如插入、更新、删除等）并将其分发到指定Kafka主题的工具。同时支持重播模式，可在首次使用时将集合中的所有文档初始化到Kafka主题中。该Docker镜像封装了工具的运行环境，简化部署流程。

核心功能与特性

• oplog事件监听：实时捕获MongoDB集合的插入、更新、删除等操作事件
• 重播模式：支持一次性将集合所有文档发送到Kafka主题，适用于首次初始化
• 灵活配置：通过环境变量自定义MongoDB连接、Kafka连接、过滤规则等参数
• Prometheus指标：暴露监控指标，便于性能和状态监控
• 多模式运行：支持同时启用监听和重播模式，满足不同数据同步需求

使用场景与适用范围

• 数据同步：将MongoDB数据变更实时同步到Kafka，用于下游系统消费
• 实时数据流处理：作为数据管道组件，为流处理系统（如Spark Streaming、Flink）提供MongoDB变更数据
• 事件驱动架构：基于MongoDB数据变更触发Kafka消息，实现微服务间的事件通信
• 数据备份与回放：通过重播模式创建数据快照，用于数据备份或历史数据回放

详细使用方法

Docker镜像获取

镜像已发布至Docker Hub，可直接拉取：

bash
docker pull etf1/kafka-mongo-watcher:latest

基本运行示例

使用docker run命令启动，通过环境变量配置参数：

bash
docker run \
  -e "KAFKA_MONGO_WATCHER_REPLAY=true" \
  -e "KAFKA_MONGO_WATCHER_MONGODB_URI=mongodb://root:password@mongo:27017/mydb?replicaSet=rs0" \
  -e "KAFKA_MONGO_WATCHER_MONGODB_DATABASE_NAME=mydb" \
  -e "KAFKA_MONGO_WATCHER_MONGODB_COLLECTION_NAME=mycollection" \
  -e "KAFKA_MONGO_WATCHER_KAFKA_BOOTSTRAP_SERVERS=kafka:9092" \
  -e "KAFKA_MONGO_WATCHER_KAFKA_TOPIC=mongodb-events" \
  etf1/kafka-mongo-watcher:latest

docker-compose配置示例

yaml
version: '3'
services:
  kafka-mongo-watcher:
    image: etf1/kafka-mongo-watcher:latest
    environment:
      - KAFKA_MONGO_WATCHER_REPLAY=true
      - KAFKA_MONGO_WATCHER_MONGODB_URI=mongodb://root:password@mongo:27017/mydb?replicaSet=rs0
      - KAFKA_MONGO_WATCHER_MONGODB_DATABASE_NAME=mydb
      - KAFKA_MONGO_WATCHER_MONGODB_COLLECTION_NAME=mycollection
      - KAFKA_MONGO_WATCHER_KAFKA_BOOTSTRAP_SERVERS=kafka:9092
      - KAFKA_MONGO_WATCHER_KAFKA_TOPIC=mongodb-events
      - KAFKA_MONGO_WATCHER_LOG_LEVEL=info
    depends_on:
      - mongo
      - kafka

  mongo:
    image: mongo:5
    command: --replSet rs0
    environment:
      - MONGO_INITDB_ROOT_USERNAME=root
      - MONGO_INITDB_ROOT_PASSWORD=password

  kafka:
    image: confluentinc/cp-kafka:7.0.0
    environment:
      - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka:9092
      - KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1
      - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
    depends_on:
      - zookeeper

  zookeeper:
    image: confluentinc/cp-zookeeper:7.0.0
    environment:
      - ZOOKEEPER_CLIENT_PORT=2181

配置参数说明

可通过环境变量配置镜像，支持多源配置（.env文件、环境变量、命令行参数，后者覆盖前者）。以下是主要配置变量：

Prometheus指标

工具暴露Go进程和应用监控指标，可通过技术HTTP服务器端点被Prometheus抓取：
http://<容器IP>:8001/metrics
（默认端口可通过KAFKA_MONGO_WATCHER_HTTP_TECH_ADDR修改）