simplematter/waterstream-kafka

Waterstream - Kafka 原生 MQTT 代理

镜像概述

Waterstream 是一款 Kafka 原生的 MQTT 代理，其核心特性是将 Kafka 作为唯一的持久化存储媒介。这一设计使其能与 Kafka IoT 基础设施深度集成，并显著简化相关部署与配置流程。使用该镜像需具备 Waterstream 许可证，可通过 官方网站 获取开发许可证。

核心功能与特性

• Kafka 原生集成：以 Kafka 作为唯一持久化存储，无需额外数据库
• 简化 IoT 基础设施：优化 Kafka 环境下的 MQTT 部署流程
• 灵活配置：支持通过环境变量自定义关键参数（如端口、Kafka 主题等）
• 跨平台支持：提供 x86 和 ARM 平台的镜像版本

使用场景与适用范围

适用于基于 Kafka 构建的 IoT 基础设施，需在 MQTT 协议（设备通信常用）与 Kafka 流处理平台间建立高效数据通道的场景。尤其适合需要简化组件架构、减少数据存储依赖的 IoT 项目。

使用方法与配置说明

前提条件

• 已获取 Waterstream 许可证文件（waterstream.license）
• 本地运行 Kafka 与 ZooKeeper 服务
• 具备 Kafka 命令行工具（用于创建主题）

创建必要的 Kafka 主题

在启动 Waterstream 前，需创建以下 Kafka 主题（假设 Kafka 与 ZooKeeper 本地运行，ZooKeeper 地址为 localhost:2181）：

shell
# 创建会话主题
kafka-topics --zookeeper localhost:2181 --create \
  --topic mqtt_sessions --partitions 5 --replication-factor 1 \
  --config cleanup.policy=compact \
  --config min.compaction.lag.ms=60000 --config delete.retention.ms=600000

# 创建保留消息主题
kafka-topics --zookeeper localhost:2181 --create \
  --topic mqtt_retained_messages --partitions 5 --replication-factor 1 \
  --config cleanup.policy=compact \
  --config min.compaction.lag.ms=60000 --config delete.retention.ms=600000

# 创建连接主题
kafka-topics --zookeeper localhost:2181 --create \
  --topic mqtt_connections --partitions 5 --replication-factor 1 \
  --config cleanup.policy=delete --config retention.ms=600000

# 创建消息主题
kafka-topics --zookeeper localhost:2181 --create \
  --topic mqtt_messages --partitions 5 --replication-factor 1 \
  --config retention.ms=86400000

# 创建心跳主题
kafka-topics --zookeeper localhost:2181 --create \
  --topic __waterstream_heartbeat --partitions 5 --replication-factor 1 \
  --config retention.ms=300000

运行 Waterstream 容器

选择镜像版本

• x86 平台：simplematter/waterstream-kafka:latest
• ARM 平台：simplematter/waterstream-kafka-arm64v8:latest

启动命令

假设许可证文件 waterstream.license 位于当前目录，执行以下命令启动容器：

shell
# 选择平台对应的镜像名称
# For x86 platform:
IMAGE_NAME=simplematter/waterstream-kafka:latest
# For ARM platform:
# IMAGE_NAME=simplematter/waterstream-kafka-arm64v8:latest

docker run -d --rm \
  -e KAFKA_BOOTSTRAP_SERVERS=PLAINTEXT://localhost:9092 \
  -e MQTT_PORT=1883 \
  -e SESSION_TOPIC=mqtt_sessions \
  -e RETAINED_MESSAGES_TOPIC=mqtt_retained_messages \
  -e CONNECTION_TOPIC=mqtt_connections \
  -e KAFKA_MESSAGES_DEFAULT_TOPIC=mqtt_messages \
  -v $(pwd)/waterstream.license:/etc/waterstream.license:ro \
  --network host \
  --name waterstream-kafka $IMAGE_NAME

连接 MQTT 客户端

容器启动后，可通过端口 1883 连接 MQTT 客户端，例如：

• Mosquitto CLI
• MQTT.fx UI 客户端

配置参数说明

进一步信息与支持

• 快速入门文档：官方 Quick Start
• Docker 配置详情：Docker Configuration
• 技术支持：访问 dev.waterstream.io