kineticdata/kinetic-topics

Kinetic Topics Docker镜像文档

1. 镜像概述

Kinetic Topics Docker镜像是一个用于部署和运行Kinetic Topics服务的容器化解决方案。Kinetic Topics是一个高性能的分布式主题消息系统，旨在提供可靠的消息发布/订阅功能，支持实时数据传输和处理。

该镜像封装了Kinetic Topics服务的所有必要组件，简化了部署流程，确保了环境一致性，并支持快速扩展。

2. 核心功能和特性

• 分布式架构：支持多节点部署，提供高可用性和容错能力
• 高性能消息传递：低延迟、高吞吐量的主题消息分发
• 持久化存储：支持消息持久化，确保消息不丢失
• 多协议支持：兼容多种消息协议（如MQTT、AMQP等）
• 水平扩展：轻松添加更多节点以提高系统容量
• 自动发现：节点间自动发现和集群形成
• 安全认证：支持客户端认证和授权机制
• 监控集成：提供 metrics 接口，支持 Prometheus 等监控工具

3. 使用场景和适用范围

Kinetic Topics Docker镜像适用于以下场景：

• 实时数据处理系统：需要高效处理和分发实时数据流的应用
• 微服务架构：作为微服务之间的通信中枢
• 物联网平台：连接和处理大量物联网设备产生的消息
• 事件驱动架构：支持基于事件的系统设计
• 日志聚合：集中收集和分发应用日志
• 实时分析：为实时数据分析系统提供数据源

4. 快速开始

4.1 基本运行命令

bash
docker run -d --name kinetic-topics -p 8080:8080 kinetic-topics:latest

4.2 带基本配置的运行命令

bash
docker run -d --name kinetic-topics \
  -p 8080:8080 \
  -e KINETIC_TOPICS_NODE_ID=node1 \
  -e KINETIC_TOPICS_CLUSTER_NAME=my-cluster \
  kinetic-topics:latest

5. 详细配置

5.1 环境变量配置

Kinetic Topics支持以下环境变量进行配置：

5.2 持久化数据

为确保数据持久化，建议挂载数据卷：

bash
docker run -d --name kinetic-topics \
  -p 8080:8080 \
  -v /host/path/to/data:/data \
  kinetic-topics:latest

5.3 配置文件挂载

如需更复杂的配置，可通过挂载配置文件实现：

bash
docker run -d --name kinetic-topics \
  -p 8080:8080 \
  -v /host/path/to/config:/etc/kinetic-topics \
  kinetic-topics:latest

配置文件示例 (kinetic-topics.yml):

yaml
node:
  id: "node1"
  listenAddress: "0.0.0.0"
  port: 8080
  advertiseAddress: "192.168.1.100"

cluster:
  name: "my-cluster"
  seedNodes: ["192.168.1.101:8080", "192.168.1.102:8080"]

storage:
  dataDir: "/data"
  retentionPolicy: "7d"
  maxMessageSize: 10485760  # 10MB

network:
  maxConnections: 1000
  receiveBufferSize: 1048576
  sendBufferSize: 1048576

security:
  enabled: true
  tls:
    enabled: false
  authentication:
    type: "password"
    users:
      - username: "admin"
        passwordHash: "$2a$10$xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"

6. 集群部署

6.1 Docker Compose 示例

以下是使用Docker Compose部署3节点Kinetic Topics集群的示例：

yaml
version: '3.8'

services:
  kinetic-topics-1:
    image: kinetic-topics:latest
    container_name: kinetic-topics-1
    ports:
      - "8081:8080"
    environment:
      - KINETIC_TOPICS_NODE_ID=node1
      - KINETIC_TOPICS_CLUSTER_NAME=kinetic-cluster
      - KINETIC_TOPICS_ADVERTISE_ADDRESS=kinetic-topics-1
      - KINETIC_TOPICS_SEED_NODES=kinetic-topics-1:8080,kinetic-topics-2:8080,kinetic-topics-3:8080
      - KINETIC_TOPICS_DATA_DIR=/data
    volumes:
      - data-node1:/data
    networks:
      - kinetic-network
    restart: unless-stopped

  kinetic-topics-2:
    image: kinetic-topics:latest
    container_name: kinetic-topics-2
    ports:
      - "8082:8080"
    environment:
      - KINETIC_TOPICS_NODE_ID=node2
      - KINETIC_TOPICS_CLUSTER_NAME=kinetic-cluster
      - KINETIC_TOPICS_ADVERTISE_ADDRESS=kinetic-topics-2
      - KINETIC_TOPICS_SEED_NODES=kinetic-topics-1:8080,kinetic-topics-2:8080,kinetic-topics-3:8080
      - KINETIC_TOPICS_DATA_DIR=/data
    volumes:
      - data-node2:/data
    networks:
      - kinetic-network
    restart: unless-stopped

  kinetic-topics-3:
    image: kinetic-topics:latest
    container_name: kinetic-topics-3
    ports:
      - "8083:8080"
    environment:
      - KINETIC_TOPICS_NODE_ID=node3
      - KINETIC_TOPICS_CLUSTER_NAME=kinetic-cluster
      - KINETIC_TOPICS_ADVERTISE_ADDRESS=kinetic-topics-3
      - KINETIC_TOPICS_SEED_NODES=kinetic-topics-1:8080,kinetic-topics-2:8080,kinetic-topics-3:8080
      - KINETIC_TOPICS_DATA_DIR=/data
    volumes:
      - data-node3:/data
    networks:
      - kinetic-network
    restart: unless-stopped

networks:
  kinetic-network:
    driver: bridge

volumes:
  data-node1:
  data-node2:
  data-node3:

启动集群：

bash
docker-compose up -d

查看集群状态：

bash
docker-compose logs -f

7. 监控与日志

7.1 日志查看

bash
docker logs -f kinetic-topics

7.2 监控指标

Kinetic Topics默认在 /metrics 端点提供Prometheus格式的监控指标：

bash
curl http://localhost:8080/metrics

8. 常见问题

8.1 如何检查服务是否正常运行？

bash
docker exec -it kinetic-topics curl http://localhost:8080/health

正常响应：

json
{"status": "healthy", "nodeId": "node1", "clusterSize": 1}

8.2 如何扩展现有集群？

只需启动新的Kinetic Topics容器，并将KINETIC_TOPICS_SEED_NODES设置为现有集群中的任意节点。

8.3 如何备份数据？

bash
docker exec -it kinetic-topics /opt/kinetic-topics/bin/backup -d /data/backup

然后可以将备份文件从容器中复制出来：

bash
docker cp kinetic-topics:/data/backup ./local-backup

9. 版本信息

• 镜像名称: kinetic-topics
• 最新版本: latest
• 支持架构: amd64, arm64

10. 维护与更新

10.1 更新镜像

bash
docker pull kinetic-topics:latest
docker stop kinetic-topics
docker rm kinetic-topics
docker run -d --name kinetic-topics [OPTIONS] kinetic-topics:latest

10.2 数据迁移

建议在升级前备份数据，并在新版本启动时使用相同的数据卷。