toketi/iothub-to-cassandra

Azure IoT Hub 到 Cassandra 数据传输服务

镜像概述

Azure IoT Hub to Cassandra 是一个实时数据同步服务，可将 Azure IoT Hub 接收的设备遥测消息自动传输到 Apache Cassandra 数据库。该服务支持灵活的 schema 配置，能将消息映射到多个 Cassandra 表，满足大规模 IoT 数据存储需求。

核心功能

• 实时异步传输：采用反应式流架构，通过异步背压机制保障数据稳定同步。
• 消息过滤与映射：支持按规则过滤消息，并将不同类型消息映射到指定的 Cassandra 键空间和表。
• 动态配置管理：通过配置文件或内置 Web 服务，在运行时添加/修改表结构，无需重启服务。
• 高可用适配：兼容 Cassandra 的分布式、多数据中心复制特性，确保数据可靠性。

使用场景

• IoT 设备数据持久化：收集设备实时遥测数据并存储到高可用数据库。
• 大规模数据流处理：支撑千万级设备的实时数据存储与后续分析。
• 跨地域数据同步：利用 Cassandra 多数据中心能力实现数据异地备份。

配置说明

1. 基础环境变量：
   • IOTHUB_CONNECTION_STRING：Azure IoT Hub 连接字符串（含权限信息）。
   • CASSANDRA_CONTACT_POINTS：Cassandra 集群节点地址（逗号分隔）。
   • CASSANDRA_KEYSPACE：默认数据存储键空间名称。
2. Schema 映射配置：通过 JSON 文件定义消息字段与 Cassandra 表列的对应关系，支持多表映射。
3. 运行时管理：访问服务 Web 接口（默认端口：8080），动态添加表或调整映射规则。

部署示例

Docker Run 命令

bash
docker run -d \
  --name iothub-cassandra-sync \
  -e IOTHUB_CONNECTION_STRING="HostName=your-iot-hub.azure-devices.net;SharedAccessKeyName=iothubowner;SharedAccessKey=your-secret-key" \
  -e CASSANDRA_CONTACT_POINTS="cassandra-node1:9042,cassandra-node2:9042" \
  -e CASSANDRA_KEYSPACE="iot_telemetry" \
  toketi/iothub-to-cassandra

Docker Compose 示例

yaml
version: '3.8'
services:
  sync-service:
    image: toketi/iothub-to-cassandra
    environment:
      - IOTHUB_CONNECTION_STRING=HostName=your-iot-hub.azure-devices.net;SharedAccessKeyName=iothubowner;SharedAccessKey=your-secret-key
      - CASSANDRA_CONTACT_POINTS=cassandra:9042
      - CASSANDRA_KEYSPACE=iot_telemetry
    depends_on:
      - cassandra

  cassandra:
    image: cassandra:4.1
    ports:
      - "9042:9042"
    volumes:
      - cassandra-data:/var/lib/cassandra

volumes:
  cassandra-data: