logimethods/smart-meter

smart-meter 镜像文档

注意：此文档仍在完善中。

镜像概述和主要用途

smart-meter镜像用于演示智能电表大数据应用，展示从数据注入、实时处理、批处理分析到机器学习预测的完整流程。通过Docker容器化部署，集成了数据存储、流处理、监控可视化等组件，适用于大数据架构展示、开发测试及技术演示场景。

!SmartMeter架构

核心功能和特性

• 支持Docker Compose和Docker Swarm两种部署模式
• 提供Python CLI工具简化服务管理
• 包含数据注入、流处理、批处理等多种数据处理模式
• 集成Grafana实现多数据源（Graphite、InfluxDB、Prometheus）可视化
• 基于Cassandra存储原始电表数据
• 内置机器学习预测功能（多层感知器分类器）
• 支持NATS消息队列指标监控
• 提供Excel通过ODBC连接Cassandra数据的方案

使用场景和适用范围

• 智能电表大数据处理流程演示
• 分布式数据处理架构教学
• 大数据组件集成测试
• 机器学习预测模型在能源数据中的应用展示
• Docker容器化大数据应用开发

使用方法和配置说明

Docker Compose部署

生成docker-compose-merge.yml文件

使用combine_services.sh脚本（或对应Docker镜像）生成配置文件，需指定服务组合：

• 当提供Docker Secrets时：

  bash
  ./compose/combine_services.sh "_secrets" root_metrics inject_metrics streaming_metrics prediction_metrics > docker-compose-merge.yml
  

  或使用Docker镜像：

  bash
  docker run logimethods/smart-meter:compose "_secrets" root_metrics inject_metrics streaming_metrics prediction_metrics > docker-compose-merge.yml
  

• 当不提供Docker Secrets时：

  bash
  ./compose/combine_services.sh "_no-secrets" root_metrics inject_metrics streaming_metrics prediction_metrics > docker-compose-merge.yml
  

  或使用Docker镜像：

  bash
  docker run logimethods/smart-meter:compose "_no-secrets" root_metrics inject_metrics streaming_metrics prediction_metrics > docker-compose-merge.yml
  

启动和停止服务

基于生成的docker-compose-merge.yml文件管理服务：

bash
# 启动服务（本地/远程，单节点/集群模式）
./docker-[local | remote]-[single | cluster]-up.sh

# 停止服务
./docker-[local | remote]-down.sh

Python CLI使用

本地模式

使用start-services.py脚本管理服务：

bash
> python3 -i ./start-services.py
>>> run_inject()          # 启动数据注入
>>> run_app_batch()       # 运行批处理应用
...
>>> stop_all()            # 停止所有服务
...
>>> exit()                # 退出

Grafana配置：

1. 访问http://localhost配置数据源（Graphite、InfluxDB、Prometheus）
2. 导入仪表盘配置文件gatling + max voltage.json
3. 访问仪表盘：http://localhost/dashboard/db/gatling-max-voltage

!Gatling-max-voltage截图

调整注入器数量：

bash
> docker service scale inject=2  # 扩展到2个注入器
> docker service scale inject=1  # 缩减到1个注入器

本地开发模式（DEV mode）

bash
> ./build_DEV.sh                  # 构建开发模式镜像
> ./stop.sh                       # 停止现有服务
> python3 -i start-services.py "local" "single" "-DEV"  # 启动开发模式服务
Images will be postfixed by -DEV  # 镜像将添加-DEV后缀
>>> run_inject()                  # 启动数据注入

远程模式（Docker Swarm）

bash
# 建立SSH隧道连接远程Docker
> ssh -NL localhost:2374:/var/run/docker.sock docker@xxxxx.amazonaws.com &

# 启动远程集群服务
> python3 -i ./start-services.py "remote" "cluster"
> Remote Docker Client
>>> run_inject_cluster()  # 启动集群数据注入
...
>>> stop_all()            # 停止所有服务
...
>>> exit()                # 退出

Grafana配置：

1. 配置数据源（同上）
2. 导入集群模式仪表盘：gatling + max voltage - swarm.json

!Gatling-max-voltage-swarm截图

架构说明

数据注入架构

!SmartMeter-Inject架构

批处理架构

!SmartMeter-Batch架构

Grafana数据源配置

访问Grafana，配置以下数据源：

• Graphite：

• InfluxDB：

• Prometheus：

CQLSH（Cassandra命令行）

访问原始电压数据：

bash
> ./cqlsh.sh
Connected to Smartmeter Cluster at 127.0.0.1:9042.
[cqlsh 5.0.1 | Cassandra 3.5 | CQL spec 3.4.0 | Native protocol v4]
Use HELP for help.
cqlsh> select * from smartmeter.raw_data limit 2;

line | transformer | usagepoint | year | month | day | hour | minute | day_of_week | demand | val10 | val11 | val12 | val3 | val4 | val5 | val6 | val7 | val8 | val9 | voltage
------+-------------+------------+------+-------+-----+------+--------+-------------+--------+-------+-------+-------+------+------+------+------+------+------+------+-----------
  11 |           2 |          5 | 2019 |     3 |  17 |   12 |     13 |           0 |    100 |    10 |    11 |    12 |    3 |    4 |    5 |    6 |    7 |    8 |    9 | 114.76842
  11 |           2 |          5 | 2019 |     3 |  17 |   11 |     58 |           0 |    100 |    10 |    11 |    12 |    3 |    4 |    5 |    6 |    7 |    8 |    9 | 114.10834

训练与预测

!SmartMeter-Training架构

基于多层感知器分类器实现，核心代码见SparkPredictionProcessor.scala。

预测示例输出：

+-----+----------+----+--------------------+--------------------+---------+-----------+--------------------+----------+
|label|   voltage|hour|             hourSin|             hourCos|dayOfWeek|temperature|            features|prediction|
+-----+----------+----+--------------------+--------------------+---------+-----------+--------------------+----------+
|    0| 115.36195|  13| -12.940958284226115| -48.296289698960514|        0| -1.1098776|[-12.940958284226...|       0.0|
|    0|115.378006|  14| -24.999994594456457|   -43.3012733101135|        0|  16.545746|[-24.999994594456...|       0.0|
|    0|  116.9641|   3|   35.35533905932737|   35.35533905932738|        0|   4.004334|[35.3553390593273...|       0.0|
|    1| 118.92017|  23|  -12.94095828422611|  48.296289698960514|       50|  21.167358|[-12.940958284226...|       0.0|
|    1| 119.15324|  12|6.123233995736766...|               -50.0|       50| -12.110409|[6.12323399573676...|       1.0|
...
+-----+----------+----+--------------------+--------------------+---------+-----------+--------------------+----------+
only showing top 20 rows

Test set accuracy = 0.9642857142857143

预测结果可视化： !Grafana预测截图

生成的机器学习模型存储在HDFS（端口50070）：HDFS浏览

额外指标

NATS指标监控

1. 配置Grafana数据源
2. 导入仪表盘配置文件NATS Servers.json

!Grafana NATS指标截图

Excel数据连接

安装ODBC驱动

1. 从Simba官网下载Cassandra ODBC驱动
2. 按照安装说明操作（macOS需先安装iODBC）
3. 将邮件接收的许可证文件SimbaApacheCassandraODBCDriver.lic保存到指定位置

创建DSN文件

1. 定义DSN文件，如excel/cassandra.dsn
2. 通过iODBC Administrator应用加载并测试： !iODBC测试DSN文件

从Excel连接数据

1. 使用iODBC Data Source Chooser（File DSN）连接外部数据
2. 执行SQL查询，如：select * from smartmeter.raw_data limit 10;

!从Cassandra到Excel