bde2020/demo-spark-sensor-data

demo-spark-sensor-data

镜像概述和主要用途

本镜像为演示性Spark应用，用于转换传感器收集的数据以支持热力图应用。演示案例考虑不同时间间隔下追踪器的位置，通过持续监控追踪器位置，生成显示各时间段追踪器分布的热力图。作为大数据项目，可处理数千个追踪器的位置数据，输出能直接在Web设备上渲染热力图的精简JSON内容，指示特定时间间隔内区域的繁忙程度。

!演示输出可视化

核心功能和特性

• 大数据处理能力：支持处理数十亿传感器事件数据
• 数据转换：将HDFS上的CSV格式传感器位置数据转换为JSON格式
• 离线计算：针对大规模数据进行离线聚合计算
• 输出优化：生成精简的JSON输出，确保可直接发送至Web浏览器显示，在保证可用性的同时最小化数据量

使用场景和适用范围

适用于需要处理大量传感器位置数据并生成热力图的大数据项目，尤其适合展示不同时间间隔内区域活动情况的场景，如人员流动监测、设备分布热力分析等。

详细使用方法和配置说明

Demo流程

运行演示包含以下步骤：

1. 搭建HDFS
2. 搭建Spark集群
3. 将输入CSV文件上传至HDFS
4. 执行聚合计算
5. 从HDFS获取输出

流程定义于https://github.com/big-data-europe/demo-spark-sensor-data/blob/master/data/db/toLoad/pipeline.ttl%EF%BC%88https://github.com/big-data-europe/app-pipeline-builder%E7%9A%84%E5%AF%BC%E5%87%BA%E6%96%87%E4%BB%B6%EF%BC%89%E3%80%82%E6%BC%94%E7%A4%BA%E5%8C%85%E5%90%AB%E7%9A%84%E7%BB%84%E4%BB%B6%E5%8F%8A%E5%85%B6%E9%85%8D%E7%BD%AE%E5%88%97%E4%BA%8Ehttps://github.com/big-data-europe/demo-spark-sensor-data/blob/master/docker-compose.yml%EF%BC%8C%E8%AF%A5%E6%96%87%E4%BB%B6%E5%90%8C%E6%97%B6%E5%8C%85%E5%90%AB%E7%94%B1https://github.com/big-data-europe/app-bde-pipeline%E6%8F%90%E4%BE%9B%E7%9A%84BDE%E6%94%AF%E6%8C%81%E5%B1%82%E3%80%82

配置说明

Spark聚合计算配置

应用需要4个参数，可在运行时通过向docker-compose.yml中的演示组件传递环境变量覆盖默认值：

1. APP_ARGS_OWNER：所有者（默认值：localhost）
2. APP_ARGS_MAX_DETAIL：网格的最大精细度（默认值：128）
3. APP_ARGS_INPUT：HDFS上包含CSV格式传感器数据的输入文件夹路径（默认值：/input）
4. APP_ARGS_OUTPUT：HDFS上用于写入结果JSON的输出文件夹路径（默认值：/output）

输入文件（默认名为localhost.csv）必须存在于HDFS上配置的输入文件夹（APP_ARGS_INPUT）中。

Docker Compose应用流程配置

需更新https://github.com/big-data-europe/demo-spark-sensor-data/tree/master/config/integrator%E5%92%8Chttps://github.com/big-data-europe/demo-spark-sensor-data/blob/master/docker-compose.yml%E4%B8%AD%E7%9A%84DNS%E5%90%8D%E7%A7%B0%EF%BC%8C%E4%BD%BF%E7%94%A8%E6%89%98%E7%AE%A1%E6%BC%94%E7%A4%BA%E5%BA%94%E7%94%A8%E7%9A%84DNS%E5%90%8D%E7%A7%B0%E3%80%82%E8%8B%A5%E4%B8%8D%E5%85%AC%E5%BC%80%E6%89%98%E7%AE%A1%EF%BC%8C%E5%8F%AF%E9%80%9A%E8%BF%87%E7%BC%96%E8%BE%91%E6%9C%AC%E5%9C%B0%60/etc/hosts%60%E6%96%87%E4%BB%B6%EF%BC%8C%E5%B0%86%E5%BD%93%E5%89%8D%E9%85%8D%E7%BD%AE%E7%9A%84DNS%E5%90%8D%E7%A7%B0%60http://demo.big-data-europe.local%60%E6%8C%87%E5%90%91%E9%9B%86%E7%BE%A4%E4%B8%AD%E7%9A%84%E5%89%8D%E7%AB%AF%E4%B8%BB%E6%9C%BA%EF%BC%88%E5%8D%B3%E8%BF%90%E8%A1%8C%E4%BB%A3%E7%90%86%E5%AE%B9%E5%99%A8%E7%9A%84%E8%8A%82%E7%82%B9%EF%BC%89%E3%80%82

确保https://github.com/big-data-europe/demo-spark-sensor-data/blob/master/docker-compose.yml%E4%B8%AD%E7%9A%84%E6%8C%82%E8%BD%BD%E5%8D%B7%E4%B8%BA%E7%BB%9D%E5%AF%B9%E8%B7%AF%E5%BE%84%EF%BC%8C%E4%B8%94%E5%9C%A8%E9%9B%86%E7%BE%A4%E5%90%84%E8%8A%82%E7%82%B9%E4%B8%8A%E5%8F%AF%E7%94%A8%E5%B9%B6%E5%8C%85%E5%90%AB%E6%AD%A3%E7%A1%AE%E9%85%8D%E7%BD%AE%E6%96%87%E4%BB%B6%E3%80%82%E8%8B%A5%E4%B8%8D%E4%BD%BF%E7%94%A8%E5%88%86%E5%B8%83%E5%BC%8F%E5%8D%B7%E9%A9%B1%E5%8A%A8%EF%BC%8C%E9%9C%80%E5%9C%A8%E5%90%84%E8%8A%82%E7%82%B9%E7%9A%84%E7%9B%B8%E5%90%8C%E6%96%87%E4%BB%B6%E5%A4%B9%E4%B8%AD%E5%A4%8D%E5%88%B6%E9%85%8D%E7%BD%AE%E3%80%82

运行演示应用

按照https://github.com/big-data-europe/README/wiki/Installation%E5%AE%89%E8%A3%85BDE%E5%B9%B3%E5%8F%B0%E3%80%82%E5%8F%AF%E5%9C%A8%E5%90%84%E8%8A%82%E7%82%B9%E4%B8%8A%E6%8B%89%E5%8F%96https://github.com/big-data-europe/demo-spark-sensor-data/blob/master/docker-compose.yml%E4%BB%A5%E9%A2%84%E7%83%AD%E9%9B%86%E7%BE%A4%E3%80%82

要将演示应用作为BDE流程运行，执行以下命令：

bash
git clone https://github.com/big-data-europe/demo-spark-sensor-data.git
cd demo-spark-sensor-data
docker-compose up -d  ## 发送至Swarm管理器

接下来，在前端主机上启动代理服务（若尚未运行）：

bash
docker run -p 80:80 --name=proxy --net=demosparksensordata_default -e DOCKER_HOST=tcp://{swarm-manager-host}:{swarm-manager-port} -d rckrdstrgrd/nginx-proxy

此时，Integrator UI应可在演示DNS根目录下访问。