logimethods/nats-connector-spark

docker-nats-connector-spark

这是一组Docker镜像，用于演示https://github.com/Logimethods/nats-connector-spark%E3%80%81https://github.com/Logimethods/nats-connector-spark-scala%E5%92%8Chttps://github.com/Logimethods/nats-connector-gatling%E5%BA%93%E7%9A%84%E4%BD%BF%E7%94%A8%E3%80%82

https://img.shields.io/npm/l/express.svg](http://opensource.org/licenses/MIT) https://img.shields.io/github/issues/Logimethods/docker-nats-connector-spark.svg](https://github.com/Logimethods/docker-nats-connector-spark/issues) ![wercker status]([***]

http://dockeri.co/image/logimethods/nats-connector-spark](https://hub.docker.com/r/logimethods/nats-connector-spark/)

镜像概述

本镜像集合提供了一个完整的演示环境，包含Spark集群、NATS消息服务、Gatling数据注入工具和结果监控组件，用于展示NATS与Spark Streaming、Gatling的集成能力，帮助用户快速理解实时数据处理流程。

核心功能

1. 数据注入：Gatling每15秒向NATS发送100-150的数值流；
2. 实时处理：Spark Streaming从NATS接收数据，计算每个流的最大值并回传NATS；
3. 结果监控：监控组件从NATS接收处理结果并打印到控制台；
4. 集群部署：通过Docker Compose一键启动Spark主从节点、NATS服务及相关组件。

使用场景

• 学习NATS与Spark Streaming的集成方法；
• 演示实时数据处理的端到端流程；
• 验证NATS连接器在分布式环境中的性能。

配置说明

部署步骤

1. 创建Spark网络：

Shell
docker network create spark

2. 启动服务：

Shell
cd compose
docker-compose up

3. 停止服务：

Shell
cd compose
docker-compose down

工作流程

1. Docker Compose启动https://github.com/Logimethods/docker-nats-connector-spark/blob/master/compose/docker-compose.yml%E5%AE%9A%E4%B9%89%E7%9A%84%E6%89%80%E6%9C%89%E5%AE%B9%E5%99%A8%EF%BC%9B
2. Gatling通过https://github.com/Logimethods/docker-nats-connector-spark/blob/master/inject/user-files/simulations/nats/NatsInjection.scala%E5%AE%9A%E6%9C%9F%E5%8F%91%E9%80%81%E6%95%B0%E6%8D%AE%E5%88%B0NATS%EF%BC%9B
3. Spark通过https://github.com/Logimethods/docker-nats-connector-spark/blob/master/app/src/main/scala/com/logimethods/nats/connector/spark/app/SparkProcessor.scala%E5%A4%84%E7%90%86%E6%95%B0%E6%8D%AE%E5%B9%B6%E5%9B%9E%E4%BC%A0%E7%BB%93%E6%9E%9C%EF%BC%9B
4. 监控组件通过https://github.com/Logimethods/docker-nats-connector-spark/blob/master/monitor/src/main/scala/com/logimethods/nats/connector/spark/monitor/NatsOutputMonitor.scala%E6%89%93%E5%8D%B0%E7%BB%93%E6%9E%9C%E3%80%82

构建信息

镜像已推送到https://hub.docker.com/r/logimethods/nats-connector-spark/%E5%B9%B6%E5%9C%A8%E8%AF%A5%E5%B9%B3%E5%8F%B0%E6%9E%84%E5%BB%BA%E3%80%82

版本说明

1.0.0

• 使用https://github.com/Logimethods/nats-connector-gatling 1.0.0版本；
• 使用https://github.com/Logimethods/nats-connector-spark-scala 1.0.0版本。

0.3.0

• 使用0.3.0版本的NATS/Spark连接器；
• 基于Spark 2.0.1和Scala 2.11.8；
• NATS payload改为Float类型的byte[]编码。

0.2.0

• 适配Spark 1.6.2，需创建外部spark网络避免主机名下划线问题；
• docker-compose配置使用外部spark网络。

0.1.0

• 基于Spark 1.5.2，无需主机名限制即可使用docker-compose。

相关链接

• https://github.com/Logimethods/nats-connector-gatling
• https://github.com/Logimethods/nats-connector-spark
• https://github.com/Logimethods/docker-nats-connector-spark
• https://hub.docker.com/r/logimethods/nats-connector-spark/

运行示例

Shell
compose$ docker-compose up
spark-master is up-to-date
spark-slave2 is up-to-date
nats-main is up-to-date
spark-slave1 is up-to-date
Recreating compose_monitor_1
Recreating main-app
Recreating compose_gatling_1
Attaching to spark-master, spark-slave2, nats-main, spark-slave1, main-app, compose_gatling_1, compose_monitor_1
main-app        | Will process messages from INPUT to OUTPUT
gatling_1       | GATLING_HOME is set to /opt/gatling
main-app        | SPARK_MASTER_URL = spark://spark-master:7077
...
monitor_1       | Received message: 150

许可证

(The MIT License)

版权所有 (c) 2016-18 Logimethods。

特此免费授予任何获得本软件及相关文档文件（“软件”）副本的人无限制地处理软件的权利，包括但不限于使用、复制、修改、合并、发布、分发、再许可和/或出售软件副本的权利，并允许向其提供软件的人这样做，但须符合以下条件：

上述版权声明和本许可声明应包含在软件的所有副本或主要部分中。

本软件按“原样”提供，不提供任何明示或暗示的担保，包括但不限于对适销性、特定用途适用性和非侵权性的担保。在任何情况下，作者或版权持有人均不对因软件或软件的使用或其他交易而产生的任何索赔、损害或其他责任负责，无论是合同诉讼、侵权诉讼还是其他诉讼。