apachestreampipes/extensions-all-jvm

Apache StreamPipes Docker镜像文档

1. 镜像概述和主要用途

Apache StreamPipes是一个由Apache StreamPipes PMC管理的Docker镜像，对应自助式工业物联网（IIoT）工具箱，旨在帮助非技术用户连接、分析和探索物联网数据流。该镜像提供了StreamPipes的核心功能及扩展服务，支持构建端到端的工业IoT数据处理流程，适用于从边缘到云端的部署场景。

2. 核心功能和特性

2.1 核心功能

• 多协议数据连接：支持20余种工业协议（如OPC-UA、PLC、MQTT、REST、Pulsar、Kafka等），快速接入各类IoT数据源。
• 数据处理与集成：提供100余种算法和数据接收器（sink），支持构建数据协调与分析管道，可将数据转发至第三方系统。
• 数据探索与可视化：内置数据探索器，提供多种针对时序数据的可视化组件，支持历史数据的直观探索；实时仪表板可展示数据源和管道的实时数据，适用于车间监控等场景。
• 高度可扩展性：通过Java SDK创建自定义管道元素（数据处理器、连接器等），Python支持处于早期开发阶段；管道元素为独立微服务，可部署于中心服务器或边缘节点，支持集成自定义机器学习模型。

2.2 生产部署特性

• 资源组织：将管道、数据流、仪表板等资源分配至资产，提升管理效率。
• 监控与度量：提供管道和适配器的运行监控及指标收集。
• 用户与权限管理：内置用户及访问权限管理功能。
• 资源导入导出：支持管道、数据流等资源的导出与导入，便于迁移和备份。

3. 使用场景和适用范围

3.1 适用场景

• 工业物联网数据处理：连接PLC、OPC-UA等工业设备，构建实时数据处理管道。
• 非技术用户自助分析：通过图形化界面，无需编程即可完成数据接入、处理与可视化。
• 边缘计算部署：管道元素可在边缘节点运行，满足低延迟数据处理需求。
• 生产监控与管理：通过实时仪表板监控生产状态，结合资源分配功能优化管理流程。

3.2 适用范围

• 工业制造、能源、物流等需要处理IoT数据流的行业。
• 需为非技术团队提供自助数据分析能力的组织。
• 要求兼顾中心服务器与边缘节点部署的场景。

4. 使用方法和配置说明

4.1 安装方式

Apache StreamPipes提供两种主要部署方式：

4.1.1 Docker Compose部署

官方提供docker-compose文件，适用于单机或小规模部署。

4.1.2 Kubernetes部署

通过helm charts部署，适用于大规模、高可用场景。

详细安装步骤请参考官方文档：https://streampipes.apache.org/docs/try-installation%E3%80%82

4.2 扩展服务说明（All, JVM）

apache/streampipes-extensions-all-jvm镜像包含StreamPipes扩展服务，提供所有基于独立包装器的扩展组件，包括：

• 数据处理器（Data Processors）
• 数据接收器（Sinks）
• 连接器（Connectors）

该镜像中的扩展服务为JVM-based，支持核心功能中的各类数据处理与连接能力。

4.3 部署示例

4.3.1 Docker Compose使用示例

1. 克隆官方仓库并切换至最新发布分支：

   bash
   git clone https://github.com/apache/streampipes.git
   cd streampipes
   git checkout <latest-release-branch>  # 切换至最新官方发布分支
   

2. 进入installer/compose目录：

   bash
   cd installer/compose
   

3. 启动服务：

   bash
   docker-compose up -d
   

4.4 扩展服务镜像说明

镜像apache/streampipes-extensions-all-jvm包含所有基于JVM的独立扩展组件，部署后将自动注册至StreamPipes核心服务，无需额外配置即可在图形化界面中使用扩展的处理器、接收器和连接器。

4.5 注意事项

• 部署时需确保使用与最新官方发布版本匹配的代码分支，避免兼容性问题。
• 更多配置细节（如端口映射、资源限制等）可参考docker-compose.yml文件或官方文档。

5. 进一步信息

5.1 官方资源

• 官网：https://streampipes.apache.org
• GitHub仓库：https://github.com/apache/streampipes

5.2 部署配置文件

• Docker Compose配置：https://github.com/apache/streampipes/tree/dev/installer/compose
• Kubernetes配置：https://github.com/apache/streampipes/tree/dev/installer/k8s

5.3 版本说明

请通过GitHub仓库切换至最新官方发布分支，确保部署文件与版本匹配。