apachestreampipes/backend

Apache StreamPipes Core 镜像文档

1. 镜像概述和主要用途

Apache StreamPipes 是一个自助式工业物联网（IIoT）工具箱，旨在让非技术用户能够连接、分析和探索物联网数据流。本镜像包含 Apache StreamPipes 核心组件（Core），负责管理整个系统的运行及控制数据处理管道的执行。

2. 核心功能和特性

2.1 核心数据处理能力

• 多协议连接：支持快速接入超过20种工业协议，包括OPC-UA、PLC、MQTT、REST、Pulsar、Kafka等。
• 数据处理管道：提供100余种算法和数据接收器，可构建数据协调与分析管道，并支持将数据转发至第三方系统。
• 数据探索工具：内置数据探索器，通过多种时间序列数据专用小部件可视化探索历史数据。
• 实时仪表盘：展示数据源和管道的实时数据，适用于车间监控等实时场景。
• 高度可扩展性：提供Java SDK用于开发新管道元素和适配器；Python支持处于早期开发阶段。管道元素为独立微服务，可部署于中心服务器或边缘节点，支持集成自定义机器学习模型作为数据处理器。

2.2 生产级部署特性

• 资源资产管理：将管道、数据流、仪表盘等资源分配给具体资产，提升管理效率。
• 监控与指标：提供管道和适配器的运行监控及指标统计功能。
• 权限管理：内置用户及访问权限管理系统，保障数据安全。
• 资源导入导出：支持资源的导出与导入，便于备份、迁移和共享。

3. 使用场景和适用范围

3.1 典型使用场景

• 工业物联网数据集成：连接多类型工业设备与协议，统一采集和处理物联网数据流。
• 非技术用户数据处理：通过图形化界面，使非技术人员无需编程即可创建和管理数据处理流程。
• 边缘-云协同计算：管道元素可灵活部署于边缘节点或中心服务器，适配边缘计算架构。
• 生产过程监控：通过实时数据展示和历史数据分析，优化生产流程监控与管理。

3.2 适用范围

• 工业制造、能源、物流等需处理大规模物联网数据的行业。
• 需要非技术人员参与数据处理流程的企业或组织。
• 对系统可扩展性、稳定性及安全性有要求的企业级部署场景。

4. 使用方法和配置说明

4.1 部署方式

Apache StreamPipes 提供 Docker Compose 和 Kubernetes Helm Charts 两种部署方案，Core 镜像作为核心组件包含在部署包中。

4.1.1 Docker Compose 部署

1. 获取部署文件
   克隆 GitHub 仓库最新发布版本的部署文件（请切换至最新官方发布分支）：

   bash
   git clone https://github.com/apache/streampipes.git
   cd streampipes/installer/compose
   

2. 启动服务
   执行以下命令启动包含 Core 镜像在内的所有组件：

   bash
   docker-compose up -d
   

4.1.2 Kubernetes 部署

1. 获取 Helm Charts
   克隆 GitHub 仓库的 Kubernetes 部署文件：

   bash
   git clone https://github.com/apache/streampipes.git
   cd streampipes/installer/k8s
   

2. 部署服务
   参考官方文档执行 Helm Charts 部署，Core 组件将自动作为核心服务启动。

4.2 配置说明

Core 镜像的默认配置已集成在官方部署文件中，暂无额外环境变量或配置参数需手动设置。详细配置步骤及自定义选项请参考官方安装指南：Apache StreamPipes 安装文档。

5. 参考信息

• 官方网站：[***]
• 部署文件仓库：
  • Docker Compose：https://github.com/apache/streampipes/tree/dev/installer/compose
  • Kubernetes：https://github.com/apache/streampipes/tree/dev/installer/k8s
• 注意事项：请确保使用与最新官方发布版本对应的仓库分支。

6. 镜像基本信息

• 镜像名称：Apache StreamPipes Core
• 维护方：Apache StreamPipes PMC（项目管理委员会）