mabruras/sqapi

sqAPI

你是否正在寻找 https://github.com/mabruras/sqapi-plugins%EF%BC%9F

概述

sqAPI是一个基于插件的数据聚合系统，用于订阅消息、查询数据和元数据存储、聚合并向用户暴露数据。收到消息后，系统会获取相关数据和元数据，计算哈希摘要并猜测MIME类型，再执行所有支持该类型的活跃插件进行自定义处理，处理后的数据可根据插件实现存储到数据库或磁盘。每个插件独立职责，用户可通过API资源访问聚合数据。

图形说明

整体架构

下图展示sqAPI在存储系统中的位置，支持多实例部署，每个实例可根据需求选择插件组合：
!https://github.com/mabruras/sqapi/raw/master/resources/images/sqapi_overview.png

详细流程

下图展示sqAPI的内部流程与组件，橙色区域为插件自定义逻辑：
!https://github.com/mabruras/sqapi/raw/master/resources/images/sqapi_details.png

快速开始

Docker Compose

基于https://github.com/mabruras/sqapi/blob/master/resources/docs/EXAMPLE_SYSTEM.md%E5%90%AF%E5%8A%A8%E5%A4%9A%E5%AE%B9%E5%99%A8%E7%8E%AF%E5%A2%83%EF%BC%8C%E5%91%BD%E4%BB%A4%E5%A6%82%E4%B8%8B%EF%BC%9A

bash
docker-compose build
docker-compose up -d

Docker运行

挂载插件目录启动实例（示例使用官方插件仓库）：

bash
docker run -d \
  -p 5000:5000 \
  -v "${PWD}/../sqapi-plugins":/opt/mab/sqapi/plugin/plugins \
  mabruras/sqapi

核心功能

1. 插件化架构：支持动态加载插件，每个插件独立处理数据，互不干扰
2. 数据聚合：接收消息后自动获取数据/元数据，执行插件逻辑进行处理
3. 双服务模式：可拆分为Loader（数据加载）和API（数据暴露）两个独立服务
4. 灵活配置：通过环境变量或配置文件自定义系统参数

使用场景

• 多源数据聚合与统一暴露
• 消息驱动的数据处理流程
• 插件化扩展的自定义数据服务

配置说明

环境变量

插件依赖

• PIP包：插件可通过配置文件声明，运行时自动安装
• APT包：需通过自定义Docker镜像提前安装

贡献指南

1. 核心逻辑：提交bug修复或功能优化的PR
2. 插件开发：参考https://github.com/mabruras/sqapi-plugins/blob/master/README.md%E5%BC%80%E5%8F%91%E6%96%B0%E6%8F%92%E4%BB%B6
3. 连接器扩展：支持更多外部系统（数据库、存储、消息系统等），详情见https://github.com/mabruras/sqapi/blob/master/resources/docs/CONNECTORS.md