databoxsystems/store-json

store-json

注意：这是处理大型数据集的临时解决方案，将在https://github.com/sevenEng/databox-storage%E5%B0%B1%E7%BB%AA%E5%90%8E%E8%A2%AB%E6%9B%BF%E4%BB%A3%E3%80%82
注意：由于缺少ARM版本的Mongo包，此存储无法在ARM架构上运行。

Databox JSON数据存储镜像用于处理时间序列和键值对数据，基于MongoDB构建。该存储暴露8080端口的HTTP API和用于实时数据的WebSocket API，所有请求需按照Hypercat 3.0规范（PAS212文档第7.1节）传递Arbiter令牌。

读取API

时间序列数据

时间序列中的每个值是JSON对象，包含以下字段：

• data：原始值
• timestamp：关联时间（UNIX纪元以来的毫秒数，用于时间查询）
• datasource_id：数据源ID（内部必需，对客户端可见）

所有方法返回此格式的数据（或数组），POST方法可选使用此格式。

• 获取最新数据
  URL: /<datasourceid>/ts/latest
  方法: GET
  参数: <datasourceid> 目标数据源ID
  说明: 返回指定数据源的最新值对象（可能为空数组）

• 获取指定时间之后的数据
  URL: /<datasourceid>/ts/since
  方法: GET
  URL参数: <datasourceid> 目标数据源ID
  Body参数: <startTimestamp> 起始时间戳（毫秒，包含）
  说明: 返回指定数据源在起始时间戳之后的所有值对象，Body需为JSON编码

• 获取时间范围内的数据
  URL: /<datasourceid>/ts/range
  方法: GET
  URL参数: <datasourceid> 目标数据源ID
  Body参数: <startTimestamp>（起始，包含）和 <endTimestamp>（结束，包含）
  说明: 返回指定时间范围内的所有值对象，Body需为JSON编码

• 自定义查询
  URL: /<datasourceid>/ts/query
  方法: GET
  Body参数:

  • <query>: MongoDB JSON查询字符串
  • <limit>: 返回文档的最大数量（整数）
  • <sort>: MongoDB JSON排序对象字符串
    说明: 返回值对象数组，Body需为JSON编码

键值对

• 获取键值数据
  URL: /<key>/kv/
  方法: GET
  参数: 替换<key>为文档键
  说明: 返回该键对应的JSON数据（无包装对象）；若不存在则返回404错误 {status:404,error:"Document not found."}

WebSocket

连接到WebSocket客户端 /ws，然后订阅数据：

• 时间序列订阅
  URL: /sub/<datasourceid>/ts
  方法: GET
  参数: 替换<datasourceid>为数据源ID
  说明: 当指定数据源添加数据时，通过WebSocket广播数据（JSON对象格式）

• 键值对订阅
  URL: /sub/<key>/kv
  方法: GET
  参数: 替换<key>为文档键
  说明: 当指定键的数据添加或更新时，通过WebSocket广播数据（包含datasource_id和data的JSON对象）

写入API

数据源目录管理

• 添加目录项
  URL: /cat
  方法: POST
  参数: 原始JSON Body，包含Hypercat项（符合PAS212文档表2）
  示例:

  json
  {
    "item-metadata": [{
        "rel": "urn:X-hypercat:rels:hasDescription:en",
        "val": "Test item"
      }, {
        "rel": "urn:X-hypercat:rels:isContentType",
        "val": "text/plain"
      }, {
        "rel": "urn:X-databox:rels:hasVendor",
        "val": "Databox Inc."
      }, {
        "rel": "urn:X-databox:rels:hasType",
        "val": "Test"
      }, {
        "rel": "urn:X-databox:rels:hasDatasourceid",
        "val": "MyLongId"
      }, {
        "rel": "urn:X-databox:rels:isActuator",
        "val": false
      }, {
        "rel": "urn:X-databox:rels:hasStoreType",
        "val": "databox-store-blob"
      }
    ],
    "href": "https://databox-store-blob:8080"
  }
  

时间序列数据

• 写入数据
  URL: /<datasourceid>/ts/
  方法: POST
  参数: 原始JSON Body，格式为{data: <json blob to store>}（否则整个Body作为data值）
  说明: 若data或Body中存在整数timestamp字段则使用该值，否则插入时自动添加时间戳

键值对

• 写入/更新数据
  URL: /<key>/kv/
  方法: POST
  参数: 原始JSON Body，包含要存储的JSON格式数据
  说明: 若键不存在则插入，存在则更新

仲裁器接口

获取数据源目录

• URL: /cat
  方法: GET
  参数: 无
  说明: 返回最新的Hypercat格式数据源目录

状态

当前为Beta版本，可能存在 bug，但API相对稳定。

构建与运行

Docker部署示例

bash
docker run -d -p 8080:8080 databoxsystems/store-json

本地运行

bash
npm install && npm start

开发

以开发者模式启动容器管理器：

bash
DATABOX_DEV=1 npm start

克隆仓库并修改代码，构建新镜像并推送到本地 registry：

bash
npm run build && npm run deploy

重启容器管理器以使用更新版本。

测试

在包含独立MongoDB实例的容器中测试新数据存储：

bash
npm run build && npm run testincont