oydeu/srv-pia_write

镜像概述

本镜像为OwnYourData项目下的服务组件，用于读取标准输入（STDIN）的JSON结构数据，并根据传入的配置参数将数据写入指定的数据仓库（Datentresor）。

核心功能

• 读取STDIN输入的JSON数据
• 根据配置实现字段映射（map参数）
• 支持数据去重（merge参数：基于指定字段判断重复数据，避免重复写入）
• 可选删除目标仓库原有数据（delete参数）
• 支持仅写入JSON的子节点数据（partial参数）

使用场景

• 配合数据采集服务（如银行数据读取服务），将采集到的结构化数据存储到数据仓库
• 批量处理JSON数据并写入指定仓库，适用于数据整合与备份场景

配置说明

配置参数为JSON格式（无空格，避免Docker解析错误），包含以下属性：

• pia_url（必填）：数据仓库地址，例如：[***]
• app_key（必填）：应用唯一标识，用于获取数据写入权限
• app_secret（必填）：应用密钥
• repo（必填）：目标仓库列表名称，应用需拥有该列表的写入权限
• repo_name（可选）：仓库创建时使用的名称
• partial（可选）：指定JSON中的子节点名称，仅写入该子节点的数据
• delete（可选）：设置为"delete":"all"时，写入前删除目标仓库的所有内容
• map（必填）：字段映射列表，定义输入JSON字段与仓库结构字段的对应关系
• merge（可选）：去重字段列表，输入数据中与仓库已有数据的这些字段完全匹配时，不重复写入

部署示例

基础使用命令

sh
cat input.json | docker run -i --rm oydeu/srv-pia_write /bin/run.sh \
    '{"pia_url":"http://1.2.3.4:5678","app_key":"eu.ownyourdata.repo","app_secret":"secret","merge":["field1","field2"],"map":[{"date":"date"},{"field_1":"field1|sub1"}]}'

配合银行数据采集服务的示例

1. 创建银行凭据文件 credentials.json：

json
{
    "bank":     "easybank",
    "username": "123456",
    "password": "12345geheim",
    "account":  "AT121420020010123456"
}

安全提示：仅在可信设备上运行该镜像，确保银行凭据不公开。Docker容器执行后会临时使用凭据，结束后自动删除。

2. 创建数据写入配置文件 bookings.json：

json
{
    "pia_url":     "http://1.2.3.4:8080/",
    "app_key":     "eu.ownyourdata.bank",
    "app_secret":  "1234567890AaBbCcDdEe",
    "repo":    "eu.ownyourdata.bank.easybank",
    "partial": "bookings",
    "merge":[
        "date",
        "value",
        "descriptionOrig"
    ],
    "map":[
        { "date":            "date" },
        { "description":     "description" },
        { "descriptionOrig": "other|original" },
        { "value":           "amount" }
    ]
}

3. 执行管道命令（读取银行数据并写入仓库）：

sh
cat credentials.json | \
docker run -i --rm oydeu/srv-bank /bin/run.sh | \
docker run -i --rm oydeu/srv-pia_write /bin/run.sh \
    "$(cat bookings.json | tr -d '\040\011\012')"

更多信息

• 项目官网：[***]
• GitHub仓库：https://github.com/OwnYourData/service-pia_write/
• Dockerfile地址：https://github.com/OwnYourData/service-pia_write/blob/master/docker/srv-pia_write/Dockerfile
  ===END===