jsoneventsourcing/pincette-json-streams

JSON数据管道声明式工具镜像

镜像概述

本Docker镜像提供了一种声明式方式来描述和管理JSON数据管道，旨在简化JSON格式数据的处理流程配置。通过预定义的声明式语法，用户可快速定义数据转换、过滤、聚合及流转规则，无需编写复杂代码即可实现灵活的数据处理逻辑，适用于各类JSON数据处理场景。

核心功能与特性

1. 声明式配置

• 支持通过YAML/JSON配置文件定义数据管道，语法简洁直观
• 配置文件中可声明数据处理步骤、输入输出源、转换规则等核心要素
• 支持配置热更新，无需重启容器即可应用新的管道定义

2. JSON数据处理能力

• 内置常用JSON数据操作：字段映射、格式转换、条件过滤、数据聚合
• 支持JSONPath表达式，用于精确提取和操作JSON数据节点
• 提供自定义函数扩展，支持复杂业务逻辑的数据处理

3. 流程编排与管理

• 支持多步骤流水线定义，步骤间可设置依赖关系
• 内置错误处理机制，支持失败重试、异常捕获与告警配置
• 提供管道执行状态监控，支持日志输出与执行报告生成

4. 多环境适配

• 轻量级设计，容器启动快速，资源占用低
• 支持与主流数据存储（如Redis、Kafka、文件系统）集成
• 兼容Docker Compose、Kubernetes等容器编排平台

使用场景与适用范围

典型应用场景

• 数据ETL流程：声明式定义JSON格式数据的抽取、转换、加载流程
• API数据转换：在API网关与服务间转换JSON请求/响应格式
• 日志数据处理：解析JSON格式日志，过滤关键信息并转发至存储或分析系统
• 数据集成：连接不同系统间的JSON数据流转，实现跨平台数据同步

适用用户

• 数据工程师：简化ETL流程配置
• 后端开发者：快速实现API数据格式转换
• 运维工程师：自动化日志与监控数据处理
• 数据分析师：定义数据预处理管道，准备分析数据

使用方法与配置说明

基本使用

1. 拉取镜像

bash
docker pull [镜像仓库地址]/json-data-pipeline:latest

2. 基本运行命令

bash
docker run -d \
  --name json-pipeline \
  -v /path/to/pipelines:/app/pipelines \  # 挂载管道配置文件目录
  -e LOG_LEVEL=info \                     # 设置日志级别
  [镜像仓库地址]/json-data-pipeline:latest

配置说明

环境变量

管道配置文件格式

管道配置文件为YAML格式，放置于PIPELINE_DIR目录下，示例：

yaml
# example-pipeline.yaml
name: "user-data-transform"
description: "转换用户数据格式并输出至API"
steps:
  - name: "input"
    type: "http"
    config:
      url: "https://api.example.com/users"
      method: "GET"
  
  - name: "filter-active-users"
    type: "filter"
    input: "input"
    config:
      condition: "$.status == 'active'"
  
  - name: "transform-format"
    type: "transform"
    input: "filter-active-users"
    config:
      mapping:
        user_id: "$.id"
        username: "$.name"
        email: "$.contact.email"
        join_date: "$.created_at | strftime('%Y-%m-%d')"
  
  - name: "output"
    type: "http"
    input: "transform-format"
    config:
      url: "https://datawarehouse.example.com/users"
      method: "POST"
      headers:
        Content-Type: "application/json"

示例：实现简单JSON数据转换管道

1. 创建管道配置文件/local/pipelines/simple-transform.yaml：

yaml
name: "simple-json-transform"
steps:
  - name: "input"
    type: "inline"
    config:
      data: '[{"id": 1, "name": "Alice", "age": 30}, {"id": 2, "name": "Bob", "age": 25}]'
  
  - name: "filter-adults"
    type: "filter"
    input: "input"
    config:
      condition: "$.age >= 18"
  
  - name: "format-output"
    type: "transform"
    input: "filter-adults"
    config:
      mapping:
        user_id: "$.id"
        full_name: "$.name"
        is_adult: "true"
  
  - name: "output-to-stdout"
    type: "stdout"
    input: "format-output"

2. 启动容器：

bash
docker run -it \
  --name demo-pipeline \
  -v $(pwd)/pipelines:/app/pipelines \
  [镜像仓库地址]/json-data-pipeline:latest

3. 容器将输出转换后的JSON数据：

json
[{"user_id": 1, "full_name": "Alice", "is_adult": true}, {"user_id": 2, "full_name": "Bob", "is_adult": true}]

注意事项

• 配置文件需使用UTF-8编码，且文件名以.yaml或.yml结尾
• 复杂转换逻辑建议通过自定义函数扩展实现，函数文件需挂载至/app/functions目录
• 生产环境建议使用持久化存储挂载配置文件目录，避免容器重启后配置丢失