oceanprotocol/pod-publishing

Pod Publishing

概述

Pod Publishing是一个命令行工具，用于发布计算Pod（Computing Pod）生成的数据。它能够将工作流输出上传至AWS S3存储桶或IPFS，记录所有处理步骤，并相应地更新PostgreSQL数据库，为数据处理工作流提供可靠的发布和追踪能力。

核心功能和特性

• 支持多种工作流的数据处理
• 允许指定工作流配置路径和凭证信息
• 将所有处理数据和日志存储在指定目录
• 更新PostgreSQL数据库，记录已处理工作流的相关信息
• 可将文件上传至AWS S3存储桶或IPFS，若两者均可用则优先使用IPFS
• 支持控制台输出的详细程度控制（verbose模式）

使用场景

适用于需要自动化处理和发布计算工作流输出数据的场景，尤其是在需要将数据存储到分布式存储（IPFS）或云存储（AWS S3）并保持处理记录的场景，如数据科学工作流、自动化数据分析pipeline等。

安装与使用

拉取镜像

bash
docker pull oceanprotocol/pod-publishing

运行容器

使用docker run命令运行容器，需挂载必要的卷（如工作流配置文件、凭证文件、数据卷路径）并传递所需参数：

bash
docker run -v /local/workflow:/workflow \
  -v /local/creds:/creds \
  -v /local/volume:/volume \
  oceanprotocol/pod-publishing \
  -w /workflow/workflow.json \
  -c /creds/creds.json \
  -p mypassword \
  -l /volume \
  --workflowid 12345 \
  -v

命令行选项

可用的命令行选项：

• -w, --workflow <path>: 工作流配置文件路径（容器内路径）
• -c, --credentials <json>: 凭证文件路径（容器内路径）
• -p, --password <password>: 凭证密码
• -l, --path <path>: 卷路径（容器内路径，用于存储处理数据和日志）
• --workflowid <workflowid>: 工作流ID
• -v, --verbose: 启用详细输出模式

使用示例

以下示例展示如何运行容器处理指定工作流：

bash
docker run -v $(pwd)/samples:/workflow \
  -v $(pwd)/creds:/creds \
  -v $(pwd)/volumePath:/volume \
  oceanprotocol/pod-publishing \
  -w /workflow/workflow.json \
  -c /creds/creds.json \
  -p mypassword \
  -l /volume \
  --workflowid 12345 \
  -v

脚本支持

镜像中包含以下可执行脚本：

• start: 启动应用程序（默认入口点）
• lint: 对.js文件运行ESLint检查
• release: 使用release-it自动化版本控制和包发布

仓库与支持

代码仓库

GitHub仓库：https://github.com/oceanprotocol/pod-publishing

报告问题

如需报告bug，请在GitHub仓库提交issue：https://github.com/oceanprotocol/pod-publishing/issues

许可证

Pod Publishing基于Apache-2.0许可证发布。

联系方式

如有任何疑问，可联系开发团队：***