o2rproject/o2r-shipper

o2r-shipper

这是一个用于将ERCs（可执行研究压缩包）传输到外部存储库的微服务。

有关其在o2r中的角色，请参见https://github.com/o2r-project/architecture%E3%80%82

许可证

o2r-shipper采用Apache License 2.0许可，详见LICENSE文件。版权所有 (C) 2016, 2017 - o2r项目。

安装

bash
pip install -r requirements.txt

或使用Dockerfile构建镜像。

---

1. 运输服务选项

shipper.py通过外部API调用来管理文件向存储库的提交，同时为o2r Web API提供运输相关的API路由。

使用方法：

bash
python shipper.py -t {ACCESS_TOKENS}

• 使用 -t 指定API访问令牌（例如Zenodo API密钥）。接收的参数必须是有效的JSON，例如{\"my_repo\": \"my_key\"}。即使通过配置有可用令牌，此参数也将优先使用（见下文）。

• 可选使用 -d 启用调试模式并在出错时增加详细程度。

• 使用 docker build 命令，以当前仓库为上下文构建Docker镜像。

示例：

bash
docker build . -t o2r-shipper
docker run --rm -v $(pwd)/o2r-shipper -t {ACCESS_TOKENS}

2. o2r API端点

请参考以下文档：

• o2r API
• https://github.com/o2r-project/o2r-web-api/blob/master/docs/shipment.md

3. 配置

配置基于环境变量，如下表所示。默认值在config.json文件中（该文件必须与shipper.py在同一目录），也可在该文件中修改。

---

Bagit有效性

在运输时，shipper会尝试使用LoC的bagit.py模块验证目标文件是否为有效的Bagit包。若未找到Bagit包，则会创建一个；若包无效，则会更新。shipper设计为仅向接收方传输有效包。

运输接收方（"Repos"）

作为运输目的地的新存储库可添加到shipper的/repo文件夹中。它们封装目标存储库的API，文件名必须以repo开头，类名必须以RepoClass开头才能被识别。此外，每个存储库需在其配置中提供ID、LABEL和HOST，以及返回这些值的函数。它们从同一文件夹中的主repoclass模块继承必要的导入。该目录中当前可用的存储库类可作为详细示例。

支持的第三方存储库

下载作为存储库代理

ID download

为了“运输到自己的存储”，提供了一个下载存储库类，与远程存储库不同，它会创建用于流式传输目标压缩包的下载链接。

Eudat b2share（沙箱）存储库

IDs b2share_sandbox, b2share

要将ERC传输到Eudat b2share（或Eudat b2share沙箱），需创建账户并登录。然后进入账户获取个人访问令牌。

Zenodo（沙箱）存储库

IDs zenodo_sandbox, zenodo

要将ERC传输到Zenodo（或Zenodo沙箱），需创建账户并登录。然后进入账户“设置”，打开“应用程序”设置，添加新的“个人访问令牌”，并包含deposit:write和deposit:actions作用域。

测试

测试使用pytest实现，遵循其测试发现约定。配置文件为pytest.ini。

手动测试

测试需要运行shipper服务及所需数据库。shipper可在容器中运行。以下示例仅配置download存储库。

bash
pip install -U pytest requests json

# 启动容器中的shipper和数据库：
docker build -t shipper .
docker run --name testdb -d -p 27017:27017 mongo:3.4
docker run --name testshipper -t -d -p 8087:8087 --link testdb:testdb -e SHIPPER_MONGODB=mongodb://testdb:27017 -e SHIPPER_BOTTLE_HOST=0.0.0.0 -e SHIPPER_REPO_TOKENS='{"download": ""}' shipper
sleep 5

# 运行测试：
pytest

# 查看容器日志，然后删除容器
docker logs testshipper
docker rm -f testdb testshipper

在线集成测试

手动测试的步骤也提供了自动化测试的结构，详见.github/workflows/test.yml。