热门搜索:
neicnordic/sda-pipeline
neicnordic
sda-pipeline是NeIC敏感数据归档(SDA)的组成部分，实现数据提交所需组件，可作为联邦EGA的一部分或独立敏感数据归档使用，支持S3和POSIX存储。
下载次数: 0状态：社区镜像维护者：neicnordic仓库类型：镜像最近更新：2 年前
让 AI 帮你使用轩辕镜像？ · 展开查看说明
如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。
只需在 AI 对话中先发送下面这句话即可：
请先完整阅读并严格遵守以下文档中的全部规则与要求：
https://xuanyuan.cloud/agents.md
在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。查看 agents.md 用法指南与完整示范。国内用户首推 元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。 若 AI 无法访问外链，可 打开说明文档 复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。
sda-pipeline
镜像概述和主要用途
sda-pipeline是NeIC敏感数据归档的一部分，实现了数据提交所需的组件。它可作为联邦EGA的一部分使用，也可作为独立的敏感数据归档系统。该镜像支持S3和POSIX存储。
核心功能和特性
- 支持数据提交流程中的关键环节，包括消息中继、文件接收、验证、最终确认、映射和同步
- 兼容S3对象存储和POSIX文件系统
- 可集成到联邦EGA架构或作为独立系统运行
- 包含多个模块化组件，各组件职责明确，协同工作
使用场景和适用范围
- 作为联邦EGA的节点参与数据共享
- 搭建独立的敏感数据归档系统
- 科研机构或组织内部的敏感数据管理和归档
- 需要安全存储和管理敏感数据的场景
部署方法
生产环境部署
推荐的生产环境部署方式：
- 在
kubernetes集群上使用https://github.com/neicnordic/sda-helm/
本地开发/测试
本地开发和测试请参考dev_utils文件夹中的说明。
核心组件
| 组件 | 作用 |
|---|---|
| intercept | 中继服务，在联邦服务提供的队列和本地队列之间中继消息。（仅联邦EGA用例需要） |
| ingest | 接收上传到收件箱的文件消息，将文件及其头部信息注册到数据库，并将剥离头部的文件存储到归档存储中。 |
| verify | 从归档存储读取并解密已摄入的文件，并发送 accession 请求。 |
| finalize | 接收包含已摄入文件_accessionIDs_的消息，并将其注册到数据库中。 |
| mapper | 注册_accessionIDs_（文件ID）到_datasetIDs_的映射关系。 |
| sync | 接收包含已摄入文件_accessionIDs_的消息，并将文件复制到第二/备份存储。 |
内部组件
| 组件 | 作用 |
|---|---|
| broker | 包含与消息代理通信的包，依赖：https://github.com/neicnordic/sda-mq |
| config | 用于管理配置的包。 |
| database | 提供数据库使用功能，提供高级函数，依赖：https://github.com/neicnordic/sda-db%E3%80%82 |
| storage | 提供存储区域的接口，如常规文件系统或S3对象存储。 |
文档
sda-pipeline文档可在以下地址获取：https://neicnordic.github.io/sda-pipeline/pkg/sda-pipeline/
NeIC敏感数据归档文档可在以下地址获取：[***]
贡献
我们欢迎贡献。有关入门提示，请参阅我们的贡献文档。
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 sda-pipeline 镜像标签
docker pull docker.xuanyuan.run/neicnordic/sda-pipeline:<标签>
DockerHub 原生拉取命令
docker pull neicnordic/sda-pipeline:<标签>
更多 sda-pipeline 镜像推荐
atlassian/pipelines-agent
atlassian
暂无描述
4 次收藏1亿+ 次下载
6 年前更新
atlassian/pipelines-auth-proxy
atlassian
作为边车容器，提供Git HTTP(S)代理功能，用于访问bitbucket.org
1 次收藏5000万+ 次下载
5 年前更新
rancher/pipeline-tools
rancher
暂无描述
1 次收藏100万+ 次下载
4 年前更新
atlassian/pipelines-docker-daemon
atlassian
为Bitbucket Pipelines提供Docker-in-Docker能力，支持在CI/CD流程中运行Docker命令以实现镜像构建、推送等操作的工具镜像。
9 次收藏5000万+ 次下载
5 年前更新
atlassian/pipelines-awscli
atlassian
Bitbucket Pipelines的AWS CLI Docker镜像，已弃用，推荐使用amazon/aws-cli替代。
22 次收藏1000万+ 次下载
2 年前更新
atlassian/pipelines-dvcstools
atlassian
暂无描述
1 次收藏1亿+ 次下载
6 年前更新
镜像拉取常见问题
功能
错误码
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"