热门搜索:
neicnordic/sda-pipeline
neicnordic
sda-pipeline是NeIC敏感数据归档(SDA)的组成部分，实现数据提交所需组件，可作为联邦EGA的一部分或独立敏感数据归档使用，支持S3和POSIX存储。
下载次数: 0状态：社区镜像维护者：neicnordic仓库类型：镜像最近更新：2 年前
sda-pipeline
镜像概述和主要用途
sda-pipeline是NeIC敏感数据归档的一部分，实现了数据提交所需的组件。它可作为联邦EGA的一部分使用，也可作为独立的敏感数据归档系统。该镜像支持S3和POSIX存储。
核心功能和特性
- 支持数据提交流程中的关键环节，包括消息中继、文件接收、验证、最终确认、映射和同步
- 兼容S3对象存储和POSIX文件系统
- 可集成到联邦EGA架构或作为独立系统运行
- 包含多个模块化组件，各组件职责明确，协同工作
使用场景和适用范围
- 作为联邦EGA的节点参与数据共享
- 搭建独立的敏感数据归档系统
- 科研机构或组织内部的敏感数据管理和归档
- 需要安全存储和管理敏感数据的场景
部署方法
生产环境部署
推荐的生产环境部署方式：
- 在
kubernetes集群上使用https://github.com/neicnordic/sda-helm/
本地开发/测试
本地开发和测试请参考dev_utils文件夹中的说明。
核心组件
| 组件 | 作用 |
|---|---|
| intercept | 中继服务，在联邦服务提供的队列和本地队列之间中继消息。（仅联邦EGA用例需要） |
| ingest | 接收上传到收件箱的文件消息，将文件及其头部信息注册到数据库，并将剥离头部的文件存储到归档存储中。 |
| verify | 从归档存储读取并解密已摄入的文件，并发送 accession 请求。 |
| finalize | 接收包含已摄入文件_accessionIDs_的消息，并将其注册到数据库中。 |
| mapper | 注册_accessionIDs_（文件ID）到_datasetIDs_的映射关系。 |
| sync | 接收包含已摄入文件_accessionIDs_的消息，并将文件复制到第二/备份存储。 |
内部组件
| 组件 | 作用 |
|---|---|
| broker | 包含与消息代理通信的包，依赖：https://github.com/neicnordic/sda-mq |
| config | 用于管理配置的包。 |
| database | 提供数据库使用功能，提供高级函数，依赖：https://github.com/neicnordic/sda-db%E3%80%82 |
| storage | 提供存储区域的接口，如常规文件系统或S3对象存储。 |
文档
sda-pipeline文档可在以下地址获取：https://neicnordic.github.io/sda-pipeline/pkg/sda-pipeline/
NeIC敏感数据归档文档可在以下地址获取：[***]
贡献
我们欢迎贡献。有关入门提示，请参阅我们的贡献文档。
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 sda-pipeline 镜像标签
docker pull docker.xuanyuan.run/neicnordic/sda-pipeline:<标签>
DockerHub 原生拉取命令
docker pull neicnordic/sda-pipeline:<标签>
更多 sda-pipeline 镜像推荐
atlassian/pipelines-agent
atlassian
暂无描述
4 次收藏1亿+ 次下载
6 年前更新
atlassian/pipelines-auth-proxy
atlassian
作为边车容器，提供Git HTTP(S)代理功能，用于访问bitbucket.org
1 次收藏5000万+ 次下载
5 年前更新
rancher/pipeline-tools
rancher
暂无描述
1 次收藏100万+ 次下载
4 年前更新
atlassian/pipelines-awscli
atlassian
Bitbucket Pipelines的AWS CLI Docker镜像，已弃用，推荐使用amazon/aws-cli替代。
22 次收藏1000万+ 次下载
2 年前更新
atlassian/pipelines-docker-daemon
atlassian
为Bitbucket Pipelines提供Docker-in-Docker能力，支持在CI/CD流程中运行Docker命令以实现镜像构建、推送等操作的工具镜像。
9 次收藏5000万+ 次下载
5 年前更新
atlassian/pipelines-dvcstools
atlassian
暂无描述
1 次收藏1亿+ 次下载
6 年前更新
轩辕镜像配置手册
探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式
Docker 配置
登录仓库拉取
通过 Docker 登录认证访问私有仓库
专属域名拉取
无需登录使用专属域名
K8s Containerd
Kubernetes 集群配置 Containerd
K3s
K3s 轻量级 Kubernetes 镜像加速
Dev Containers
VS Code Dev Containers 配置
Podman
Podman 容器引擎配置
Singularity/Apptainer
HPC 科学计算容器配置
其他仓库配置
ghcr、Quay、nvcr 等镜像仓库
Harbor 镜像源配置
Harbor Proxy Repository 对接专属域名
Portainer 镜像源配置
Portainer Registries 加速拉取
Nexus 镜像源配置
Nexus3 Docker Proxy 内网缓存
系统配置
需要其他帮助？请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
镜像拉取常见问题
使用与功能问题
配置了专属域名后，docker search 为什么会报错？
docker search 限制
Docker Hub 上有的镜像，为什么在轩辕镜像网站搜不到？
站内搜不到镜像
机器不能直连外网时，怎么用 docker save / load 迁镜像？
离线 save/load
docker pull 拉插件报错（plugin v1+json）怎么办？
插件要用 plugin install
WSL 里 Docker 拉镜像特别慢，怎么排查和优化？
WSL 拉取慢
轩辕镜像安全吗？如何用 digest 校验镜像没被篡改？
安全与 digest
第一次用轩辕镜像拉 Docker 镜像，要怎么登录和配置？
新手拉取配置
轩辕镜像合规吗？轩辕镜像的合规是怎么做的？
镜像合规机制
错误码与失败问题
docker pull 提示 manifest unknown 怎么办？
manifest unknown
docker pull 提示 no matching manifest 怎么办？
no matching manifest（架构）
镜像已拉取完成，却提示 invalid tar header 或 failed to register layer 怎么办？
invalid tar header（解压）
Docker pull 时 HTTPS / TLS 证书验证失败怎么办？
TLS 证书失败
Docker pull 时 DNS 解析超时或连不上仓库怎么办？
DNS 超时
docker 无法连接轩辕镜像域名怎么办？
域名连通性排查
Docker 拉取出现 410 Gone 怎么办？
410 Gone 排查
出现 402 或「流量用尽」提示怎么办？
402 与流量用尽
Docker 拉取提示 UNAUTHORIZED（401）怎么办？
401 认证失败
遇到 429 Too Many Requests（请求太频繁）怎么办？
429 限流
docker login 提示 Cannot autolaunch D-Bus，还算登录成功吗？
D-Bus 凭证提示
为什么会出现「单层超过 20GB」或 413，无法加速拉取？
413 与超大单层
账号 / 计费 / 权限
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"