rucio/rucio-fs

Rucio - 科学数据管理 (RucioFS 容器)

镜像概述和主要用途

Rucio是一个软件框架，用于组织、管理和访问大量科学数据，支持自定义策略。数据可分布在全球不同位置和异构数据中心，将不同的存储和网络技术整合为单一联邦实体。Rucio提供分布式数据恢复、自适应复制等高级功能，具有高可扩展性、模块化和可扩展性。最初为高能物理实验ATLAS开发，现持续扩展以支持LHC实验及其他科学社区。本镜像提供基本的RucioFS挂载选项，用于连接多个Rucio服务器。

核心功能和特性

• 分布式数据管理：支持全球分布式数据存储和访问，整合异构存储资源
• 灵活认证：支持userpass、X509等多种认证方式
• 可配置性：通过环境变量或rucio.cfg文件进行灵活配置
• 高扩展性：适应大规模科学数据管理需求
• FUSE支持：通过RucioFS提供文件系统挂载能力

使用场景和适用范围

适用于需要访问和管理分布式科学数据的场景，尤其适合高能物理、天体物理等产生大量数据的科研领域。科研人员可通过本镜像便捷挂载Rucio服务器，访问存储在不同数据中心的科学数据。

使用方法和配置说明

前提条件

• 需要配置Rucio服务器和认证主机信息
• 准备相应的认证凭证（用户名/密码或X509证书）

运行容器的几种方式

1. 使用userpass认证

docker
docker run \
  -e RUCIO_CFG_RUCIO_HOST=https://server.rucio:443 \
  -e RUCIO_CFG_AUTH_HOST=https://auth.rucio:443 \
  -e RUCIO_CFG_AUTH_TYPE=userpass \
  -e RUCIO_CFG_USERNAME=ddmlab \
  -e RUCIO_CFG_PASSWORD=secret \
  -e RUCIO_CFG_ACCOUNT=root \
  --cap-add SYS_ADMIN --device /dev/fuse \
  --name=rucio-fs \
  -it -d docker.xuanyuan.run/rucio/rucio-fs

2. 使用X509认证

docker
docker run \
  -e RUCIO_CFG_RUCIO_HOST=https://server.rucio:443 \
  -e RUCIO_CFG_AUTH_HOST=https://auth.rucio:443 \
  -e RUCIO_CFG_AUTH_TYPE=x509 \
  -e RUCIO_CFG_CLIENT_CERT=/opt/rucio/etc/usercert.pem \
  -e RUCIO_CFG_CLIENT_KEY=/opt/rucio/etc/userkey.pem \
  -e RUCIO_CFG_ACCOUNT=root \
  -v /opt/rucio/etc/usercert.pem:/opt/rucio/etc/usercert.pem \
  -v /opt/rucio/etc/userkey.pem:/opt/rucio/etc/userkey.pem \
  --cap-add SYS_ADMIN --device /dev/fuse \
  --name=rucio-fs \
  -it -d docker.xuanyuan.run/rucio/rucio-fs

3. 使用主机代理

docker
docker run \
  -e RUCIO_CFG_RUCIO_HOST=https://server.rucio:443 \
  -e RUCIO_CFG_AUTH_HOST=https://auth.rucio:443 \
  -e RUCIO_CFG_AUTH_TYPE=x509 \
  -e RUCIO_CFG_CLIENT_CERT=/tmp/x509up_u0 \
  -e RUCIO_CFG_CLIENT_KEY=/tmp/x509up_u0 \
  -e RUCIO_CFG_ACCOUNT=root \
  -v $(X509_USER_PROXY):/tmp/x509up_u0 \
  --cap-add SYS_ADMIN --device /dev/fuse \
  --name=rucio-fs \
  -it -d docker.xuanyuan.run/rucio/rucio-fs

4. 允许主机访问ruciofs

添加以下参数到docker run命令：

docker
--mount type=bind,source=/ruciofs,target=/ruciofs,bind-propagation=rshared

5. 使用现有rucio.cfg文件

docker
docker run \
  -v /tmp/rucio.cfg:/ruciofs-settings/rucio.cfg \
  [-v /tmp/rucio1.cfg:/ruciofs-settings/rucio1.cfg] \
  --cap-add SYS_ADMIN --device /dev/fuse \
  --name=rucio-fs \
  -it -d rucio/rucio-fs

配置参数说明

环境变量可用于设置自动生成的rucio.cfg文件的值，变量名源自配置文件中的实际名称。可用环境变量如下：

• RUCIO_CFG_ACCOUNT：账户名
• RUCIO_CFG_AUTH_HOST：认证主机地址
• RUCIO_CFG_AUTH_TYPE：认证类型（如userpass、x509）
• RUCIO_CFG_CA_CERT：CA证书路径
• RUCIO_CFG_CLIENT_CERT：客户端证书路径
• RUCIO_CFG_CLIENT_KEY：客户端密钥路径
• RUCIO_CFG_CLIENT_VO：客户端虚拟组织
• RUCIO_CFG_CLIENT_X509_PROXY：X509代理路径
• RUCIO_CFG_COMMON_MULTI_VO：多虚拟组织支持
• RUCIO_CFG_PASSWORD：用户密码（userpass认证用）
• RUCIO_CFG_POLICY_LFN2PFN_ALGORITHM_DEFAULT：默认LFN到PFN转换算法
• RUCIO_CFG_POLICY_PACKAGE：策略包
• RUCIO_CFG_POLICY_PERMISSION：权限策略
• RUCIO_CFG_POLICY_SCHEMA：策略模式
• RUCIO_CFG_POLICY_SUPPORT：策略支持
• RUCIO_CFG_POLICY_SUPPORT_RUCIO：Rucio策略支持
• RUCIO_CFG_REQUEST_RETRIES：请求重试次数
• RUCIO_CFG_RUCIO_HOST：Rucio服务器地址
• RUCIO_CFG_USERNAME：用户名（userpass认证用）

文档和支持

文档

关于Rucio的一般信息和最新文档可在[***]

开发者

有关如何贡献Rucio的信息，请参考并遵循https://github.com/rucio/rucio/blob/master/CONTRIBUTING.rst%E3%80%82

获取支持

如需支持，请联系邮件列表***或加入Slack支持频道。

注意事项

如果您的RSE需要x509认证，建议安装GRID CA证书。