rucio/rucio-daemons

Rucio - 科学数据管理（守护进程容器）

1. 镜像概述和主要用途

Rucio 是一个科学数据管理框架，提供组织、管理和访问大量科学数据的功能，支持自定义策略。数据可分布在全球不同位置和异构数据中心，将不同的存储和网络技术整合为单一联邦实体。本镜像提供 Rucio 守护进程，每个守护进程需在独立容器中运行，支持 MySQL、PostgreSQL、Oracle 和 SQLite 作为数据库后端。

2. 核心功能和特性

• 分布式数据管理：支持全球分布式存储环境，整合异构数据中心资源
• 高级数据功能：提供分布式数据恢复、自适应复制等高级特性
• 高可扩展性：模块化架构设计，支持大规模科学数据场景
• 多数据库支持：兼容 MySQL、PostgreSQL、Oracle 和 SQLite 数据库后端
• 灵活配置：通过环境变量或配置文件（rucio.cfg）进行全面配置
• 守护进程隔离：每个守护进程独立容器运行，提高稳定性和可维护性

3. 使用场景和适用范围

本镜像适用于需要运行 Rucio 守护进程的场景，主要面向：

• 高能物理实验（如 ATLAS）数据管理
• LHC 实验及其他科学社区的分布式数据处理
• 需要管理大规模、跨地域科学数据的研究机构
• 需部署 Rucio 框架中各类守护进程（如 judge-cleaner、hermes、kronos 等）的环境

4. 使用方法和配置说明

4.1 前提条件

• 已初始化的 Rucio 数据库（需提前部署并配置）
• Docker 环境（支持 Docker Engine 或 Docker Compose）

4.2 基本使用示例

通过环境变量配置数据库连接并启动守护进程：

bash
docker run \
  --name=rucio-judge-cleaner \
  -e RUCIO_CFG_DATABASE_DEFAULT="mysql://rucio:rucio@mysql.db/rucio" \  # 数据库连接串
  -e RUCIO_DAEMON=judge-cleaner \  # 指定守护进程名称
  rucio/rucio-daemons

参数说明：

• RUCIO_CFG_DATABASE_DEFAULT：数据库连接地址，格式为<数据库类型>://<用户名>:<密码>@<主机>/<数据库名>
• RUCIO_DAEMON：需运行的守护进程名称（如 judge-cleaner、hermes、kronos 等）

4.3 使用配置文件（rucio.cfg）

如需使用完整配置文件而非环境变量，可挂载本地 rucio.cfg 文件（此时环境变量 RUCIO_CFG_* 将被忽略）：

bash
docker run \
  --name=rucio-judge-cleaner \
  -v /本地路径/rucio.cfg:/opt/rucio/etc/rucio.cfg \  # 挂载配置文件
  -e RUCIO_DAEMON=judge-cleaner \  # 指定守护进程名称
  rucio/rucio-daemons

rucio.cfg 用于配置数据库后端和守护进程参数，具体格式参考 Rucio 官方文档。

4.4 日志配置

默认日志输出到 stdout 和 stderr，如需写入文件，需设置 RUCIO_ENABLE_LOGS=True 并挂载日志目录：

bash
docker run \
  --name=rucio-judge-cleaner \
  -v /本地路径/rucio.cfg:/opt/rucio/etc/rucio.cfg \
  -v /本地路径/logs:/var/log/rucio \  # 挂载日志目录
  -e RUCIO_DAEMON=judge-cleaner \
  -e RUCIO_ENABLE_LOGS=True \  # 启用文件日志
  rucio/rucio-daemons

日志文件将生成在 /var/log/rucio 下，包含 access_log 和 error_log。

5. 环境变量说明

5.1 必选环境变量

5.2 可选环境变量

6. RUCIO_CFG 配置参数

可通过环境变量 RUCIO_CFG_* 配置 Rucio，变量名格式为 RUCIO_CFG_<配置节>_<配置项>，对应 rucio.cfg 中的配置。常用参数如下（完整列表见下方）：

完整环境变量列表：

• RUCIO_CFG_ACCOUNTS_SPECIAL_ACCOUNTS
• RUCIO_CFG_AUDITOR_CACHE
• RUCIO_CFG_AUDITOR_RESULTS
• RUCIO_CFG_AUTOMATIX_DATASET_LIFETIME
• RUCIO_CFG_AUTOMATIX_SET_METADATA
• RUCIO_CFG_AUTOMATIX_SITES
• RUCIO_CFG_AUTOMATIX_SLEEP_TIME
• RUCIO_CFG_CLIENT_ACCOUNT
• RUCIO_CFG_CLIENT_AUTH_HOST
• RUCIO_CFG_CLIENT_AUTH_TYPE
• RUCIO_CFG_CLIENT_CA_CERT
• RUCIO_CFG_CLIENT_CLIENT_CERT
• RUCIO_CFG_CLIENT_CLIENT_KEY
• RUCIO_CFG_CLIENT_CLIENT_VO
• RUCIO_CFG_CLIENT_CLIENT_X509_PROXY
• RUCIO_CFG_CLIENT_PASSWORD
• RUCIO_CFG_CLIENT_REQUEST_RETRIES
• RUCIO_CFG_CLIENT_RUCIO_HOST
• RUCIO_CFG_CLIENT_USERNAME
• RUCIO_CFG_COMMON_LOGDIR
• RUCIO_CFG_COMMON_LOGLEVEL
• RUCIO_CFG_COMMON_MAILTEMPLATEDIR
• RUCIO_CFG_COMMON_MULTI_VO
• RUCIO_CFG_CONVEYOR_ALLOW_USER_OIDC_TOKENS
• RUCIO_CFG_CONVEYOR_BRING_ONLINE
• RUCIO_CFG_CONVEYOR_CACERT
• RUCIO_CFG_CONVEYOR_CACHE_TIME
• RUCIO_CFG_CONVEYOR_FTSHOSTS
• RUCIO_CFG_CONVEYOR_FTSMONHOSTS
• RUCIO_CFG_CONVEYOR_POLL_TIMEOUT
• RUCIO_CFG_CONVEYOR_QUEUE_MODE
• RUCIO_CFG_CONVEYOR_REQUEST_OIDC_AUDIENCE
• RUCIO_CFG_CONVEYOR_REQUEST_OIDC_SCOPE
• RUCIO_CFG_CONVEYOR_SCHEME
• RUCIO_CFG_CONVEYOR_SUBMIT_TIMEOUT
• RUCIO_CFG_CONVEYOR_TRANSFERTOOL
• RUCIO_CFG_CONVEYOR_USE_DETERMINISTIC_ID
• RUCIO_CFG_CONVEYOR_USER_ACTIVITIES
• RUCIO_CFG_CONVEYOR_USERCERT
• RUCIO_CFG_CONVEYOR_USER_TRANSFERS
• RUCIO_CFG_CONVEYOR_USING_MEMCACHE
• RUCIO_CFG_CREDENTIALS_GCS
• RUCIO_CFG_CREDENTIALS_SIGNATURE_LIFETIME
• RUCIO_CFG_DATABASE_DEFAULT
• RUCIO_CFG_DATABASE_ECHO
• RUCIO_CFG_DATABASE_MAX_OVERFLOW
• RUCIO_CFG_DATABASE_POOL_RECYCLE
• RUCIO_CFG_DATABASE_POOL_RESET_ON_RETURN
• RUCIO_CFG_DATABASE_POOL_SIZE
• RUCIO_CFG_DATABASE_POOL_TIMEOUT
• RUCIO_CFG_DATABASE_POWUSERACCOUNT
• RUCIO_CFG_DATABASE_POWUSERPASSWORD
• RUCIO_CFG_DATABASE_SCHEMA
• RUCIO_CFG_MESSAGING_CACHE_ACCOUNT
• RUCIO_CFG_MESSAGING_CACHE_BROKERS
• RUCIO_CFG_MESSAGING_CACHE_DESTINATION
• RUCIO_CFG_MESSAGING_CACHE_PORT
• RUCIO_CFG_MESSAGING_CACHE_SSL_CERT_FILE
• RUCIO_CFG_MESSAGING_CACHE_SSL_KEY_FILE
• RUCIO_CFG_MESSAGING_CACHE_VONAME
• RUCIO_CFG_MESSAGING_FTS3_BROKERS
• RUCIO_CFG_MESSAGING_FTS3_DESTINATION
• RUCIO_CFG_MESSAGING_FTS3_NONSSL_PORT
• RUCIO_CFG_MESSAGING_FTS3_PASSWORD
• RUCIO_CFG_MESSAGING_FTS3_PORT
• RUCIO_CFG_MESSAGING_FTS3_SSL_CERT_FILE
• RUCIO_CFG_MESSAGING_FTS3_SSL_KEY_FILE
• RUCIO_CFG_MESSAGING_FTS3_USERNAME
• RUCIO_CFG_MESSAGING_FTS3_USE_SSL
• RUCIO_CFG_MESSAGING_FTS3_VONAME
• RUCIO_CFG_MESSAGING_HERMES_BROKERS
• RUCIO_CFG_MESSAGING_HERMES_BROKER_VIRTUAL_HOST
• RUCIO_CFG_MESSAGING_HERMES_DESTINATION
• RUCIO_CFG_MESSAGING_HERMES_EMAIL_FROM
• RUCIO_CFG_MESSAGING_HERMES_EMAIL_TEST
• RUCIO_CFG_MESSAGING_HERMES_NONSSL_PORT
• RUCIO_CFG_MESSAGING_HERMES_PASSWORD
• RUCIO_CFG_MESSAGING_HERMES_PORT
• RUCIO_CFG_MESSAGING_HERMES_SSL_CERT_FILE
• RUCIO_CFG_MESSAGING_HERMES_SSL_KEY_FILE
• RUCIO_CFG_MESSAGING_HERMES_USERNAME
• RUCIO_CFG_MESSAGING_HERMES_USE_SSL
• RUCIO_CFG_MESSAGING_HERMES_VONAME
• RUCIO_CFG_MONITOR_CARBON_PORT
• RUCIO_CFG_MONITOR_CARBON_SERVER
• RUCIO_CFG_MONITOR_ENABLE_METRICS
• RUCIO_CFG_MONITOR_USER_SCOPE
• RUCIO_CFG_NAGIOS_FTS_VO
• RUCIO_CFG_NAGIOS_PROXY
• RUCIO_CFG_NAGIOS_UPDATE_DISTANCES
• RUCIO_CFG_OIDC_ADMIN_ISSUER
• RUCIO_CFG_OIDC_EXPECTED_AUDIENCE
• RUCIO_CFG_OIDC_IDPSECRETS
• RUCIO_CFG_POLICY_LFN2PFN_ALGORITHM_DEFAULT
• RUCIO_CFG_POLICY_LFN2PFN_MODULE
• RUCIO_CFG_POLICY_PACKAGE
• RUCIO_CFG_POLICY_PERMISSION
• RUCIO_CFG_POLICY_SCHEMA
• RUCIO_CFG_POLICY_SUPPORT
• RUCIO_CFG_POLICY_SUPPORT_RUCIO
• RUCIO_CFG_TRACER_KRONOS_BROKERS
• RUCIO_CFG_TRACER_KRONOS_CHUNKSIZE
• RUCIO_CFG_TRACER_KRONOS_DATASET_WAIT
• RUCIO_CFG_TRACER_KRONOS_EXCLUDED_USRDNS
• RUCIO_CFG_TRACER_KRONOS_PASSWORD
• RUCIO_CFG_TRACER_KRONOS_PORT
• RUCIO_CFG_TRACER_KRONOS_PREFETCH_SIZE
• RUCIO_CFG_TRACER_KRONOS_QUEUE
• RUCIO_CFG_TRACER_KRONOS_RECONNECT_ATTEMPTS
• RUCIO_CFG_TRACER_KRONOS_SSL_CERT_FILE
• RUCIO_CFG_TRACER_KRONOS_SSL_KEY_FILE
• RUCIO_CFG_TRACER_KRONOS_SUBSCRIPTION_ID
• RUCIO_CFG_TRACER_KRONOS_USERNAME
• RUCIO_CFG_TRACER_KRONOS_USE_SSL
• RUCIO_CFG_TRANSMOGRIFIER_MAXDIDS

7. 补充信息

7.1 官方文档

• 完整文档：Rucio Read the Docs
• 官方网站：Rucio CERN

7.2 开发者指南

贡献指南：https://github.com/rucio/rucio/blob/master/CONTRIBUTING.rst

7.3 获取支持

• 邮件列表：***
• Slack 支持频道：Rucio Slack #support