rucio/rucio-dev

Rucio开发环境容器

镜像概述和主要用途

本容器为Rucio科学数据管理系统提供开发环境，可在Dockerhub上获取，镜像名称为rucio/rucio-dev，对应的Dockerfile详见https://github.com/rucio/containers/tree/master/dev%E3%80%82%E8%AF%A5%E5%AE%B9%E5%99%A8%E5%85%81%E8%AE%B8%E5%B0%86%E6%9C%AC%E5%9C%B0%E4%BB%A3%E7%A0%81%E6%8C%82%E8%BD%BD%E8%87%B3%E5%AE%B9%E5%99%A8%E7%9A%84%60bin%60%E3%80%81%60lib%60%E5%92%8C%60tools%60%E7%9B%AE%E5%BD%95%EF%BC%8C%E6%97%A0%E9%9C%80%E9%87%8D%E5%BB%BA%E5%AE%B9%E5%99%A8%E5%8D%B3%E5%8F%AF%E9%92%88%E5%AF%B9%E5%BC%80%E5%8F%91%E4%BB%A3%E7%A0%81%E8%BF%90%E8%A1%8C%E6%B5%8B%E8%AF%95%E5%92%8C%E6%A3%80%E6%9F%A5%E3%80%82%E5%AE%B9%E5%99%A8%E9%85%8D%E7%BD%AE%E4%BA%86PostgreSQL%E6%95%B0%E6%8D%AE%E5%BA%93%EF%BC%8C%E5%85%B3%E9%97%AD%E4%BA%86fsync%E5%8F%8A%E5%A4%A7%E9%83%A8%E5%88%86%E9%A2%84%E5%86%99%E6%97%A5%E5%BF%97%EF%BC%88WAL%EF%BC%89%E7%9A%84%E8%80%90%E4%B9%85%E6%80%A7%E5%8A%9F%E8%83%BD%EF%BC%8C%E4%BB%A5%E6%8F%90%E9%AB%98%E6%B5%8B%E8%AF%95I/O%E5%90%9E%E5%90%90%E9%87%8F%EF%BC%8C%E9%80%82%E7%94%A8%E4%BA%8ERucio%E7%9A%84%E5%BC%80%E5%8F%91%E4%B8%8E%E6%B5%8B%E8%AF%95%E5%9C%BA%E6%99%AF%E3%80%82

核心功能和特性

• 本地代码挂载：支持将本地Rucio代码挂载至容器的bin、lib、tools目录，实时反映代码变更
• 高效测试环境：PostgreSQL数据库优化配置，关闭部分耐久性功能，提升测试IO吞吐量
• 无需重建容器：可直接基于挂载的本地开发代码运行测试和检查，简化开发流程
• 完整依赖集成：包含运行Rucio所需的全部依赖，开箱即用

前提条件

软件依赖

• Docker：需安装Docker引擎，安装方法参考Docker官方安装指南（如Debian/Ubuntu系统可参考Docker Community Edition安装说明）
• docker-compose：需安装docker-compose工具，例如通过sudo apt install docker-compose安装

环境验证

1. 启动Docker服务：

   bash
   sudo systemctl start docker
   

2. 验证Docker运行状态：

   bash
   docker run hello-world
   

   若成功，将输出确认信息，表明Docker环境就绪。

环境准备

代码仓库准备

1. Fork https://github.com/rucio/rucio%EF%BC%88%E7%82%B9%E5%87%BBGitHub%E9%A1%B5%E9%9D%A2%E7%9A%84%22Fork%22%E6%8C%89%E9%92%AE%EF%BC%89
2. 克隆个人fork的仓库至本地~/dev/rucio：

   bash
   cd ~/dev
   git clone git@github.com:<your_username>/rucio.git
   cd rucio
   

3. 添加上游仓库作为远程，以便后续提交PR：

   bash
   git remote add upstream git@github.com:rucio/rucio.git
   git fetch --all
   

4. （可选）替换预提交钩子，使pylint在容器内运行：

   bash
   # 替换~/dev/rucio/tools/pre-commit为远程钩子文件
   curl -o ~/dev/rucio/tools/pre-commit https://raw.githubusercontent.com/rucio/containers/master/dev/pre-commit
   chmod +x ~/dev/rucio/tools/pre-commit
   

启动容器环境

使用docker-compose启动Rucio开发环境：

bash
docker-compose --file etc/docker/dev/docker-compose.yml up -d

验证容器运行

检查运行中的容器：

bash
docker ps

应显示Rucio服务器、PostgreSQL数据库、FTS及其MySQL数据库、Graphite监控和三个XrootD存储服务器容器。

进入容器

bash
docker exec -it dev_rucio_1 bin/bash

开发流程

代码编辑与测试

在主机编辑代码（如~/dev/rucio目录下的文件），容器内实时同步。推荐使用两个终端进行开发：

终端1（日志监控）

bash
docker exec -it dev_rucio_1 /bin/bash
logshow  # 查看Rucio服务器日志

终端2（交互操作）

bash
docker exec -it dev_rucio_1 /bin/bash
rucio whoami  # 示例命令，终端1将显示服务器调试输出

运行测试

容器内可运行完整测试套件或选择性测试：

• 完整测试（约10分钟）：

  bash
  tools/run_tests_docker.sh
  

• 初始化测试环境后运行指定测试：

  bash
  tools/run_tests_docker.sh -i  # 初始化测试环境
  nosetests -v lib/rucio/tests/test_replica.py  # 运行特定模块测试
  nosetests -v lib/rucio/tests/test_replica.py:TestReplicaCore  # 运行测试类
  nosetests -v lib/rucio/tests/test_replica.py:TestReplicaCore.test_delete_replicas_from_datasets  # 运行单个测试用例
  

开发技巧

服务器代码变更

修改服务器端文件（如lib/rucio/web）后，若变更未生效，可刷新memcache并重启web服务器：

bash
echo 'flush_all' | nc localhost 11211 && httpd -k graceful

数据库访问

容器的PostgreSQL数据库暴露端口至主机，可通过以下信息连接：

• 地址：localhost:5432
• 数据库名：rucio
• 模式名：dev
• 用户名：rucio
• 密码：secret 可使用数据库工具（如DBeaver）连接管理。

Docker磁盘空间清理

清理Docker占用的磁盘空间：

bash
docker system prune -f --volumes