reanahub/reana-workflow-controller

REANA Workflow Controller 镜像文档

镜像概述

REANA Workflow Controller是开源可重现分析平台REANA（Reproducible Analyses）的核心组件。REANA平台旨在帮助科研人员管理、执行和重现计算密集型科学分析工作流，而Workflow Controller则负责工作流的全生命周期管理，包括调度、执行协调、状态监控和结果跟踪，是确保科学工作流可重现性和高效运行的关键组件。

核心功能与特性

核心功能

• 工作流调度：基于工作流任务依赖关系（如使用CWL、YAML等定义的依赖），智能安排任务执行顺序，优化资源利用。
• 状态跟踪：实时监控工作流及各任务的执行状态（如待处理、运行中、成功、失败等），并同步至REANA数据库。
• 任务执行管理：与REANA计算后端（如Kubernetes、HTCondor等）交互，分配计算资源并执行任务。
• 错误处理与重试：支持任务失败检测、自动重试机制及错误状态上报，提升工作流鲁棒性。
• 组件集成：与REANA生态其他组件（如数据库、消息队列、文件系统）无缝集成，协同完成工作流管理。

关键特性

• 可扩展性：支持对接多种计算后端，适应不同规模的计算需求。
• 可重现性保障：通过严格的任务执行记录和环境一致性校验，确保工作流结果可重现。
• 轻量化设计：基于Python构建，资源占用低，易于部署和维护。
• 开源兼容：兼容常见工作流定义格式（如CWL、YAML），支持主流科学分析工具链。

使用场景与适用范围

REANA Workflow Controller适用于需要管理复杂、可重现科学分析工作流的场景，典型应用领域包括：

• 高能物理：管理粒子碰撞数据分析等大规模计算工作流。
• 生物信息学：协调基因测序数据处理、蛋白质结构预测等任务。
• 数据分析与机器学习：调度数据预处理、模型训练、评估等 pipeline。
• 跨学科科研：任何需要记录和复现计算过程的科研活动，确保研究结果的可信度和可验证性。

使用方法与配置说明

前置依赖

部署前需确保已配置REANA平台的基础组件：

• 关系型数据库（如PostgreSQL）：存储工作流元数据及状态信息。
• 消息队列（如RabbitMQ）：用于组件间通信。
• 共享文件系统（如REANA Storage）：存储工作流输入/输出数据。

部署示例

Docker Run 部署

bash
docker run -d \
  --name reana-workflow-controller \
  --network reana-network \  # 需与REANA其他组件在同一网络
  -e REANA_DB_URI=postgresql://reana:password@reana-db:5432/reana \  # 数据库连接URI
  -e REANA_MQ_URI=amqp://reana:password@reana-mq:5672/reana \  # 消息队列连接URI
  -e REANA_WORKFLOW_CONTROLLER_MAX_RETRIES=3 \  # 任务最大重试次数
  -e REANA_LOG_LEVEL=INFO \  # 日志级别（DEBUG/INFO/WARNING/ERROR）
  reanahub/reana-workflow-controller:latest

Docker Compose 部署（片段）

yaml
version: '3.8'
services:
  reana-workflow-controller:
    image: docker.xuanyuan.run/reanahub/reana-workflow-controller:latest
    container_name: reana-workflow-controller
    networks:
      - reana-network
    environment:
      - REANA_DB_URI=postgresql://reana:password@reana-db:5432/reana
      - REANA_MQ_URI=amqp://reana:password@reana-mq:5672/reana
      - REANA_WORKFLOW_CONTROLLER_MAX_RETRIES=3
      - REANA_LOG_LEVEL=INFO
    restart: unless-stopped

networks:
  reana-network:
    external: true

配置参数说明

注意事项

• 该镜像需与REANA平台其他组件（如reana-server、reana-db、reana-message-broker）协同工作，单独部署无法正常运行。
• 生产环境中建议通过Kubernetes部署（参考REANA官方Kubernetes部署文档），以获得更好的扩展性和可靠性。
• 工作流定义需遵循REANA规范（支持CWL、YAML格式），详细语法可参考REANA工作流文档。