bluebrain/bbp-workflow

bbp-workflow Docker镜像文档

概述

bbp-workflow是一个专注于工作流管理和自动化的Docker镜像，提供工作流程定义、执行、监控和管理功能，帮助用户实现任务自动化处理和业务流程规范化管理。

核心功能和特性

• 工作流程可视化定义与设计
• 任务调度和自动化执行引擎
• 实时流程状态监控和跟踪
• 异常处理和自动重试机制
• 可扩展的插件和集成系统
• 多环境部署支持

使用场景和适用范围

• 业务流程自动化与管理
• 数据处理和ETL流水线
• 定时任务和事件触发型工作流
• CI/CD流程集成与自动化
• 跨系统数据同步和处理流程

使用方法和配置说明

基本使用

bash
docker run -d --name bbp-workflow -p 8080:8080 bbp-workflow

Docker Compose配置

yaml
version: '3'
services:
  bbp-workflow:
    image: bbp-workflow
    ports:
      - "8080:8080"
    volumes:
      - ./workflows:/app/workflows
      - ./data:/app/data
      - ./logs:/app/logs
    environment:
      - SPRING_PROFILES_ACTIVE=prod
      - DB_HOST=db
      - DB_PORT=5432
      - DB_NAME=workflow
      - DB_USER=bbpuser
      - DB_PASSWORD=bbppassword
    depends_on:
      - db
  
  db:
    image: postgres:13
    environment:
      - POSTGRES_DB=workflow
      - POSTGRES_USER=bbpuser
      - POSTGRES_PASSWORD=bbppassword
    volumes:
      - postgres_data:/var/lib/postgresql/data

volumes:
  postgres_data:

环境变量配置

工作流定义示例

yaml
name: 数据处理工作流
description: 从FTP下载文件并处理后存入数据库
steps:
  - name: ftp_download
    type: ftp
    config:
      host: ftp.example.com
      port: 21
      username: ftpuser
      password: ftppass
      remote_path: /data/source
      local_path: /app/data/incoming
      file_pattern: "*.csv"
  
  - name: data_validation
    type: validate
    depends_on: [ftp_download]
    config:
      schema: /app/schemas/data_schema.json
      input_path: /app/data/incoming
  
  - name: data_processing
    type: transform
    depends_on: [data_validation]
    config:
      input_path: /app/data/incoming
      output_path: /app/data/processed
      script: /app/scripts/process_data.py
  
  - name: database_import
    type: db_import
    depends_on: [data_processing]
    config:
      connection: main_db
      table: processed_data
      file_path: /app/data/processed/*.csv
      delimiter: ","

启动与管理

启动工作流

bash
# 通过API启动工作流
curl -X POST http://localhost:8080/api/workflows/start -H "Content-Type: application/json" -d '{"workflowId": "data_processing_workflow", "parameters": {"date": "2023-10-01"}}'

# 通过命令行启动（进入容器后）
workflow-cli start -id data_processing_workflow -params date=2023-10-01

监控工作流状态

bash
# 查看所有工作流实例
curl http://localhost:8080/api/workflow-instances

# 查看特定工作流实例详情
curl http://localhost:8080/api/workflow-instances/{instanceId}

# 查看工作流执行日志
docker logs -f bbp-workflow

注意事项

• 生产环境中建议使用持久化存储卷保存工作流定义和执行数据
• 高并发场景下应适当调整JVM内存参数和数据库连接池配置
• 定期备份工作流定义和执行历史数据
• 敏感配置信息建议使用环境变量或配置文件挂载方式提供，避免硬编码