janeliascicomp/jacs-compute

JAnelia Compute Services (JACS) 镜像文档

概述

JAnelia Compute Services (JACS) 是一个专为科学计算设计的任务管理平台，旨在简化复杂计算工作流的创建、调度和监控过程。该平台整合了工作流引擎、资源管理器和用户界面，支持多用户协作，能够高效利用计算资源，适用于各类需要大规模数据处理和分析的科学研究场景。

核心功能和特性

工作流管理

• 支持图形化和脚本化工作流定义，允许用户创建复杂的任务依赖关系
• 提供预定义的任务模板，简化常见科学计算流程的配置
• 支持版本控制和工作流复用，便于任务重现和结果验证

资源管理

• 动态调度计算资源，支持CPU、GPU和内存的灵活分配
• 集成多种计算集群和云平台，包括本地集群、AWS、GCP等
• 资源使用统计和优化建议，提高资源利用率

任务监控与报告

• 实时监控任务执行状态、进度和资源消耗
• 提供详细的任务日志和错误报告，便于问题诊断
• 支持邮件和通知集成，及时反馈任务完成状态

多用户与权限控制

• 基于角色的访问控制(RBAC)，支持多用户协作
• 用户配额管理，限制资源使用以确保公平性
• 项目级别的任务隔离，保障数据安全和隐私

可扩展性

• 模块化架构设计，支持插件扩展和自定义功能集成
• 兼容常用科学计算工具和库，如Python、R、MATLAB等
• REST API支持，便于与其他系统集成和自动化操作

使用场景和适用范围

科学研究机构

• 生物信息学数据分析（如基因组测序、蛋白质结构预测）
• 高分辨率图像处理和三维重建（如显微镜图像分析）
• 大规模模拟和建模（如分子动力学、神经科学模拟）

学术实验室

• 多用户协作的数据分析项目
• 教学环境中的计算任务管理
• 跨平台计算资源的统一调度

企业研发

• 研发部门的高性能计算任务处理
• 数据密集型应用的工作流自动化
• 跨团队项目的计算资源协调

使用方法和配置说明

基本使用（Docker Run）

启动JACS服务的基本命令：

bash
docker run -d \
  --name jacs \
  -p 8080:8080 \
  -v /path/to/data:/data \
  -v /path/to/config:/config \
  --env JACS_DB_HOST=db \
  --env JACS_DB_PORT=5432 \
  --env JACS_DB_USER=jacsuser \
  --env JACS_DB_PASSWORD=jacspassword \
  janelia/jacs:latest

参数说明：

• -p 8080:8080: 映射Web界面端口
• -v /path/to/data:/data: 挂载数据存储目录
• -v /path/to/config:/config: 挂载配置文件目录
• 环境变量用于配置数据库连接信息

Docker Compose 配置示例

创建docker-compose.yml文件整合JACS服务和数据库：

yaml
version: '3'

services:
  jacs:
    image: janelia/jacs:latest
    container_name: jacs
    ports:
      - "8080:8080"
    volumes:
      - ./data:/data
      - ./config:/config
    environment:
      - JACS_DB_HOST=db
      - JACS_DB_PORT=5432
      - JACS_DB_USER=jacsuser
      - JACS_DB_PASSWORD=jacspassword
      - JACS_LOG_LEVEL=INFO
    depends_on:
      - db
    restart: unless-stopped

  db:
    image: postgres:13
    container_name: jacs-db
    environment:
      - POSTGRES_USER=jacsuser
      - POSTGRES_PASSWORD=jacspassword
      - POSTGRES_DB=jacsdb
    volumes:
      - postgres_data:/var/lib/postgresql/data
    restart: unless-stopped

volumes:
  postgres_data:

启动服务：

bash
docker-compose up -d

环境变量配置

访问Web界面

服务启动后，通过浏览器访问 http://localhost:8080 进入JACS Web界面。首次登录使用默认管理员账户（用户名：admin，密码：admin123），建议登录后立即修改密码。

注意事项

• 数据和配置目录需使用持久化存储，避免容器重启后数据丢失
• 生产环境中应使用强密码和安全的认证方式
• 根据计算需求调整JACS_MAX_WORKERS和JACS_RESOURCE_LIMIT参数
• 定期备份数据库数据以防止数据损坏或丢失