clearml/server

ClearML Server 镜像文档

概述

ClearML Server镜像是ClearML平台的服务端组件，用于部署自托管的AI实验管理服务。它提供机器学习实验的全生命周期管理，包括实验跟踪、数据与模型版本控制、任务调度及团队协作功能，帮助AI团队高效管理开发流程，提升实验可复现性和协作效率。

核心功能与特性

实验全生命周期管理

• 自动跟踪：记录实验参数、指标、代码版本、环境配置及训练日志，支持可视化对比分析
• 版本控制：管理数据集、模型文件和代码版本，追踪变更历史，确保实验可复现
• 任务调度：支持定时任务、依赖任务配置，自动化模型训练与评估流程

团队协作与资源管理

• 多用户权限：基于角色的访问控制（RBAC），管理团队成员权限与资源访问范围
• 实验共享：支持实验结果、模型和数据集的团队内共享，提供评论与反馈功能
• 资源监控：实时监控GPU/CPU资源使用情况，优化计算资源分配

兼容性与扩展性

• 框架兼容：支持主流ML框架（TensorFlow、PyTorch、Scikit-learn等）及数据工具（Pandas、NumPy）
• API支持：提供REST API和Python SDK，支持自定义集成与二次开发
• 可扩展架构：支持外接PostgreSQL数据库和Redis缓存，满足大规模部署需求

使用场景

• 数据科学家：跟踪实验进度，对比不同模型效果，快速复现关键实验结果
• AI开发团队：统一管理项目资源，协作开发模型，简化跨团队知识共享
• 研究机构：保留完整实验记录，支持学术研究可追溯性与成果复用
• 企业级AI项目：管理多版本模型迭代，规范部署流程，降低生产环境风险

使用方法与配置说明

快速启动（单容器模式）

适用于开发测试环境，使用内置SQLite数据库和Redis缓存：

bash
docker run -d \
  -p 8080:8080 \  # Web UI端口
  -p 8081:8081 \  # API服务端口
  -v /path/to/local/data:/root/clearml/data \  # 数据持久化卷
  --name clearml-server \
  allegroai/clearml-server:latest

生产环境部署（Docker Compose）

推荐使用外部PostgreSQL和Redis提升性能与可靠性，示例docker-compose.yml配置：

yaml
version: '3.8'
services:
  clearml-server:
    image: allegroai/clearml-server:latest
    ports:
      - "8080:8080"  # Web UI
      - "8081:8081"  # API服务
    environment:
      - CLEARML_SERVER__AUTH__ENABLED=true  # 启用用户认证
      - CLEARML_SERVER__DB__CONNECTION_STRING=postgresql://user:password@postgres:5432/clearml  # 外部PostgreSQL连接
      - CLEARML_SERVER__REDIS__CONNECTION_STRING=redis://redis:6379/0  # 外部Redis连接
      - CLEARML_SERVER__WEB__LOG_LEVEL=INFO  # Web服务日志级别
    depends_on:
      - postgres
      - redis
    restart: unless-stopped

  postgres:
    image: postgres:14
    environment:
      - POSTGRES_USER=user
      - POSTGRES_PASSWORD=password
      - POSTGRES_DB=clearml
    volumes:
      - postgres_data:/var/lib/postgresql/data
    restart: unless-stopped

  redis:
    image: redis:7-alpine
    volumes:
      - redis_data:/data
    restart: unless-stopped

volumes:
  postgres_data:
  redis_data:

启动命令：docker-compose up -d

配置参数说明

核心环境变量

访问与初始化

1. 服务启动后，通过 http://<服务器IP>:8080 访问Web UI
2. 默认管理员账户：admin/admin（首次登录需强制修改密码）
3. 客户端配置：安装ClearML客户端后执行 clearml-init，输入Web UI地址（如http://localhost:8080）及API服务地址（如http://localhost:8081）完成连接

注意事项

• 生产环境建议：使用外部PostgreSQL和Redis替代内置组件，提升数据可靠性与性能
• 数据持久化：务必挂载数据卷（如示例中的/path/to/local/data），避免容器重启导致数据丢失
• 安全配置：生产环境需启用CLEARML_SERVER__AUTH__ENABLED=true，并配置HTTPS反向代理（如Nginx）加密传输