ClearML Server

概述

ClearML Server 是 ClearML 的后端服务基础设施，前身为 Trains Server。它支持多用户协作管理实验，提供实验管理、ML-Ops和数据管理功能。ClearML提供免费托管服务，也可通过部署ClearML Server搭建私有服务。

核心功能与特性

• Web应用：单页UI界面，用于实验管理和浏览
• RESTful API：支持实验信息、统计数据和结果的记录、查询
• 文件存储服务：本地托管的文件服务器，用于存储图像和模型，通过Web应用便捷访问
• 多用户协作：支持团队共享和管理实验数据
• 安全可靠：使用Elasticsearch 7.10+与JDK15，不受Log4j2漏洞(CVE-2021-44228、CVE-2021-45046)影响

系统设计

ClearML Server支持两种配置模式：

单IP（域名）配置

• Web应用：端口8080
• API服务：端口8008
• 文件存储服务：端口8081

子域配置（使用默认http/s端口80/443）

• Web应用：子域 app..
• API服务：子域 api..
• 文件存储服务：子域 files..

使用场景

• 企业内部私有ML实验管理平台
• 学术研究团队协作开发与实验追踪
• 需要本地化数据存储的ML-Ops工作流
• 构建端到端的机器学*** pipeline，包括超参数优化、模型部署监控

使用方法

前提条件

确保端口8080、8081、8008可用。检查端口占用情况：

• Linux/macOS：

  sudo lsof -Pn -i4 | grep :8080 | grep LISTEN
  sudo lsof -Pn -i4 | grep :8081 | grep LISTEN
  sudo lsof -Pn -i4 | grep :8008 | grep LISTEN
  

• Windows：

  netstat -an | find /i "8080"
  netstat -an | find /i "8081"
  netstat -an | find /i "8008"
  

部署方式

ClearML Server支持多种部署方式：

• AWS EC2 AMI：预构建镜像，详见官方文档
• GCP自定义镜像：详见官方文档
• Docker部署：
  • Linux
  • macOS
  • Windows 10
• Kubernetes：
  • Helm部署
  • 手动部署

Docker部署示例

1. 获取docker-compose配置文件

curl [***] -o docker-compose.yml

2. 启动服务

docker-compose -f docker-compose.yml up -d

连接ClearML客户端

交互式配置

运行clearml-init命令，按照提示完成服务器配置。

手动配置

编辑~/clearml.conf文件，设置服务器地址：

api {
    # API服务器地址（端口8008）
    api_server: "http://localhost:8008"
    # Web服务器地址（端口8080）
    web_server: "http://localhost:8080"
    # 文件服务器地址（端口8081）
    files_server: "http://localhost:8081"
}

注意：若使用子域配置，无需指定端口，将从http/s协议自动推断。

配置完成后，访问Web服务器（如http://localhost:8080）即可查看实验数据。

ClearML-Agent Services

自ClearML Server 0.15版本起，容器化部署包含ClearML-Agent Services容器，作为ClearML-Agent的扩展，支持启动长期运行的任务（如自动扩展服务、控制器、优化器等）。

• 自动处理services队列中的任务，每个任务作为新节点注册到系统
• 需确保仅将服务类任务（而非训练/推理任务）加入services队列，避免服务器负载过高

高级功能

Web登录认证

支持配置Web界面登录认证，增强系统安全性，详见Web登录认证文档。

非响应实验监控

自动检测并处理非响应实验，避免资源浪费，详见非响应任务监控文档。

重启与升级

重启服务

docker-compose down
docker-compose -f docker-compose.yml up -d

升级服务

1. 停止当前容器：

   docker-compose down
   

2. 备份数据目录（假设数据目录为/opt/clearml）：

   sudo tar czvf ~/clearml_backup.tgz /opt/clearml/data
   

3. 获取最新配置文件：

   curl [***] -o docker-compose.yml
   

4. 配置环境变量（可选）：

   export CLEARML_HOST_IP=服务器IP地址
   export CLEARML_AGENT_GIT_USER=Git用户名
   export CLEARML_AGENT_GIT_PASS=Git密码
   

5. 启动最新版本：

   docker-compose -f docker-compose.yml pull
   docker-compose -f docker-compose.yml up -d
   

安全说明

Apache Log4j2漏洞（CVE-2021-44228/CVE-2021-45046）

根据ElasticSearch最新报告，使用JDK9+的Elasticsearch 6.8.9+/7.8+版本因Java安全管理器限制，不受远程代码执行或信息泄露影响。

• ClearML Server最新版本使用Elasticsearch 7.10+与JDK15，不受该漏洞影响
• 已将Elasticsearch升级至7.16.2，并在最新docker-compose.yml中添加缓解措施
• 建议升级至最新版本，旧版本Elasticsearch（5.6.11+/6.4.0+/7.0.0+）仅存在信息泄露风险（不影响集群数据访问）

社区与支持

• FAQ：ClearML FAQ
• Stack Overflow：使用clearml标签提问
• 邮件支持：***

许可证

Server Side Public License v1.0

ClearML Server依赖MongoDB和ElasticSearch，选择SSPL许可证以支持开源社区发展。