seeloz/mlflow-server

MLflow服务器镜像

该镜像基于miniconda3构建，预装MLflow工具，用于搭建MLflow跟踪服务器，帮助开发者管理机器学习实验流程、跟踪模型训练参数及存储模型工件。

核心功能

• 跟踪机器学习实验的参数、指标与工件
• 支持多种后端存储：文件系统卷、MySQL、Postgres
• 支持多种工件存储：本地目录、Google Cloud Storage（GCS）、AWS S3
• 可部署至Kubernetes集群实现高可用服务

使用场景

• 本地开发环境快速搭建MLflow服务器进行实验管理
• 生产环境通过Kubernetes部署稳定的MLflow服务
• 结合云存储实现团队协作的模型工件共享

配置说明

本地运行

从Dockerfile构建并启动

bash
docker build --rm -f "Dockerfile" -t mlflow-server:latest .
docker run --rm --name mlflow-server -v /tmp/mlruns:/mlflow/ -p 5000:5000 mlflow-server

直接使用Docker Hub镜像

bash
docker run -v /tmp/mlruns:/mlflow/ -p 5000:5000 seeloz/mlflow-server

使用GCS作为工件存储

1. 创建本地卷目录并复制GCS凭证文件
2. 设置环境变量指定工件根目录与凭证路径

bash
mkdir -p /tmp/mlruns
cp ~/.credentials/storage.json /tmp/mlruns
docker run -v /tmp/mlruns:/mlflow/ -e "ARTIFACT_ROOT=gs://<GCS桶名>/<子目录>" -e GOOGLE_APPLICATION_CREDENTIALS="storage.json" -p 5000:5000 seeloz/mlflow-server

数据库配置

MySQL

需先创建数据库，再执行升级命令：

bash
docker run --rm -it mlflow-server mlflow db upgrade mysql://<用户名>:<密码>@<主机>/<数据库名>

Postgres

仅需手动创建数据库，无需执行升级命令。

Kubernetes部署（GKE）

1. 部署启用VPC-native的GKE集群
2. 创建包含GCS访问权限的服务账号Secret（参考GKE认证文档）
3. 创建数据库（推荐Postgres）或PVC（10Gi）
4. 创建Deployment：
   • 镜像路径：seeloz/mlflow-server
   • 环境变量：
     • ARTIFACT_ROOT: gs://<桶名>/<工件路径>（需手动创建GCS路径）
     • BACKEND_URI: 数据库连接串（如postgresql://postgres:密码@<内网IP>/<数据库名>）或文件路径/mlflow/store
     • GOOGLE_APPLICATION_CREDENTIALS: /var/secrets/google/key.json
5. 编辑Deployment YAML添加卷挂载：
   • 容器部分：

     yaml
     volumeMounts:
     - mountPath: /var/secrets/google
       name: google-cloud-key
     

   • 卷部分：

     yaml
     volumes:
     - name: google-cloud-key
       secret:
         secretName: gcs-key
     

6. 重新部署Pod并暴露负载均衡器服务（端口5000/TCP）
7. 通过负载均衡器IP访问MLflow服务器