charmedkubeflow/api-server

KFP API Server 容器镜像文档

镜像概述

KFP API Server 容器镜像是 Kubeflow Pipelines (KFP) 的核心组件之一，用于提供 REST API 服务，是用户与 KFP 系统交互的主要接口。该镜像封装了 KFP API Server 服务，负责处理客户端的 API 请求，管理管道（Pipelines）、实验（Experiments）、运行（Runs）、任务（Jobs）等 KFP 资源，并与元数据存储（如 MySQL、PostgreSQL）交互以持久化资源信息。

核心功能与特性

核心功能

• REST API 服务提供：实现 KFP 定义的完整 REST API 接口，支持 HTTP/HTTPS 协议。
• 资源管理：支持管道、实验、运行、任务、模型等 KFP 核心资源的创建、查询、更新和删除操作。
• 元数据处理：与元数据存储（数据库）交互，负责资源元数据的读写和事务管理。
• 请求验证：对 API 请求进行参数校验，确保资源操作的合法性。

主要特性

• 高兼容性：兼容 KFP 各版本的 API 规范，支持与 KFP SDK、UI 等组件协同工作。
• 可配置性：通过环境变量灵活配置数据库连接、服务端口、日志级别等参数。
• 可扩展性：支持水平扩展，可通过多实例部署提高服务可用性。
• 安全支持：可选集成身份验证（如 OAuth2、Bearer Token）和授权机制。

使用场景与适用范围

典型使用场景

• Kubeflow 集群部署：作为 Kubeflow 平台的一部分，与 KFP UI、元数据存储、执行引擎等组件协同部署。
• 机器学习工作流管理：为数据科学家和工程师提供 API 接口，用于自动化机器学习管道的创建、调度和监控。
• CI/CD 集成：与 CI/CD 系统集成，通过 API 触发管道运行，实现模型训练、评估的自动化流程。

适用范围

• 基于 KFP 的机器学习工作流平台搭建。
• 需要通过 API 管理机器学习管道的企业或研究机构。
• 需定制 KFP 交互逻辑的开发场景（如自定义客户端、第三方系统集成）。

使用方法与配置说明

基本使用（Docker Run）

通过 docker run 命令启动 KFP API Server 容器，需指定端口映射及必要的环境变量（如数据库连接信息）：

bash
docker run -d \
  --name kfp-api-server \
  -p 8080:8080 \
  -e DB_HOST=mysql-service \
  -e DB_PORT=3306 \
  -e DB_USER=kfp-user \
  -e DB_PASSWORD=kfp-password \
  -e DB_NAME=mlpipeline \
  -e PORT=8080 \
  gcr.io/ml-pipeline/api-server:latest

环境变量配置

Docker Compose 部署示例

以下是与 MySQL 数据库协同部署的 docker-compose.yml 示例：

yaml
version: '3'
services:
  mysql:
    image: mysql:8.0
    environment:
      MYSQL_ROOT_PASSWORD: root-password
      MYSQL_DATABASE: mlpipeline
      MYSQL_USER: kfp-user
      MYSQL_PASSWORD: kfp-password
    ports:
      - "3306:3306"
    volumes:
      - mysql-data:/var/lib/mysql

  kfp-api-server:
    image: gcr.io/ml-pipeline/api-server:latest
    depends_on:
      - mysql
    ports:
      - "8080:8080"
    environment:
      DB_HOST: mysql
      DB_PORT: 3306
      DB_USER: kfp-user
      DB_PASSWORD: kfp-password
      DB_NAME: mlpipeline
      PORT: 8080
      LOG_LEVEL: info

volumes:
  mysql-data:

验证服务可用性

服务启动后，可通过访问 http://localhost:8080/apis/v1beta1/healthz 验证 API Server 是否正常运行，返回 ok 表示服务可用。

注意事项

• 数据库需提前创建指定的 DB_NAME 数据库，且用户 DB_USER 需具备该数据库的读写权限。
• 生产环境中建议启用 AUTH_ENABLED 并配置身份验证参数，确保 API 访问安全。
• 高可用部署时，建议通过负载均衡器分发请求至多个 API Server 实例，并确保数据库具备主从复制能力。