milvusdb/pytest

Milvus 测试环境镜像技术文档

一、镜像概述和主要用途

Milvus 测试环境镜像是专为 Milvus 向量数据库开发、测试和验证场景设计的轻量级 Docker 镜像。该镜像封装了 Milvus 核心服务及测试所需的依赖组件，提供隔离、可复现的测试环境，支持快速启动、灵活配置，旨在简化 Milvus 功能验证、性能测试、兼容性验证及自动化测试流程。

主要用途：

• 开发阶段的本地功能调试与验证
• CI/CD 流程中的自动化测试环境部署
• Milvus 新功能、新特性的预发布验证
• 不同版本 Milvus 的兼容性测试
• 性能与压力测试环境快速搭建

二、核心功能和特性

2.1 核心功能

• 一键部署：无需手动配置 Milvus 依赖（如 etcd、MinIO），镜像内置简化版依赖组件，支持单容器快速启动测试环境。
• 版本灵活切换：通过环境变量指定 Milvus 版本，支持测试不同版本的功能差异。
• 多场景测试支持：内置测试工具链，支持单元测试、集成测试、性能测试等多种测试模式。
• 数据隔离：默认采用内存存储（可选本地磁盘），测试数据不侵入生产环境，保障数据安全。

2.2 关键特性

• 轻量级：优化镜像体积，减少启动资源占用，适合本地开发和 CI 环境快速调度。
• 配置简化：通过环境变量即可完成核心参数配置，无需修改复杂配置文件。
• 兼容性：支持 Milvus v2.x 全系列版本测试，兼容主流操作系统（Linux、macOS、Windows Docker Desktop）。
• 可扩展性：支持挂载自定义配置文件、数据卷及网络配置，满足复杂测试场景需求。

三、使用场景和适用范围

3.1 典型使用场景

• 开发本地测试：开发人员在本地快速启动 Milvus 测试环境，验证代码逻辑或新功能。
• CI/CD 自动化测试：集成到 Jenkins、GitHub Actions 等 CI/CD 工具，在代码提交或 PR 阶段自动运行测试用例。
• 新功能验证：在预发布阶段，通过测试环境验证新功能的正确性、稳定性。
• 性能与压力测试：模拟高并发场景，测试 Milvus 在不同资源配置下的吞吐量、延迟等指标。
• 版本兼容性测试：验证应用程序与不同 Milvus 版本的兼容性，避免版本升级风险。

3.2 适用范围

• 用户群体：Milvus 开发人员、测试工程师、运维工程师、CI/CD 管理员。
• 环境要求：仅需 Docker 环境，无需预先部署 Milvus 完整依赖组件。

四、使用方法和配置说明

4.1 前提条件

• 已安装 Docker（推荐版本 20.10+）及 Docker Compose（可选，用于多容器测试场景）。
• 网络通畅，可访问 Docker Hub 拉取镜像。

4.2 基本使用方法

4.2.1 拉取镜像

从 Docker Hub 拉取最新版本测试镜像：

bash
docker pull milvus/test-env:latest

如需指定镜像版本，可添加标签（如 milvus/test-env:v2.3.0）。

4.2.2 启动测试容器（单容器模式）

通过 docker run 快速启动测试容器，示例命令：

bash
docker run -d \
  --name milvus-test \
  -p 19530:19530 \  # Milvus 服务端口映射
  -e MILVUS_VERSION=v2.3.0 \  # 指定 Milvus 版本（默认 latest）
  -e STORAGE_TYPE=memory \  # 存储类型：memory（内存，默认）/ local（本地磁盘）
  -e LOG_LEVEL=info \  # 日志级别：debug/info/warn/error（默认 info）
  -v /path/to/local/data:/var/lib/milvus/data \  # 可选：挂载本地目录持久化测试数据
  milvus/test-env:latest

参数说明：

• -d：后台运行容器；
• --name：指定容器名称（便于管理）；
• -p 19530:19530：映射 Milvus 服务端口（默认 ***）；
• -e：设置环境变量（详见 4.4 节）；
• -v：挂载本地目录（可选，用于持久化测试数据）。

4.2.3 验证服务启动

容器启动后，通过以下命令检查服务状态：

bash
# 查看容器日志
docker logs milvus-test

# 验证 Milvus 服务可用性（需安装 milvus-cli）
milvus-cli connect --host localhost --port 19530

4.3 Docker Compose 配置示例（多容器测试场景）

如需模拟复杂测试环境（如联动 Etcd、MinIO 独立部署），可使用 Docker Compose。创建 docker-compose.yml：

yaml
version: '3.8'
services:
  milvus-test:
    image: milvus/test-env:latest
    container_name: milvus-test
    ports:
      - "19530:19530"  # Milvus 服务端口
      - "9091:9091"    # Milvus 监控端口（可选）
    environment:
      - MILVUS_VERSION=v2.3.0
      - STORAGE_TYPE=local
      - LOG_LEVEL=debug
      - ETCD_ENDPOINTS=etcd:2379  # 连接外部 Etcd
      - MINIO_ENDPOINT=minio:9000  # 连接外部 MinIO
      - MINIO_ACCESS_KEY=minioadmin
      - MINIO_SECRET_KEY=minioadmin
    volumes:
      - ./test-data:/var/lib/milvus/data  # 测试数据持久化
    depends_on:
      - etcd
      - minio

  etcd:
    image: quay.io/coreos/etcd:v3.5.5
    container_name: milvus-test-etcd
    environment:
      - ETCD_AUTO_COMPACTION_MODE=revision
      - ETCD_AUTO_COMPACTION_RETENTION=1000
      - ETCD_QUOTA_BACKEND_BYTES=4294967296
      - ETCD_SNAPSHOT_COUNT=50000
    volumes:
      - ./etcd-data:/etcd_data
    command: etcd -advertise-client-urls=http://0.0.0.0:2379 -listen-client-urls=http://0.0.0.0:2379 --data-dir=/etcd_data

  minio:
    image: minio/minio:RELEASE.2023-03-20T20-16-18Z
    container_name: milvus-test-minio
    environment:
      - MINIO_ROOT_USER=minioadmin
      - MINIO_ROOT_PASSWORD=minioadmin
    volumes:
      - ./minio-data:/data
    command: minio server /data --console-address ":9001"

启动命令：

bash
docker-compose up -d

五、配置参数和环境变量

5.1 核心环境变量

5.2 高级配置参数

• 自定义配置文件挂载：如需覆盖 Milvus 核心配置（如索引类型、缓存大小），可通过 -v /path/to/user-config.yaml:/etc/milvus/configs/milvus.yaml 挂载自定义配置文件。
• 网络配置：通过 --network=host 共享主机网络（适合需要直接访问主机服务的测试场景）；或 --network=自定义网络名称 加入指定 Docker 网络。
• 资源限制：启动容器时通过 --cpus=2 --memory=4g 限制 CPU 和内存资源，模拟低配置环境下的测试场景。

六、注意事项

1. 数据安全性：测试环境默认不保证数据持久化（除非通过 -v 挂载本地卷），请勿存储重要数据。
2. 生产环境禁用：该镜像专为测试设计，未经过生产环境安全和性能优化，严禁用于生产环境。
3. 资源清理：测试完成后，通过 docker stop milvus-test && docker rm milvus-test 清理容器；定期执行 docker system prune -a 清理未使用镜像和数据卷，避免磁盘占用。
4. 存储类型选择：内存存储（memory）启动速度快、适合短期测试，但数据在容器停止后丢失；本地磁盘（local）适合需要保留测试数据的场景。

七、总结

Milvus 测试环境镜像通过简化部署流程、提供灵活配置和多场景支持，有效降低了 Milvus 开发与测试的门槛。无论是本地开发调试、自动化测试集成，还是性能验证，均能通过该镜像快速构建隔离、可控的测试环境，助力提升 Milvus 相关开发和测试效率。