zhejiongcao/milvus

Milvus v2.5.12 Lidera分词器镜像

镜像概述

本Docker镜像基于Milvus v2.5.12版本构建，集成了Lidera分词器，专门用于支持日语文本的BM25搜索功能。通过该镜像，用户可直接在Milvus向量数据库中实现对日语文本的高效分词与BM25检索。

核心功能与特性

• Lidera分词器集成：内置Lidera日语分词器，支持日语文本的精准分词处理
• BM25搜索支持：针对日语文本优化的BM25算法实现，提升检索相关性
• 版本兼容性：与Milvus v2.5.12完全兼容，确保功能稳定性
• 即开即用：无需额外配置即可启用日语分词与BM25检索能力

使用场景

• 日语内容检索系统开发
• 多语言信息检索平台构建
• 日语文本向量数据库应用
• 需要处理日语文档的企业级搜索服务

使用方法与配置说明

基本部署

通过以下命令快速启动镜像：

bash
docker run -d \
  --name milvus-lidera \
  -p 19530:19530 \  # Milvus服务端口
  -p 9091:9091 \    # Milvus监控端口
  -v $(pwd)/milvus-data:/var/lib/milvus \  # 数据持久化
  milvusdb/milvus:v2.5.12-lidera  # 假设镜像标签

验证分词器

启动后，可通过Milvus Python客户端验证Lidera分词器是否生效：

python
from pymilvus import connections, FieldSchema, CollectionSchema, DataType, Collection

# 连接Milvus服务
connections.connect("default", host="localhost", port="19530")

# 创建包含日语分词配置的集合
fields = [
    FieldSchema(name="id", dtype=DataType.INT64, is_primary=True),
    FieldSchema(name="text", dtype=DataType.VARCHAR, max_length=512),
    FieldSchema(name="embedding", dtype=DataType.FLOAT_VECTOR, dim=768)
]
schema = CollectionSchema(fields, "Japanese text search collection")
collection = Collection("japanese_search", schema)

# 创建BM25索引（使用Lidera分词器）
index_params = {
    "index_type": "BM25",
    "metric_type": "L2",
    "params": {"tokenizer": "lidera_japanese"}
}
collection.create_index("text", index_params)

注意事项

• 确保主机已安装Docker环境
• 首次启动时数据目录会自动初始化，可能需要几分钟时间
• 如需自定义分词器参数，可通过Milvus配置文件调整相关设置

环境要求

• Docker Engine 20.10.0+
• 至少2GB RAM
• 10GB以上可用磁盘空间