andpad/elasticsearch_with_kuromoji

elasticsearch_with_kuromoji 镜像文档

概述和主要用途

elasticsearch_with_kuromoji是一个预集成Kuromoji日语分词插件的Elasticsearch Docker镜像，旨在简化日语文本处理的部署流程。该镜像基于官方Elasticsearch镜像构建，内置Kuromoji插件，支持日语词汇的精准分词、形态分析和索引，适用于需要对日语内容进行高效搜索和分析的场景。

核心功能和特性

• 基础Elasticsearch功能：提供全文搜索、分布式索引、实时分析、聚合查询等Elasticsearch核心能力
• Kuromoji日语分词：集成Elasticsearch Kuromoji插件，支持日语单词分割、词性标注、读音（ふりがな）提取
• 预配置分词器：内置针对通用场景优化的日语分词器配置，减少手动配置工作量
• 版本兼容性：基于官方Elasticsearch稳定版本构建，确保插件与Elasticsearch版本兼容
• 轻量部署：Docker容器化设计，支持快速启动和环境隔离

使用场景和适用范围

• 日语内容搜索引擎（如电商商品搜索、文献检索）
• 日语日志/文本数据分析系统
• 多语言内容管理平台（日语模块）
• 日语自然语言处理（NLP）应用的基础组件
• 需要处理日语用户生成内容（UGC）的应用

使用方法和配置说明

快速启动

使用以下命令启动容器：

bash
docker run -d \
  --name es-kuromoji \
  -p 9200:9200 \
  -p 9300:9300 \
  -e "discovery.type=single-node" \
  -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
  docker.xuanyuan.run/elasticsearch_with_kuromoji:latest

环境变量配置

验证插件安装

容器启动后，通过以下命令验证Kuromoji插件是否安装成功：

bash
# 检查已安装插件
curl http://localhost:9200/_cat/plugins
# 预期输出包含 "kuromoji"

测试日语分词功能

1. 创建包含Kuromoji分词器的索引：

bash
curl -X PUT "http://localhost:9200/japanese_docs" -H "Content-Type: application/json" -d '
{
  "settings": {
    "analysis": {
      "analyzer": {
        "japanese_analyzer": {
          "type": "custom",
          "tokenizer": "kuromoji_tokenizer",
          "filter": ["kuromoji_baseform", "kuromoji_part_of_speech", "kuromoji_readingform"]
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "content": {
        "type": "text",
        "analyzer": "japanese_analyzer"
      }
    }
  }
}'

2. 测试分词效果：

bash
curl -X POST "http://localhost:9200/japanese_docs/_analyze" -H "Content-Type: application/json" -d '
{
  "analyzer": "japanese_analyzer",
  "text": "今日はとてもいい天気です"
}'

预期返回分词结果，包含"今日"、"とても"、"いい"、"天気"等词汇及相关词性、读音信息。

高级配置说明

• 数据持久化：通过挂载数据卷实现数据持久化

  bash
  docker run -d \
    --name es-kuromoji \
    -p 9200:9200 \
    -v /host/path/to/data:/usr/share/elasticsearch/data \
    docker.xuanyuan.run/elasticsearch_with_kuromoji:latest
  

• 自定义配置：挂载自定义elasticsearch.yml配置文件

  bash
  docker run -d \
    --name es-kuromoji \
    -p 9200:9200 \
    -v /host/path/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
    docker.xuanyuan.run/elasticsearch_with_kuromoji:latest
  

• 集群部署：修改discovery.type为multi-node，并配置cluster.initial_master_nodes实现多节点集群