convmind/neural_es

NeuralES（神经编码器搜索）

这是一个多用途服务，可使用Elasticsearch索引中的多种神经编码器搜索文档，同时也设计用于将原始对象（文本、图像等）转换为嵌入空间并存储到Elasticsearch索引中。

概述

核心功能

编码器管理

NeuralES使用ConvMind编码器Python模块（https://github.com/ConvMind/Encoders%EF%BC%89%EF%BC%8C%E9%80%9A%E8%BF%87%E7%A5%9E%E7%BB%8F%E7%BC%96%E7%A0%81%E5%99%A8%E5%AF%B9%E5%A4%9A%E7%A7%8D%E6%95%B0%E6%8D%AE%E7%B1%BB%E5%9E%8B%E8%BF%9B%E8%A1%8C%E7%BC%96%E7%A0%81%E3%80%82%E5%AE%A2%E6%88%B7%E7%AB%AF%E5%8F%AF%E4%BD%BF%E7%94%A8%E4%BB%A5%E4%B8%8B%E7%BC%96%E7%A0%81%E5%99%A8ID%EF%BC%9A

• 英文：
  • 句子级：en-RnnEncoder-***
  • 对话级：即将推出
• 中文：即将推出

查询

搜索查询包含以下参数：

• bot_id
• query（自然语言输入，如对话/问题）
• context（用于过滤的附加元特征）
• method：neural（默认）vs bm25
  NeuralES还支持基于前缀查询的自动补全（即将推出）。

索引管理

目前支持以下操作：

• add：向现有或新索引添加最多5000个文档；更大批量请使用bulk_add
• bulk_add：触发数据库拉取并编码大量问题
• remove：删除索引
• get_meta：返回索引元信息

数据库Schema

json
{
    "context": ["turn_1", "turn2"], // 对话历史
    "task_id": "xxx", // 唯一ID
    "status": "enable", // 可选值：deleted, disable, enable, in_review
    "q": "x", 
    "q_paraphrases": ["xx", "xxx", "xxx"],
    "a": [{"act": "utterance", "value": "hi", "type": "text"}, 
          {"act": "page_navigation", "value": "xxx/a.html", "type": "navigation"}], // 与消息格式一致
    "updated_time": "timestamp",
    "user_id": "tony", // 创建者
    "filters": {
        "expiration_date": null/date,
        "tags": ["x", "y", "z"],
        "category": "FAQ" // 顶级分类
    },
    "follow_up_questions": "??" // 参考MS QnA bot，需进一步设计
}

NES会将外部数据转换为以下格式：

json
{
    "q": "x", 
    "a": [{"act": "utterance", "value": "hi", "type": "text"}, 
          {"act": "page_navigation", "value": "xxx/a.html", "type": "navigation"}], // 与消息格式一致
    "a_key": "xxhhxx", // a的唯一哈希键（通过hashlib获取）
    "expire_time": "xx",
    "creation_time": "xx",
    "tags": ["x", "y", "z"],
    "category": "xxx",
    "displayable": true/false // 是否显示在常用回答中
}

中文分词器

• hanlp：默认分词
• hanlp_standard：标准分词
• hanlp_index：索引分词
• hanlp_nlp：NLP分词
• hanlp_n_short：N-最短路分词
• hanlp_dijkstra：最短路分词
• hanlp_crf：CRF分词（已有最新方式）
• hanlp_speed：极速词典分词

问答机器人输出格式

json
[{
    "act": "utterance", 
    "value": "hi", 
    "type": "text"
}, 
{
    "act": "span", 
    "value": "i am a man", 
    "type": "text", 
    "answer_start": 421, 
    "chunk_id": "xxx", 
    "doc_id": "xxx"
},
{
    "act": "section", 
    "value": "abstract", 
    "type": "text", 
    "answer_start": 0, 
    "chunk_id": "xxx", 
    "doc_id": "xxx"
},
{
    "act": "title", 
    "value": "ConvMind Handbook", 
    "type": "text", 
    "answer_start": 0, 
    "chunk_id": "xxx", 
    "doc_id": "xxx"
}]

answer_start是chunk（由chunk_id定义）中的字符级偏移量，chunk_id来自文档（由doc_id定义）。

配置说明

训练

• IDP_URL：字符串
• TASK_ID：字符串
• ENCODER_ID：字符串（编码问题和索引匹配数据）
• DB_ENCODER_ID：字符串（索引相关数据的编码器）
• REGION：US或CN
• MODEL_TYPE：soco
• DATA_SOURCE：mlab、idp、local、docs
• DATA_PATH：字符串（本地运行时json数据路径）
• USE_GPU：布尔值（是否使用GPU）

推理

• REGION：字符串（US或CN）
• PORT：整数
• ES_URL：字符串
• ES_PORT：整数

过滤器使用方法

可过滤字段

• expire_time、tags、category、department（BOC）、position（BOC）

数据格式

1. 单过滤器单值

json
{"filters": {"term": {"key": "value"}}}

2. 单过滤器多值

json
{"filters": {"terms": {"key": ["v1", "v2"]}}}

3. 组合过滤器

json
{"filters": [{"term": {"key": "value"}}, {"terms": {"key": []}}]}

Docker部署示例

假设镜像暴露端口8000，挂载配置目录到容器内/config：

bash
docker run -d -p 8000:8000 -v ./config:/config convmind/neural_es