kyusonglee/basic_nlp

基础NLP模型镜像（basic_nlp）

镜像概述

该镜像专注于基础自然语言处理任务，提供文本语义向量生成、编码转换及相似度检索能力，通过标准化API接口支持快速集成，适用于各类需要语义分析的应用场景。

核心功能

1. 文本嵌入生成：将输入句子转化为语义向量，捕捉文本深层含义。
2. base64编码嵌入：对嵌入向量进行base64编解码，优化传输与存储效率。
3. 文本相似度搜索：在给定语料库中检索与查询句子语义最相似的文本。

使用场景

• 文本语义分析与向量表示
• 相似文本检索与匹配系统
• 语义向量的高效传输与持久化存储

配置说明

所有API接口需携带授权头authorization: convmind，请求内容类型为application/json。

API示例

文本嵌入生成

POST http://[host]:6000/v1/embedding
Header={ authorization: convmind, Content-Type: application/json }
Body={ "sentences": ["该框架为每个输入句子生成嵌入向量"] }

base64编码嵌入

API调用：

POST http://[host]:6000/v1/base64_embedding
Header={ authorization: convmind, Content-Type: application/json }
Body={ "sentences": ["该框架为每个输入句子生成嵌入向量"] }

Python编解码工具：

python
import base64
import numpy as np

dfloat32 = np.dtype('>f4')

def decode_float_list(base64_string):
    bytes_data = base64.b64decode(base64_string)
    return np.frombuffer(bytes_data, dtype=dfloat32).tolist()

def encode_array(arr):
    base64_str = base64.b64encode(np.array(arr).astype(dfloat32)).decode("utf-8")
    return base64_str

输出示例：

json
{"results":["Bc/V................"]}

文本相似度搜索

POST http://[host]:6000/v1/similarity_search
Header={ authorization: convmind, Content-Type: application/json }
Body={
    "corpus": [
        "一名男子正在吃东西。",
        "一名男子正在吃一片面包。",
        "一名男子正在吃意大利面。",
        "女孩抱着一个婴儿。",
        "婴儿被女人抱着。",
        "一名男子正在骑马。",
        "一名男子在封闭场地骑白马。",
        "猴子在打鼓。",
        "穿大猩猩服装的人在打鼓。",
        "猎豹在追逐猎物。",
        "猎豹在田野上追逐猎物。"
    ],
    "queries": ["一名男子正在吃意大利面。", "穿大猩猩服装的人在打鼓。", "猎豹在田野上追逐猎物。"]
}

Docker部署示例

bash
# 启动容器并映射端口6000
docker run -d -p 6000:6000 kyusonglee/basic_nlp