lightrabbit/zhparser

PostgreSQL中文全文搜索镜像（基于zhparser）

镜像概述

本镜像基于zhparser扩展构建，为PostgreSQL数据库提供中文全文搜索能力。zhparser基于Xunsearch的SCWS（Simple Chinese Word Segmentation）分词引擎，是PostgreSQL中文全文搜索的常用解决方案，且持续维护更新。

支持的标签及Dockerfile链接

• 9.6, 9.6.3, latest（标准版本）
• 9.6-alpine, 9.6.3-alpine, alpine（轻量Alpine版本）
  注：标签中的数字对应PostgreSQL官方镜像版本。

核心功能与特性

• 中文分词支持：基于SCWS引擎实现中文词语切分
• 全文检索能力：支持中文文本的索引创建与高效查询
• 自定义配置：可通过文本搜索配置自定义分词规则
• 词典扩展：支持添加自定义词典（TXT或XDB格式）优化分词效果
• 轻量版本：提供Alpine基础镜像，减小部署体积

使用场景

• 内容管理系统（CMS）的中文文章检索
• 文档管理平台的全文搜索功能
• 日志分析系统的中文关键词提取
• 任何需要在PostgreSQL中实现中文内容检索的应用

使用方法

基本运行命令

参考PostgreSQL官方镜像文档，基础启动命令：

bash
docker run -p 5432:5432 chenxinaz/zhparser

初始化配置

首次启动容器时，默认数据库会自动执行基础配置。对于新创建的数据库，需手动执行以下SQL配置zhparser：

sql
-- 创建zhparser扩展
CREATE EXTENSION zhparser;

-- 创建文本搜索配置
CREATE TEXT SEARCH CONFIGURATION chinese_zh (PARSER = zhparser);

-- 添加令牌类型映射（n:名词, v:动词, a:形容词等）
ALTER TEXT SEARCH CONFIGURATION chinese_zh ADD MAPPING FOR n,v,a,i,e,l WITH simple;

配置说明

• chinese_zh为自定义配置名称，可根据需求修改
• n,v,a,i,e,l为令牌类型，未映射的类型将不参与文本分词
• 使用\dFp+ zhparser可查看zhparser支持的所有令牌类型

功能测试

ts_debug测试

验证分词效果：

sql
select ts_debug('chinese_zh', '白垩纪是地球上海陆分布和生物界急剧变化、火山活动频繁的时代');

输出示例：

ts_debug
-------------------------------------------
(t,time,白垩纪,{},,)
(v,verb,是,{simple},simple,{是})
(n,noun,地球,{simple},simple,{地球})
(n,noun,上海,{simple},simple,{上海})
...

to_tsvector测试

生成文本向量：

sql
select to_tsvector('chinese_zh', '白垩纪是地球上海陆分布和生物界急剧变化、火山活动频繁的时代');

输出示例：

to_tsvector
--------------------------------------------------------------------------------------------
'上海':3 '分布':4 '变化':6 '地球':2 '时代':10 '是':1 '活动':8 '火山':7 '生物界':5 '频繁':9

注：若需包含"白垩纪"，需添加时间类型映射：ALTER TEXT SEARCH CONFIGURATION chinese_zh ADD MAPPING FOR t WITH simple;

查询测试

sql
-- 向量与查询匹配测试
select to_tsquery('chinese_zh', '地球') @@ to_tsvector('chinese_zh', '白垩纪是地球上海陆分布和生物界急剧变化、火山活动频繁的时代');

输出：

?column?
----------
t

在表中使用与索引优化

创建测试表与索引

sql
create table testing(
  title text
);

-- 插入测试数据
insert into testing values('白垩纪是地球上海陆分布和生物界急剧变化、火山活动频繁的时代');
insert into testing values('艾泽拉斯包括卡利姆多、东部王国两大大陆，暗夜精灵主城达纳苏斯位于东部王国北端。');

-- 创建GIN索引提升查询性能
create index ind_testing on testing using gin (to_tsvector('chinese_zh', title));

查询示例

sql
-- 搜索包含"白垩纪"的记录
select * from testing where to_tsquery('chinese_zh', '白垩纪') @@ to_tsvector('chinese_zh', title);

索引使用说明

• 当表数据量较小时（如<1000行），PostgreSQL可能选择顺序扫描而非索引扫描
• 数据量达到10万行以上时，GIN索引可显著提升查询性能（实测270万行数据查询耗时约25ms）

添加自定义词典

TXT格式词典

1. 在容器内创建词典文件/usr/share/postgresql/9.6/tsearch_data/mydict.utf8.txt：

   # 格式：词 TF IDF ATTR（TF/IDF/ATTR可省略）
   艾泽拉斯 1 1 n
   卡利姆多 1 1 n
   达纳苏斯 1 1 n
   

2. 修改PostgreSQL配置文件/var/lib/postgresql/data/postgresql.conf：

   zhparser.extra_dicts = 'mydict.utf8.txt'
   

3. 重启PostgreSQL服务使配置生效

XDB格式词典（推荐）

XDB格式为二进制词典，性能优于TXT格式：

1. 生成XDB词典：

   bash
   cd /usr/share/postgresql/9.6/tsearch_data
   ldconfig  # 解决库依赖问题
   scws-gen-dict -c UTF8 mydict.utf8.txt mydict.utf8.xdb
   chown postgres:postgres mydict.utf8.xdb  # 设置权限
   

2. 更新配置文件：

   bash
   sed -i 's/mydict\.utf8\.txt/mydict.utf8.xdb/' /var/lib/postgresql/data/postgresql.conf
   

3. 重启PostgreSQL服务

相关资源

• https://github.com/amutu/zhparser
• SCWS分词引擎文档
• https://github.com/aboutstudy/scel2mmseg%EF%BC%88%E5%B0%86%E6%90%9C%E7%8B%97.scel%E8%AF%8D%E5%BA%93%E8%BD%AC%E6%8D%A2%E4%B8%BA%E6%96%87%E6%9C%AC%E6%A0%BC%E5%BC%8F%EF%BC%89