chenxinaz/zhparser

PostgreSQL中文全文检索镜像（基于zhparser）

镜像概述

本镜像基于zhparser扩展，提供PostgreSQL数据库的中文全文检索功能。zhparser基于Xunsearch的SCWS（Simple Chinese Word Segmentation）分词引擎，是PostgreSQL中文全文检索的常用解决方案，支持自定义词典和分词配置。

支持的标签及对应Dockerfile链接

• https://github.com/chen-xin/docker_zhparser/blob/10.2/Dockerfile
• https://github.com/chen-xin/docker_zhparser/blob/10.2-alpine/Dockerfile
• https://github.com/chen-xin/docker_zhparser/blob/9.6/Dockerfile
• https://github.com/chen-xin/docker_zhparser/blob/9.6-alpine/Dockerfile

注：标签中的数字对应PostgreSQL官方镜像版本。

核心功能与特性

• 中文分词支持：基于SCWS分词引擎，实现中文文本的准确分词
• 全文检索配置：提供自定义文本搜索配置，支持分词类型映射
• 自定义词典：支持添加用户自定义词典（TXT和XDB格式），优化专业领域分词效果
• 兼容PostgreSQL生态：基于官方PostgreSQL镜像构建，支持标准PostgreSQL功能
• 轻量级选项：提供alpine版本，减小镜像体积

适用场景

• 内容管理系统（CMS）的中文全文搜索功能
• 文档管理平台的中文内容检索
• 博客、论坛等用户生成内容的中文搜索
• 企业内部知识库的中文全文检索

使用方法

基本运行

参考PostgreSQL官方镜像文档，基本运行命令如下：

bash
docker run -p 5432:5432 chenxinaz/zhparser

初始化配置

容器首次启动时，默认数据库会自动执行以下配置脚本。对于新创建的数据库，需手动执行：

sql
-- 创建zhparser扩展
CREATE EXTENSION zhparser;

-- 创建中文文本搜索配置
CREATE TEXT SEARCH CONFIGURATION chinese_zh (PARSER = zhparser);

-- 添加分词类型映射（n:名词, v:动词, a:形容词, i:成语, e:叹词, l:习语）
ALTER TEXT SEARCH CONFIGURATION chinese_zh ADD MAPPING FOR n,v,a,i,e,l WITH simple;

配置说明：

• "chinese_zh"为自定义配置名称，可根据需求修改
• "n,v,a,i,e,l,t"等为分词类型，未映射的类型不会参与文本分词
• 使用\dFp+ zhparser可查看zhparser支持的所有分词类型

功能测试

ts_debug测试

sql
select ts_debug('chinese_zh', '白垩纪是地球上海陆分布和生物界急剧变化、火山活动频繁的时代');

返回结果：

ts_debug
-------------------------------------------
(t,time,白垩纪,{},,)
(v,verb,是,{simple},simple,{是})
(n,noun,地球,{simple},simple,{地球})
(n,noun,上海,{simple},simple,{上海})
(m,numeral,陆,{},,)
(v,verb,分布,{simple},simple,{分布})
(c,conjunction,和,{},,)
(n,noun,生物界,{simple},simple,{生物界})
(d,adverb,急剧,{},,)
(v,verb,变化,{simple},simple,{变化})
(u,auxiliary,、,{},,)
(n,noun,火山,{simple},simple,{火山})
(v,verb,活动,{simple},simple,{活动})
(a,adjective,频繁,{simple},simple,{频繁})
(u,auxiliary,的,{},,)
(n,noun,时代,{simple},simple,{时代})
(16 rows)

to_tsvector测试

sql
select to_tsvector('chinese_zh', '白垩纪是地球上海陆分布和生物界急剧变化、火山活动频繁的时代');

返回结果：

to_tsvector
--------------------------------------------------------------------------------------------
'上海':3 '分布':4 '变化':6 '地球':2 '时代':10 '是':1 '活动':8 '火山':7 '生物界':5 '频繁':9
(1 row)

注："白垩纪"未出现在结果中，需添加t类型映射：

sql
ALTER TEXT SEARCH CONFIGURATION chinese_zh ADD MAPPING FOR t WITH simple;

查询测试

sql
-- to_tsquery与plainto_tsquery对比
select to_tsquery('chinese_zh', '白垩纪是地球上海陆分布和生物界急剧变化、火山活动频繁的时代');
select plainto_tsquery('chinese_zh', '白垩纪是地球上海陆分布和生物界急剧变化、火山活动频繁的时代');

返回结果：

                                       to_tsquery
-----------------------------------------------------------------------------------------
 '是' & '地球' & '上海' & '分布' & '生物界' & '变化' & '火山' & '活动' & '频繁' & '时代'
(1 row)

在表中使用

创建测试表及索引

sql
create table testing(
  title text
);

insert into testing values('白垩纪是地球上海陆分布和生物界急剧变化、火山活动频繁的时代');
insert into testing values('艾泽拉斯包括卡利姆多、东部王国两大大陆，暗夜精灵主城达纳苏斯位于东部王国北端。');

-- 创建GIN索引优化查询性能
create index ind_testing on testing using gin (to_tsvector('chinese_zh', title));

查询示例

sql
-- 搜索包含"白垩纪"的记录
select * from testing where to_tsquery('chinese_zh', '白垩纪') @@ to_tsvector('chinese_zh', title);

-- 搜索包含"达纳苏斯"的记录
select * from testing where to_tsquery('chinese_zh', '达纳苏斯') @@ to_tsvector('chinese_zh', title);

注：当表数据量较小时，PostgreSQL可能选择全表扫描而非索引扫描，数据量达到一定规模（如10万行以上）时会自动使用索引。

自定义词典配置

添加TXT格式词典

1. 创建词典文件/usr/share/postgresql/9.6/tsearch_data/mydict.utf8.txt，内容格式：

   # word TF IDF ATTR（TF/IDF/ATTR可省略）
   艾泽拉斯  1 1 n
   卡利姆多  1 1 n
   泰达希尔  1 1 n
   达纳苏斯  1 1 n
   遗忘海岸  1 1 n
   

2. 修改PostgreSQL配置文件/var/lib/postgresql/data/postgresql.conf，添加：

   zhparser.extra_dicts = 'mydict.utf8.txt'
   

3. 重启PostgreSQL服务使配置生效

添加XDB格式词典（推荐）

XDB格式词典性能优于TXT格式，创建步骤：

1. 从TXT词典生成XDB文件：

   bash
   cd /usr/share/postgresql/9.6/tsearch_data
   ldconfig  # 解决可能的库依赖问题
   scws-gen-dict -c UTF8 mydict.utf8.txt mydict.utf8.xdb
   chown postgres:postgres mydict.utf8.xdb  # 设置正确权限
   

2. 更新配置文件：

   bash
   sed -i 's/mydict\.utf8\.txt/mydict.utf8.xdb/' /var/lib/postgresql/data/postgresql.conf
   

3. 重启PostgreSQL服务

额外资源

• https://github.com/amutu/zhparser
• Xunsearch词典属性说明
• https://github.com/aboutstudy/scel2mmseg%EF%BC%88%E6%90%9C%E7%8B%97%E8%AF%8D%E5%BA%93%E8%BD%AC%E6%96%87%E6%9C%AC%E5%B7%A5%E5%85%B7%EF%BC%89