pythainlp/word-tokenizers
pythainlp
这是一个泰语分词器集合镜像，整合多种公开泰语分词算法，通过Docker提供统一接口，方便用户快速试用不同泰语分词方法。
下载次数: 0状态：社区镜像维护者：pythainlp仓库类型：镜像最近更新：6 年前
让 AI 帮你使用轩辕镜像？ · 展开查看说明 · 点击收起说明
如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。
只需在 AI 对话中先发送下面这句话即可：
请先完整阅读并严格遵守以下文档中的全部规则与要求：
https://xuanyuan.cloud/agents.md
在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。查看 agents.md 用法指南与完整示范。国内用户首推 元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。 若 AI 无法访问外链，可 打开说明文档 复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。
泰语分词器集合镜像
https://img.shields.io/docker/pulls/pythainlp/word-tokenizers.svg](https://hub.docker.com/r/pythainlp/word-tokenizers/tags)
本镜像整合了几乎所有公开可用的泰语分词器，通过Docker提供统一接口，方便用户快速试用不同泰语分词算法。每个分词器（称为Vendor）都有独立的Docker镜像，并配有统一的脚本，确保一致的使用体验。
核心功能
- 支持多种泰语分词算法（如newmm、deepcut、cutkum等）
- 提供统一命令行接口，简化不同分词器的调用流程
- 支持批量处理文本文件，输出结构化分词结果
支持的分词器列表
| 分词器 | 别名 | 可用方法 | 镜像信息 |
|---|---|---|---|
| https://github.com/PyThaiNLP/pythainlp | pythainlp | newmm, longest | |
| https://github.com/rkcosmos/deepcut | deepcut | deepcut | |
| https://github.com/pucktada/cutkum | cutkum | cutkum | |
| https://github.com/sertiscorp/thai-word-segmentation | sertis | sertis | |
| https://pypi.python.org/pypi/tltk/ | tltk | mm, ngram, colloc | |
| https://github.com/tlwg/swath | swath | max, long | |
| https://chromium.googlesource.com/external/v8-i18n/+/3bd86474e6728097a22381ce46f1efa5b0a3c7d5/src/break-iterator.cc | chrome | v8breakiterator |
使用场景
- 泰语文本预处理（如NLP模型训练前的分词步骤）
- 对比不同泰语分词算法的效果
- 快速验证泰语分词需求的可行性
配置与使用说明
步骤1：拉取镜像
根据需要拉取对应分词器的镜像：
bashdocker pull docker.xuanyuan.run/pythainlp/word-tokenizers:<vendor-alias>
示例（拉取PyThaiNLP镜像）：
bashdocker pull docker.xuanyuan.run/pythainlp/word-tokenizers:pythainlp
步骤2：准备文本文件
将待分词的文本文件放入./data目录。
步骤3：执行分词命令
使用脚本调用指定分词器和方法：
bash./scripts/tokenise.sh <vendor-alias>:<method> <filename>
示例操作
假设处理./data/example.text文件（内容：อันนี้คือตัวอย่าง）：
- 执行分词命令：
bash./scripts/tokenise.sh pythainlp:newmm example.text
- 查看结果：
bashcat ./data/example_tokenised-pythainlp-newmm.text อันนี้|คือ|ตัวอย่าง
开发相关
构建新镜像
bash./scripts/build <vendor>
推送镜像到Docker Hub
bash./scripts/push <vendor>
致谢
本项目最初由Pattarawat Chormai在朱拉隆功大学Attapol Thamrongrattanarit博士的NLP实验室实习期间完成。
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 word-tokenizers 镜像标签
docker pull docker.xuanyuan.run/pythainlp/word-tokenizers:<标签>
DockerHub 原生拉取命令
docker pull pythainlp/word-tokenizers:<标签>
镜像拉取常见问题
功能
错误码
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"