github/mdtok

镜像概述

本Docker镜像专注于Markdown文件的分词处理与内容清理，旨在为文档预处理、内容分析等场景提供高效、标准化的文本处理工具。通过自动化分词（将文本拆分为语义单元）和清理（去除冗余格式、修复语法等），帮助用户快速获得高质量的预处理文本数据。

核心功能与特性

1. 分词处理

• 将Markdown文本按语义拆分为可分析单元（如单词、短语、句子），支持自定义分词规则（如按语言、领域调整拆分逻辑）。
• 输出分词结果（如JSON格式或纯文本序列），便于后续NLP任务（如情感分析、主题提取）直接使用。

2. 内容清理

• 去除冗余格式：自动清理重复空行、无效标签（如未闭合的Markdown标记）、冗余空格等。
• 修复语法问题：修正Markdown语法错误（如标题层级混乱、列表格式错误），统一文档格式规范。
• 过滤无关内容：支持配置过滤规则（如移除注释、特定关键词段），保留核心文本。

3. 其他特性

• 批量处理：支持同时处理多个Markdown文件或目录，保持原文件结构输出。
• 轻量高效：基于Alpine或精简Python环境构建，镜像体积小，处理速度快，资源占用低。
• 兼容性强：兼容CommonMark、GitHub Flavored Markdown等主流语法标准。

使用场景与适用范围

• 文档预处理：内容发布前对Markdown文档进行标准化处理，确保格式统一、内容清晰。
• 内容分析：为文本挖掘、数据统计（如词频分析）提供清洁的分词数据。
• NLP任务前置处理：作为NLP模型（如文本分类、实体识别）的输入预处理工具，提升模型效果。
• 自动化文档流：集成到CI/CD流程或文档管理系统，实现文档提交后的自动预处理。

使用方法与配置说明

基本使用（单文件处理）

通过挂载本地文件目录，指定输入文件和输出路径，执行分词+清理任务：

bash
docker run -v /本地输入目录:/input -v /本地输出目录:/output \
  markdown-tokenizer-cleaner:latest \
  --input /input/source.md \  # 容器内输入文件路径（需通过-v挂载）
  --output /output/processed.md \  # 容器内输出文件路径
  --tokenize  # 启用分词功能
  --clean  # 启用清理功能

说明：/本地输入目录需包含待处理的Markdown文件（如source.md），处理结果将保存至/本地输出目录/processed.md。

批量处理（目录级处理）

对整个目录下的Markdown文件批量处理，保持原目录结构输出：

bash
docker run -v /本地输入目录:/input -v /本地输出目录:/output \
  markdown-tokenizer-cleaner:latest \
  --input-dir /input \  # 容器内输入目录（需挂载包含多个.md文件的本地目录）
  --output-dir /output \  # 容器内输出目录（处理后文件将按原结构保存至此）
  --tokenize --clean

自定义配置

1. 分词规则自定义

通过挂载自定义分词规则文件（JSON格式），调整分词逻辑（如按行业术语拆分）：

bash
docker run -v /本地输入目录:/input -v /本地输出目录:/output -v /自定义规则目录:/rules \
  markdown-tokenizer-cleaner:latest \
  --input /input/source.md \
  --output /output/processed.md \
  --tokenize --clean \
  --token-rule /rules/custom_rule.json  # 指定自定义分词规则文件（容器内路径）

规则文件格式示例（custom_rule.json）：

json
{
  "split_on": ["。", "！", "？"],  # 按中文句末标点分句
  "ignore": ["[注释]", "（备注：.*）"]  # 忽略注释内容
}

2. 环境变量配置

支持通过环境变量简化命令行参数（适用于脚本或自动化场景）：

示例（通过环境变量指定路径）：

bash
docker run -v /本地输入:/input -v /本地输出:/output -v /规则目录:/rules \
  -e INPUT_PATH=/input/source.md \
  -e OUTPUT_PATH=/output/processed.md \
  -e TOKEN_RULE_PATH=/rules/custom_rule.json \
  markdown-tokenizer-cleaner:latest --tokenize --clean

输出说明

• 分词结果：默认以JSON格式输出至[输出文件].tokens.json（如processed.md.tokens.json），包含分词单元、位置索引等信息。
• 清理后文档：输出为格式化后的Markdown文件（如processed.md），保留核心内容与规范格式。

注意事项

• 输入文件/目录必须通过-v挂载至容器内，否则容器无法访问本地文件。
• 自定义规则文件需确保格式正确（如JSON语法无误），否则可能导致处理失败。
• 批量处理时，输出目录会自动创建与输入目录一致的子目录结构，避免文件冲突。