dadoonet/fscrawler

FS Crawler Docker镜像

概述

FS Crawler Docker镜像是用于Elasticsearch的文档索引工具，专注于爬取并索引PDF、Open Office、MS Office等二进制文档。支持本地文件系统、远程文件系统（SSH/FTP）爬取及REST接口文档上传，可根据需求选择是否集成OCR功能。

核心功能与特性

• 文件系统爬取：支持本地文件系统（或挂载驱动器）爬取，自动索引新文件、更新现有文件及移除旧文件
• 远程访问支持：通过SSH或FTP协议爬取远程文件系统中的文档
• REST接口：提供REST接口，支持"上传"二进制文档至Elasticsearch
• OCR集成：默认镜像包含Tesseract OCR引擎及所有训练语言数据，可提取图片中的文本内容
• 轻量化选项：提供不含OCR的noocr版本镜像，体积更小

适用场景

• 企业文档管理系统：批量索引本地或远程服务器中的业务文档
• 内容检索平台：为PDF、Office文档构建全文检索能力
• 自动化文档处理：需定期同步文档内容至Elasticsearch的场景

安装与使用指南

镜像获取

默认镜像（含OCR）

默认镜像包含Tesseract OCR引擎及所有训练语言数据，增加超过500MB体积：

sh
docker pull dadoonet/fscrawler

轻量化镜像（不含OCR）

若无需OCR功能，可使用体积更小的noocr版本：

sh
docker pull dadoonet/fscrawler:noocr

基本使用方法

sh
docker run -it --rm \
     -v ~/.fscrawler:/root/.fscrawler \  # 挂载配置文件存储目录
     -v ~/tmp:/tmp/es:ro \                # 挂载待索引文档目录（只读）
     dadoonet/fscrawler job_name          # job_name为自定义作业名称

注意事项

• ~/tmp：需替换为本地实际存储待索引文档的目录
• 作业配置：将自动存储于~/.fscrawler/job_name/_settings.yaml

调整日志级别

通过FS_JAVA_OPTS环境变量配置日志级别：

sh
docker run -it --rm \
     -v ~/.fscrawler:/root/.fscrawler \
     -v ~/tmp:/tmp/es:ro \
     -v ~/logs:/root/logs \               # 挂载日志存储目录
     -e FS_JAVA_OPTS="-DLOG_LEVEL=debug -DDOC_LEVEL=debug" \  # 调整全局及文档级日志级别
     dadoonet/fscrawler job_name

更多信息

详细使用方法请参考https://fscrawler.readthedocs.io/%E5%8F%8Ahttps://fscrawler.readthedocs.io/en/latest/installation.html#using-docker%E3%80%82