arquivo/brozzler-worker

arquivo/brozzler-worker镜像说明

镜像概述

arquivo/brozzler-worker镜像将Brozzler（由Internet Archive开发的网页存档工具）封装在Docker容器中，旨在消除环境配置障碍，让用户快速启动网页爬取与存档任务，适用于个人或企业的网站备份、学术数据收集等场景。

核心功能

1. 网页内容存档：对指定网页进行深度爬取，并生成标准WARC格式存档文件；
2. 分布式协作：作为Brozzler分布式系统的worker节点，可与主节点配合完成大规模爬取任务；
3. 合规爬取：自动遵循robots.txt协议，尊重网站爬取规则；
4. 参数可配置：支持通过环境变量或挂载配置文件调整爬取深度、并发数等参数。

使用场景

• 网站备份：定期爬取个人/企业网站内容，防止数据丢失；
• 学术研究：收集特定领域网页数据，用于文本分析或历史趋势研究；
• 历史内容追溯：获取网页历史版本，用于信息验证或数据恢复。

配置说明

1. 环境变量配置：通过BROZZLER_SEED_URL（起始URL）、BROZZLER_CRAWL_ID（任务ID）等变量设置基础参数；
2. 配置文件挂载：将自定义config.json挂载到容器/etc/brozzler/路径，实现高级参数配置。

部署示例

Docker Run命令

bash
docker run -d \
  --name brozzler-worker \
  -e BROZZLER_SEED_URL="https://example.com" \
 -v /本地存档路径:/data/archive \
  arquivo/brozzler-worker

说明

• -e BROZZLER_SEED_URL：指定爬取的起始网页地址；
• -v：挂载本地目录存储存档文件，避免容器销毁导致数据丢失。