ukwa/shepherd

Shepherd 镜像文档

镜像概述

Shepherd是英国网络档案馆(UK Web Archive)的核心爬虫编排引擎，主要用于协调组成网络档案系统的各类服务。它采用模块化、队列驱动的架构，实现爬取工作流的自动化与监控，支持从爬取任务启动、数据捕获到归档入库的全流程管理。

核心功能与特性

工作流编排

• 基于Luigi实现任务调度，支持定时任务与依赖管理
• 采用RabbitMQ作为消息队列，实现组件间解耦与异步通信
• 支持爬取任务的启动、监控、 checkpoint 管理及结果处理

命令行工具集

• h3cc: Heritrix3爬取控制器，支持与Heritrix直接交互，查询堆状态、WARC信息、 frontier队列等
• w3act.py: W3ACT API客户端，支持添加目标、更新爬取计划、管理文档等操作
• mq_peek.py: RabbitMQ队列消息查看工具
• inject.py: 直接向爬取队列注入URI的工具

多阶段工作流支持

• 爬取工作流: 从任务启动、URI渲染到Heritrix爬取的全流程管理
• 爬后处理工作流: 支持检查点打包、SIP生成、DLS提交、CDX索引等归档流程
• 质量保证工作流: 实现爬取结果的自动对比、404检测及问题URI重爬

使用场景

Shepherd适用于大规模网络档案爬取与管理场景，特别是需要:

• 自动化协调多个爬取组件与服务
• 实现持续爬取与实时数据归档
• 对爬取过程进行精细化监控与问题排查
• 管理复杂的爬取任务依赖与调度

使用方法

基础环境依赖

Docker镜像基于RHEL/CentOS 7构建，需预装以下系统依赖:

bash
yum install epel-release git python-pip python-devel libpng-devel libjpeg-devel gcc gcc-c++ make libffi-devel openssl-devel supervisor libxml2 libxml2-devel libxslt libxslt-devel

安装与配置

系统级安装

bash
python2.7 setup.py install

虚拟环境安装 (推荐开发环境)

bash
sudo pip install virtualenv
cd python-shepherd
virtualenv -p python2.7 venv27-shepherd
source venv27-shepherd/bin/activate
python setup.py install

命令行工具使用示例

h3cc - Heritrix3爬取控制器

查询Java堆使用情况:

bash
python agents/h3cc.py info-xml | xmlstarlet sel -t -v "//heapReport/usedBytes"

查询WARC中的新URL数量:

bash
python agents/h3cc.py info-xml | xmlstarlet sel -t -v "//warcNovelUrls"

查询指定主机的待爬URL队列:

bash
python agents/h3cc.py -H 192.168.99.100 -q "http://www.bbc.co.uk/" -l 5 pending-urls-from

w3act.py - W3ACT客户端

添加新爬取目标:

bash
python w3act.py add-target "https://www.gov.uk/government/publications?departments[]=department-for-transport" "Department for Transport publications" daily

使用自定义账号添加目标:

bash
python w3act.py -u "bob@jam.com" -p "secretsquirrel" add-target "https://www.gov.uk/government/publications?departments[]=department-for-transport" "Department for Transport publications" daily

更新目标爬取计划:

bash
python w3act.py update-target-schedule 1 daily "2016-01-13 09:00:00"

工作流配置

定时任务配置 (Luigi)

添加到crontab实现定时监控:

bash
* * * * * /usr/local/bin/luigi --module tasks.monitor monitor.CheckStatus >> /var/log/luigi-monitor.log 2>&1

爬后处理示例

启动文档目录服务:

bash
python agents/docstow3act.py --amqp-url "amqp://guest:guest@192.168.99.100:5672/%2f" post-crawl DH-1-documents-to-catalogue

启动SIP生成服务:

bash
python agents/sipstodls.py --amqp-url "amqp://guest:guest@192.168.99.100:5672/%2f"

工作流架构

Shepherd采用模块化、队列驱动的架构，核心组件包括:

• 消息队列: RabbitMQ提供组件间通信
• 进程管理: supervisord管理Python处理进程
• 长期服务: Heritrix3(爬取)、tinycdxserver(索引)、OpenWayback(访问)等

主要工作流程

1. 爬取启动: cron任务触发launcher.py，从W3ACT读取待启动任务，发送消息到uris-to-render队列
2. URI渲染: harchiverd.py消费队列，渲染URI并生成WARC，传递到uris-to-crawl队列
3. 爬取执行: Heritrix3消费队列，执行爬取并将结果发送到uris-to-index队列
4. 索引处理: uristocdxserver.py将结果提交到tinycdxserver，支持实时Wayback访问
5. 归档处理: 从检查点消息生成SIP，提交到DLS，完成数据归档

检查点消息格式示例

json
{
    "checkpointDirAbsolutePath": "/jobs/frequent/checkpoints/cp00001-20160229142814",
    "checkpointDirPath": "cp00001-20160229142814",
    "name": "cp00001-20160229142814",
    "shortName": "cp00001"
}

CIPD消息格式示例

json
{
    "startDate": "2016-02-29T12:00:00Z",
    "crawlStream": "frequent",
    "packageId": "frequent-cp00001-20160229142814",
    "warcs": [
        "BL-20160224194138561-00000-44~04917ac61543~8443.warc.gz"
    ],
    "arks": {
        "BL-20160224194138561-00000-44~04917ac61543~8443.warc.gz": "ark:/81055/vdc_100022535899.0x"
    },
    "hdfs": {
        "BL-20160224194138561-00000-44~04917ac61543~8443.warc.gz": "/heritrix/output/warcs/frequent/BL-20160224194138561-00000-44~04917ac61543~8443.warc.gz"
    }
}