ukwa/crawl-streams

Crawl Streams

镜像概述和主要用途

Crawl Streams 是一套用于操作与爬虫活动相关事件流的工具集，主要用于管理和处理爬虫任务的事件流，包括根据爬取规范启动爬取任务、处理爬取调度、种子配置等操作。

核心功能和特性

• 爬取任务启动：通过 crawlstreams.launcher 命令根据爬取规范启动爬取任务，支持调度时间、种子URL、爬取深度等配置
• 事件流处理：与 Kafka 集成，处理爬虫事件流数据，支持将爬取任务信息入队到指定 Kafka 主题
• 幂等性设计：启动器利用嵌入的启动时间戳判断请求是否已处理，确保请求幂等性，允许每小时多次运行而不重复处理
• 灵活配置：支持自定义爬取范围（如子域名）、是否忽略 robots.txt、登录/登出页面URL等配置项

使用场景和适用范围

• 需要按计划自动启动爬虫任务的场景
• 爬虫事件流数据的管理与分析
• 爬虫任务的配置与调度开发
• 本地开发环境中模拟爬虫事件流处理

详细使用方法和配置说明

命令

crawlstreams.launcher

launcher 命令用于根据爬取规范启动爬取任务。每个规范包含爬取调度、种子URL和其他配置。当前支持专有JSON规范，未来将支持 https://github.com/ato/crawlspec%E3%80%82

JSON规范示例：

json
{
    "id": 57875,
    "title": "Bae Colwyn Mentre Treftadaeth Treflun | Colwyn Bay Townscape Heritage Initiative",
    "seeds": [
        "https://www.colwynbaythi.co.uk/"
    ],
    "depth": "CAPPED",
    "scope": "subdomains",
    "ignoreRobotsTxt": true,
    "schedules": [
        {
            "startDate": "2017-10-17 09:00:00",
            "endDate": "",
            "frequency": "QUARTERLY"
        }
    ],
    "watched": false,
    "documentUrlScheme": null,
    "loginPageUrl": "",
    "logoutUrl": "",
    "secretId": ""
}

使用说明：

• 设计为每小时运行一次，将该小时内到期的所有URL入队
• 尚不支持更细粒度的请求启动
• 支持意外多次运行，不会重复处理请求

使用示例： 为 NPLD 启动当前小时的爬取任务：

bash
launcher -k crawler06.n45.bl.uk:9094 fc.tocrawl.npld /shared/crawl_feed_npld.jsonl

开发环境设置

非Docker环境

依赖安装： 对于 RHEL/CentOS 系统：

bash
sudo yum install snappy-devel
sudo yum install gcc gcc-c++ libtool

项目设置：

bash
git clone https://github.com/ukwa/crawl-streams.git
cd crawl-streams/
virtualenv -p python3.7 venv
source venv/bin/activate
python setup.py install

支持服务： 使用提供的 docker-compose.yml 启动本地 Kafka 服务：

bash
docker-compose up -d kafka

Kafka 服务将运行在主机端口 9094。

启动 Kafka UI：

bash
docker-compose up -d ui

访问端口 9990（如 [***] Kafka 界面。

运行开发版本：

• 向 NPLD 频繁爬取的 to-crawl 主题提交 URL：

  bash
  python -m crawlstreams.submit -k dev1:9094 fc.tocrawl.npld http://a-test-string.com
  

• 分析 fc.crawled 主题内容：

  bash
  python -m crawlstreams.report -k dev1:9094 -t -1 -q fc.crawled
  

• 从生产系统获取测试数据并提交到本地 Kafka：

  bash
  # 获取100条生产数据
  docker run -i --net host wurstmeister/kafka:2.12-2.1.0 /opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server crawler05.n45.bl.uk:9094 --topic fc.crawled --max-messages 100 > messages.json
  
  # 提交到本地Kafka
  cat messages.json | docker run -i --net host wurstmeister/kafka:2.12-2.1.0 /opt/kafka/bin/kafka-console-producer.sh --broker-list dev1:9094 --topic fc.crawled
  

处理实时数据： 读取生产系统的 fc.crawled 流：

bash
python -m crawlstreams.report -k crawler05.n45.bl.uk:9094 -t -1 -q fc.crawled -r | head

在测试爬虫上运行：

bash
python -m crawlstreams.launcher -k crawler05.n45.bl.uk:9094 fc.tocrawl.npld ~/crawl_feed_npld.jsonl

Docker环境

构建和运行：

bash
docker-compose build
docker-compose run crawlstreams -k kafka:9092 ...

查看 Kafka 主题消息：

bash
docker run --net host -ti wurstmeister/kafka:2.12-2.1.0 /opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server crawler06.n45.bl.uk:9094 --from-beginning --topic fc.tocrawl.npld --max-messages 100