ukwa/webrender-har-daemon

python-har-daemon 镜像文档

镜像概述

python-har-daemon是一个守护进程镜像，旨在监控Heritrix提交URL的队列。当接收到URL时，该进程会将其提交到指定的Web服务（当前通过https://github.com/ukwa/django-phantomjs%E5%AE%9E%E7%8E%B0%EF%BC%89%EF%BC%8C%E5%B9%B6%E5%B0%86%E5%A4%84%E7%90%86%E5%90%8E%E7%9A%84%E5%93%8D%E5%BA%94%EF%BC%88%E4%BF%AE%E6%94%B9%E5%90%8E%E7%9A%84HAR%E8%AE%B0%E5%BD%95%EF%BC%89%E5%AD%98%E5%82%A8%E5%88%B0WARC%E6%96%87%E4%BB%B6%E4%B8%AD%E3%80%82

核心功能与特性

• 队列监控：持续监听Heritrix提交URL的队列，实时接收待处理URL
• Web服务集成：将接收到的URL提交至Web服务进行处理
• HAR记录处理：接收并处理Web服务返回的响应，生成修改后的HAR记录
• WARC存储：将处理后的HAR记录持久化存储到WARC文件中

使用场景

适用于Heritrix3网页爬虫环境，需在爬取过程中提取和处理网页中嵌入URL的场景，尤其适合需要对网页资源加载过程（通过HAR记录）进行捕获和存档的需求。

使用方法

基本运行命令

bash
docker run -d \
  --name python-har-daemon \
  -e QUEUE_CONNECTION=<队列连接字符串> \
  -e WEBSERVICE_URL=<django-phantomjs服务地址> \
  -v /本地/warc存储路径:/app/warc \
  python-har-daemon

配置参数说明

数据持久化

通过挂载本地目录到容器内/app/warc路径，可实现WARC文件的持久化存储：

bash
-v /data/warc:/app/warc

依赖说明

该镜像依赖外部服务：

• Heritrix3爬虫（提供URL队列）
• django-phantomjs Web服务（处理URL并返回HAR记录）