ukwa/warcprox

横向扩展归档Web代理

镜像概述和主要用途

该项目允许基于代理的网络归档在大规模爬取中使用，通过在代理负载均衡器后横向扩展实现。负载均衡器尝试基于URL路由，使相同URL始终路由到同一warcprox实例，确保归档代理之间无需共享状态即可正常实现去重。

核心功能和特性

• warcprox容器化：基于Ubuntu 14.04/Python 3.4构建的warcprox Dockerfile，包含必要依赖，提供基础的网络归档代理功能。
• Squid缓存转发代理：用于设置缓存层次结构，其"父"代理可以是warcprox实例。可利用Squid的缓存功能避免在提取嵌入URL时过于频繁地访问原始站点。
• HAProxy负载均衡：HTTP模式下可基于hdr(host)、uri等进行请求重定向（TCP模式不支持），实现请求的分发和路由。

使用场景和适用范围

适用于需要大规模网络爬取和归档的场景，特别是当需要处理大量URL且要求高效去重时。通过横向扩展warcprox实例，可提升归档处理能力，同时保证去重机制有效运行。

使用方法和配置说明

基于Docker横向扩展

1. 清理现有容器

首先清理任何现有机器：

bash
$ docker-compose rm

2. 定义warcprox实例数量

指定所需的warcprox实例数量并配置：

bash
$ docker-compose scale warcprox=3

3. 启动系统

运行以下命令启动系统：

bash
$ docker-compose up

系统将启动并配置一个HAProxy实例，该实例会在所有warcprox实例间均衡负载。提供的配置使用hdr(host)划分负载，将与特定主机相关的所有请求发送到同一warcprox实例，确保基于URL的去重有效工作。建议进一步实验负载均衡参数以优化性能。

未来功能与改进方向

• 集成warcprox的Brozzler分支，利用其提供的有用特性。
• 使用下载开始时间作为WARC的Memento-Datetime响应头，指示归档操作已完成，并将其传递到后续检查队列；或使用基于时间的UUID作为WARC-Record-ID，通过Warcprox-WARC-Record-ID头进行跟踪（需新建索引，无法直接利用CDX）。
• 暴露回放接口。
• 考虑使用外部CDX数据库引擎（如tinycdxserver）。