ukwa/archival-acid-test

acid-crawl

镜像概述和主要用途

acid-crawl 是一个针对Web档案的酸性测试套件，旨在通过标准化的测试流程验证网络爬虫（如Heritrix3）的功能完整性和可靠性。该Docker镜像提供了测试资源服务器及预期结果，支持模拟各类Web资源和服务器行为，帮助开发者和测试人员评估爬虫在不同场景下的表现。

测试工作流程大致如下：

• 启动包含各类测试文件和行为的Python服务器（提供大文件、小文件、嵌入式内容、JavaScript测试、异常服务器行为等）
• 启动warcprox代理以记录爬取过程
• 配置并启动Heritrix3，使用样例任务配置测试目标模块
• 通过Heritrix API启动爬取测试站点
• 执行标准操作（如暂停、 checkpointing、从checkpoint恢复等）
• 验证日志合理性及输出内容符合预期
• 使用warcprox记录交叉校验Heritrix3生成的WARC内容

核心功能和特性

测试场景（Cases）

• 常规请求处理：正常GET请求、200响应、重定向等基础场景
• 字节范围请求：验证爬虫对字节范围请求的处理能力（参考OpenWayback相关issue：https://github.com/iipc/openwayback/pull/263%EF%BC%89
• 206 Partial Content：测试爬虫对部分内容响应的处理（参考示例：https://github.com/ikreymer/pywb/issues/144%EF%BC%89

组件（Components）

acid-simple-resources

简单的Java Web应用，提供各类静态测试资源，支持模拟不同类型的Web内容。

acid-crawl-selftest

简单的测试系统，展示如何启动测试服务器并请求资源，可作为测试流程的参考实现。

使用场景和适用范围

• Web档案爬虫（如Heritrix3）的功能测试与验证
• 爬虫对特殊HTTP响应（如206 Partial Content）和字节范围请求的处理能力评估
• 爬虫在异常服务器行为下的稳定性测试
• Web档案相关工具和系统的兼容性验证

模拟不良服务器行为

为测试爬虫在恶劣环境下的表现，可模拟不良行为服务器：

原方案（基于cynic）

最初计划通过代理部分请求至cynic（https://github.com/rspivak/cynic%EF%BC%89%E5%AE%9E%E7%8E%B0%EF%BC%8C%E4%BD%86cynic%E4%BE%9D%E8%B5%96%E7%9A%84select.poll()%E5%8A%9F%E8%83%BD%E5%9C%A8OS X下存在兼容性问题（cynic使用监视文件实现服务器套接字，每个请求生成子进程，导致逻辑复杂）。

安装命令：

bash
pip install bottle cynic wsgiproxy

替代方案（基于hamms）

建议使用hamms（https://github.com/kevinburke/hamms%EF%BC%89%EF%BC%8C%E6%8F%90%E4%BE%9B%E7%B1%BB%E4%BC%BC%E5%8A%9F%E8%83%BD%E4%B8%94%E5%AE%9E%E7%8E%B0%E6%9B%B4%E7%AE%80%E5%8D%95%E3%80%82

组件使用说明

acid-simple-resources

作为测试资源服务器，启动后可提供各类静态资源用于爬虫测试。具体使用需结合Docker容器启动命令，映射相应端口并访问测试资源。

acid-crawl-selftest

作为测试演示系统，可通过其示例代码了解如何集成测试服务器、发起资源请求及验证结果，帮助构建自定义测试流程。

依赖项目

• warcprox：https://github.com/internetarchive/warcprox%EF%BC%88%E7%94%A8%E4%BA%8E%E8%AE%B0%E5%BD%95%E7%88%AC%E5%8F%96%E8%BF%87%E7%A8%8B%EF%BC%89
• JavaScript测试：[***]