webrecorder/pywb

pywb 镜像文档

镜像概述和主要用途

pywb是一个支持Python 2和3的网络归档工具包，旨在尽可能准确地回放大小网络档案，并具备创建高保真网络档案的功能。该工具集是Webrecorder项目的核心基础，同时也作为通用网络归档工具包被其他网络档案项目采用，提供传统“Wayback Machine”（时光机）式的功能。

核心功能和特性

主要特性

2.x版本对pywb进行了重大升级，引入以下关键功能：

• 动态多集合配置系统：支持无重启更新配置。
• 新录制功能：可从实时网络或其他档案创建新的网络档案。
• 组件化架构：包含独立的Warcserver、Recorder和Rewriter组件。
• Memento API聚合支持：支持查询多个远程和本地归档源的回退链。
• HTTP/S代理模式：配备可定制证书机构，用于代理模式下的录制与回放。
• 灵活的重写系统：支持针对不同内容类型的可插拔重写器。
• 独立客户端重写系统：集成wombat.js，可处理大多数现代网站。
• 改进的日历查询UI：支持增量加载，按年/月分组结果，并更新回放横幅。
• 可扩展UI定制系统（2.4版本新增）：支持修改UI的所有方面。
• 访问控制系统（2.4版本新增）：支持按前缀或精确匹配阻止/排除URL。

使用场景和适用范围

pywb适用于以下场景：

• 网络档案回放：准确还原已归档的网页内容，支持大小型档案。
• 网络档案创建：从实时网络或现有档案录制新的高保真网络档案。
• 通用工具集成：作为网络归档工具包集成到其他Web存档项目中。
• 多源查询支持：通过Memento API聚合多个远程和本地归档源。
• 传统时光机功能：提供类似“Wayback Machine”的网页历史存档服务。

使用方法和配置说明

基本使用

本地运行参考（非Docker环境）

1. 安装：python setup.py install
2. 运行测试：python setup.py test
3. 启动服务：wayback（需先配置集合，详见官方文档）

Docker镜像使用示例

基本运行命令（假设镜像名称为webrecorder/pywb）：

bash
docker run -d -p 8080:8080 webrecorder/pywb wayback

启动后可通过http://localhost:8080访问服务。

配置说明

配置文件挂载

pywb支持通过配置文件自定义集合、访问控制等参数，可通过挂载本地配置文件实现：

bash
docker run -d -p 8080:8080 -v /本地配置路径:/app/config webrecorder/pywb wayback --config /app/config/config.yaml

关键配置选项

• 多集合配置：通过YAML文件定义多个档案集合，支持动态更新
• 录制参数：配置录制来源（实时网络/其他档案）、存储路径等
• 访问控制：设置URL阻止规则，支持前缀或精确匹配
• 代理设置：配置HTTP/S代理模式及证书参数

详细配置说明请参考官方文档。

贡献与问题反馈

鼓励用户通过GitHub贡献代码改进工具，可通过https://github.com/webrecorder/pywb/issues%E6%8F%90%E4%BA%A4%E9%97%AE%E9%A2%98%E5%8F%8D%E9%A6%88%EF%BC%8C%E6%B6%B5%E7%9B%96%E5%8A%9F%E8%83%BD%E7%BC%BA%E9%99%B7%E3%80%81%E4%BD%BF%E7%94%A8%E9%97%AE%E9%A2%98%E5%8F%8A%E6%96%87%E6%A1%A3%E6%94%B9%E8%BF%9B%E7%AD%89%E6%96%B9%E9%9D%A2%E3%80%82