ten7/website-archiver

Website Archiver

通过Docker和HTTrack轻松将任何公开可访问的网站本地归档的工具。

配置站点

该镜像使用单一YAML文件website-archiver.yml指定需要备份的站点及配置方式。

yaml
webarchiver_sites:
  - site: "https://example.com"
    dest: "/public/example.com"

参数说明：

• site：站点URL，必填。
• dest：容器内保存归档文件的路径，必填。

如需归档多个站点，添加更多条目即可：

yaml
webarchiver_sites:
  - site: "https://example.com"
    dest: "/public/example.com"
  - site: "https://example.net"
    dest: "/public/example.net"

指定额外URL模式

可通过additional_url_patterns包含额外的URL模式（如CSS、JS或媒体文件）：

yaml
webarchiver_sites:
  - site: "https://example.com"
    dest: "/public/example.com"
    additional_url_patterns:
      - "+https://example.com/*"
      - "+*.css"
      - "+*.js"
      - "+mime:image/*"
      - "+mime:video/*"
      - "+mime:audio/*"

参数说明：

• additional_url_patterns：需包含的归档URL模式列表，可选，默认包含CSS、JS及媒体文件。

若仅需爬取站点的特定文件夹（如https://example.com/folder），可在additional_url_patterns中指定：

yaml
  - site: "https://example.com/folder"
    dest: "/public/example.com"
    additional_url_patterns:
      - "+https://example.com/folder/*"
      - "+*.css"
      - "+*.js"
      - "+mime:image/*"
      - "+mime:video/*"
      - "+mime:audio/*"

控制爬取深度

通过max_links控制归档时跟随链接的最大深度：

yaml
webarchiver_sites:
  - site: "https://example.com"
    dest: "/public/example.com"
    max_links: 500000

参数说明：

• max_links：最大链接深度，可选，默认值为500000。注意：设置过低可能导致归档失败。

遵循robots.txt

使用follow_robots_txt指定是否遵循robots.txt和元标签中的链接规则：

yaml
webarchiver_sites:
  - site: "https://example.com"
    dest: "/public/example.com"
    follow_robot_txt: "never"

取值说明：

• never：从不遵循（默认）。
• sometimes：遵循部分链接（详见HTTrack文档）。
• always：遵循更多链接。
• even strict：即使严格禁止的链接也遵循。

其他选项

可通过以下选项进一步控制归档过程：

yaml
webarchiver_sites:
  - site: "https://example.com"
    dest: "/public/example.com"
    extra_log: yes
    single_log: yes
    disable_security_limits: yes
    update: yes
    max_transfer_rate: 0
    max_links: 500000
    include_near_files: yes

参数说明：

• extra_log：写入额外日志信息，可选，默认yes。
• single_log：每个归档生成单个日志文件，可选，默认yes。
• disable_security_limits：绕过带宽滥用的内部限制，可选，默认yes。
• update：若已有归档则更新，可选，默认yes。
• max_transfer_rate：最大传输速率（字节/秒），可选，默认无限制。

使用镜像

Docker运行方式

首先创建website-archiver.yml（可参考website-archiver.yml.example模板），然后执行：

shell
docker run -it \
  --volume `pwd`/public:/public  \
  --volume `pwd`/website-archiver.yml:/config/httrack/website-archiver.yml \
  ten7/website-archiver

Docker Compose方式

使用包含的docker-compose.yml文件：

shell
docker-compose run httrack

调试

该容器使用Ansible执行启动任务。若需更详细的启动脚本输出，设置环境变量ANSIBLE_VERBOSITY=4。

若容器因入口点失败无法启动，设置WEBARCHIVER_SKIP_ENTRYPOINT=true或1后重启容器。

Gitlab Pages托管

提供.gitlab-ci.yml.example示例文件，可用于将归档到默认/public文件夹的站点通过Gitlab Pages托管。只需复制该文件并推送至Gitlab仓库即可。

许可证

Website Archiver采用GPLv3许可证，详见LICENSE文件。