iipc/heritrix Docker 镜像 - 轩辕镜像
iipc/heritrixiipc
Heritrix是一款开源、可扩展、支持网络级规模的档案级网页爬虫Docker镜像，用于大规模网页抓取与归档。
0 次下载
Heritrix Docker镜像
镜像概述和主要用途
Heritrix Docker镜像是基于Heritrix Maven发布二进制文件，通过构建脚本构建的容器化部署方案。该镜像提供了便捷的方式运行Heritrix网页爬虫，适用于需要进行网络级规模网页抓取和档案级数据归档的场景。问题反馈或贡献请提交至Heritrix Github仓库。
核心功能和特性
- 开源特性：基于开源项目构建，支持自定义扩展和二次开发
- 可扩展性：支持通过模块扩展功能，满足不同抓取需求
- 网络级规模：具备高效处理大规模网页抓取任务的能力
- 档案级质量：确保抓取数据的完整性和长期可访问性
- 容器化部署：简化环境配置，支持快速启动和资源隔离
使用场景和适用范围
- 数字档案馆或图书馆的网页资源归档
- 科研机构大规模网络数据采集与分析
- 企业网站内容备份与历史版本追踪
- 需要定期抓取并保存网页内容的自动化任务
- 网络信息监测与数据聚合平台
详细的使用方法和配置说明
基本使用示例
以下命令可快速启动Heritrix容器：
shellmkdir jobs # 创建本地任务目录 docker run --init --rm -d \ -p 8443:8443 \ # 映射Web管理界面端口 -e "USERNAME=admin" \ # 设置管理员用户名 -e "PASSWORD=admin" \ # 设置管理员密码 -v ./jobs:/opt/heritrix/jobs \ # 挂载任务目录（持久化任务数据） iipc/heritrix # 镜像名称
参数说明：
--init：使用init进程管理容器内进程，确保信号正确传递--rm：容器停止后自动删除容器文件-d：后台运行容器-p 8443:8443：将容器内8443端口（Web管理界面）映射到主机8443端口-e "USERNAME=admin"：设置Web管理界面管理员用户名-e "PASSWORD=admin"：设置Web管理界面管理员密码-v ./jobs:/opt/heritrix/jobs：挂载本地jobs目录到容器内，用于持久化存储抓取任务数据
扩展说明
更多详细操作指南请参考Heritrix操作手册中的Docker运行章节。使用前请务必阅读安全注意事项。
可用标签
标准发行版（Standard Distribution）
latest：最新稳定版本3.10.0：3.10.0版本3.4.0-20210923：20210923发布的3.4.0版本
Contrib发行版（含额外贡献模块）
Contrib发行版包含部分额外贡献模块，标签如下：
contrib：最新contrib版本3.4.0-20210923-contrib：20210923发布的3.4.0-contrib版本
轩辕镜像配置手册
探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式
登录仓库拉取
通过 Docker 登录认证访问私有仓库
Linux
在 Linux 系统配置镜像服务
Windows/Mac
在 Docker Desktop 配置镜像
Docker Compose
Docker Compose 项目配置
K8s Containerd
Kubernetes 集群配置 Containerd
K3s
K3s 轻量级 Kubernetes 镜像加速
Dev Containers
VS Code Dev Containers 配置
MacOS OrbStack
MacOS OrbStack 容器配置
宝塔面板
在宝塔面板一键配置镜像
群晖
Synology 群晖 NAS 配置
飞牛
飞牛 fnOS 系统配置镜像
极空间
极空间 NAS 系统配置服务
爱快路由
爱快 iKuai 路由系统配置
绿联
绿联 NAS 系统配置镜像
威联通
QNAP 威联通 NAS 配置
Podman
Podman 容器引擎配置
Singularity/Apptainer
HPC 科学计算容器配置
其他仓库配置
ghcr、Quay、nvcr 等镜像仓库
专属域名拉取
无需登录使用专属域名
需要其他帮助？请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
镜像拉取常见问题
轩辕镜像免费版与专业版有什么区别？
免费版仅支持 Docker Hub 访问，不承诺可用性和速度；专业版支持更多镜像源，保证可用性和稳定速度，提供优先客服响应。
轩辕镜像支持哪些镜像仓库？
专业版支持 docker.io、gcr.io、ghcr.io、registry.k8s.io、nvcr.io、quay.io、mcr.microsoft.com、docker.elastic.co 等；免费版仅支持 docker.io。
流量耗尽错误提示
当返回 402 Payment Required 错误时，表示流量已耗尽，需要充值流量包以恢复服务。
410 错误问题
通常由 Docker 版本过低导致，需要升级到 20.x 或更高版本以支持 V2 协议。
manifest unknown 错误
先检查 Docker 版本，版本过低则升级；版本正常则验证镜像信息是否正确。
镜像拉取成功后，如何去掉轩辕镜像域名前缀？
使用 docker tag 命令为镜像打上新标签，去掉域名前缀，使镜像名称更简洁。
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"
咨询镜像拉取问题请 提交工单，官方技术交流群：1072982923
轩辕镜像面向开发者与科研用户，提供开源镜像的搜索和访问支持。所有镜像均来源于原始仓库，本站不存储、不修改、不传播任何镜像内容。