热门搜索:
atomicptr/crab
atomicptr
一个多功能工具，可从给定来源（如站点地图或URL列表）爬取多个URL。
下载次数: 0状态：社区镜像维护者：atomicptr仓库类型：镜像最近更新：7 个月前
镜像概述
该Docker镜像封装了一个多功能URL爬取工具，旨在从指定来源（如站点地图（sitemap）或URL列表文件）批量获取URL。适用于需要高效、便捷地收集多个URL的场景，提供灵活的爬取能力以满足不同来源的URL获取需求。
核心功能和特性
- 多来源支持：兼容站点地图（sitemap.xml）和URL列表文件作为输入来源
- 批量爬取能力：支持一次性爬取多个URL，提高数据收集效率
- 轻量便捷：通过Docker容器化部署，无需复杂环境配置，开箱即用
- 灵活输出：可将爬取结果输出至文件或标准输出，便于后续处理
使用场景和适用范围
- 网站管理：网站管理员需快速获取站点内所有URL进行审计或更新
- 开发测试：开发者收集目标URL用于接口测试、数据采集或爬虫前置准备
- SEO分析：SEO人员从站点地图中提取URL进行关键词分析或链接检查
- 数据收集：需要批量获取指定来源URL的各类自动化任务场景
使用方法和配置说明
基本使用命令
通过Docker运行容器，指定输入来源类型和路径，即可启动URL爬取：
bashdocker run --rm -v /本地输入输出目录:/data [镜像名称] --source-type <来源类型> --input /data/<输入文件> --output /data/<输出文件>
参数说明
| 参数 | 类型 | 描述 | 是否必填 |
|---|---|---|---|
--source-type | 字符串 | 指定输入来源类型，支持sitemap（站点地图）或url-list（URL列表文件） | 是 |
--input | 字符串 | 输入文件在容器内的路径（需通过-v挂载本地目录至容器内目录，如/data） | 是 |
--output | 字符串 | 输出文件在容器内的路径（结果将保存至该文件，默认输出至标准输出） | 否 |
--concurrency | 整数 | 爬取并发数，控制同时处理的URL数量（默认值：5） | 否 |
部署示例
示例1：从站点地图爬取URL并输出至文件
假设本地当前目录下有站点地图文件sitemap.xml，需将结果保存至urls.txt：
bash# 挂载当前目录至容器的/data目录，指定来源类型为sitemap，输入文件为/data/sitemap.xml，输出至/data/urls.txt docker run --rm -v $(pwd):/data [镜像名称] --source-type sitemap --input /data/sitemap.xml --output /data/urls.txt
示例2：从URL列表文件爬取并输出至标准输出
本地当前目录下有URL列表文件url_list.txt（每行一个URL），直接查看爬取结果：
bash# 挂载当前目录至/data，指定来源类型为url-list，输入文件为/data/url_list.txt，不指定输出（默认标准输出） docker run --rm -v $(pwd):/data [镜像名称] --source-type url-list --input /data/url_list.txt
注意事项
- 输入文件需确保格式正确：站点地图需符合XML标准，URL列表文件需每行包含一个有效URL
- 通过
-v参数挂载本地目录时，确保本地目录有读写权限，避免容器内文件操作失败 - 可通过
--concurrency参数调整并发数，根据网络环境和目标服务器限制合理设置，避免请求过于频繁导致被限制访问
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
DockerHub 原生拉取命令
docker pull atomicptr/crab:<标签>
轩辕镜像配置手册
探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式
Docker 配置
登录仓库拉取
通过 Docker 登录认证访问私有仓库
专属域名拉取
无需登录使用专属域名
K8s Containerd
Kubernetes 集群配置 Containerd
K3s
K3s 轻量级 Kubernetes 镜像加速
Dev Containers
VS Code Dev Containers 配置
Podman
Podman 容器引擎配置
Singularity/Apptainer
HPC 科学计算容器配置
其他仓库配置
ghcr、Quay、nvcr 等镜像仓库
Harbor 镜像源配置
Harbor Proxy Repository 对接专属域名
Portainer 镜像源配置
Portainer Registries 加速拉取
Nexus 镜像源配置
Nexus3 Docker Proxy 内网缓存
系统配置
需要其他帮助？请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
镜像拉取常见问题
使用与功能问题
配置了专属域名后，docker search 为什么会报错？
docker search 限制
Docker Hub 上有的镜像，为什么在轩辕镜像网站搜不到？
站内搜不到镜像
机器不能直连外网时，怎么用 docker save / load 迁镜像？
离线 save/load
docker pull 拉插件报错（plugin v1+json）怎么办？
插件要用 plugin install
WSL 里 Docker 拉镜像特别慢，怎么排查和优化？
WSL 拉取慢
轩辕镜像安全吗？如何用 digest 校验镜像没被篡改？
安全与 digest
第一次用轩辕镜像拉 Docker 镜像，要怎么登录和配置？
新手拉取配置
轩辕镜像合规吗？轩辕镜像的合规是怎么做的？
镜像合规机制
错误码与失败问题
docker pull 提示 manifest unknown 怎么办？
manifest unknown
docker pull 提示 no matching manifest 怎么办？
no matching manifest（架构）
镜像已拉取完成，却提示 invalid tar header 或 failed to register layer 怎么办？
invalid tar header（解压）
Docker pull 时 HTTPS / TLS 证书验证失败怎么办？
TLS 证书失败
Docker pull 时 DNS 解析超时或连不上仓库怎么办？
DNS 超时
docker 无法连接轩辕镜像域名怎么办？
域名连通性排查
Docker 拉取出现 410 Gone 怎么办？
410 Gone 排查
出现 402 或「流量用尽」提示怎么办？
402 与流量用尽
Docker 拉取提示 UNAUTHORIZED（401）怎么办？
401 认证失败
遇到 429 Too Many Requests（请求太频繁）怎么办？
429 限流
docker login 提示 Cannot autolaunch D-Bus，还算登录成功吗？
D-Bus 凭证提示
为什么会出现「单层超过 20GB」或 413，无法加速拉取？
413 与超大单层
账号 / 计费 / 权限
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"