本站面向开发者与科研用户，提供开源镜像的搜索和下载加速服务。
所有镜像均来源于原始开源仓库，本站不存储、不修改、不传播任何镜像内容。
轩辕镜像 - 国内开发者首选的专业 Docker 镜像下载加速服务平台 - 官方QQ群:13763429 👈点击免费获得技术支持。
本站面向开发者与科研用户，提供开源镜像的搜索和下载加速服务。所有镜像均来源于原始开源仓库，本站不存储、不修改、不传播任何镜像内容。
本站面向开发者与科研用户，提供开源镜像的搜索和下载加速服务。所有镜像均来源于原始开源仓库，本站不存储、不修改、不传播任何镜像内容。
本站支持搜索的镜像仓库：Docker Hub、gcr.io、ghcr.io、quay.io、k8s.gcr.io、registry.gcr.io、elastic.co、mcr.microsoft.com
crab Docker 镜像下载 - 轩辕镜像
crab 镜像详细信息和使用指南
crab 镜像标签列表和版本信息
crab 镜像拉取命令和加速下载
crab 镜像使用说明和配置指南
Docker 镜像加速服务 - 轩辕镜像平台
国内开发者首选的 Docker 镜像加速平台
极速拉取 Docker 镜像服务
相关 Docker 镜像推荐
热门 Docker 镜像下载
atomicptr/crab
crab 镜像详细信息
crab 镜像标签列表
crab 镜像使用说明
crab 镜像拉取命令
Docker 镜像加速服务
轩辕镜像平台优势
镜像下载指南
相关 Docker 镜像推荐
一个多功能工具，可从给定来源（如站点地图或URL列表）爬取多个URL。
0 次下载activeatomicptr镜像
crab 镜像详细说明
crab 使用指南
crab 配置说明
crab 官方文档
镜像概述
该Docker镜像封装了一个多功能URL爬取工具，旨在从指定来源（如站点地图（sitemap）或URL列表文件）批量获取URL。适用于需要高效、便捷地收集多个URL的场景，提供灵活的爬取能力以满足不同来源的URL获取需求。
核心功能和特性
- 多来源支持：兼容站点地图（sitemap.xml）和URL列表文件作为输入来源
- 批量爬取能力：支持一次性爬取多个URL，提高数据收集效率
- 轻量便捷：通过Docker容器化部署，无需复杂环境配置，开箱即用
- 灵活输出：可将爬取结果输出至文件或标准输出，便于后续处理
使用场景和适用范围
- 网站管理：网站管理员需快速获取站点内所有URL进行审计或更新
- 开发测试：开发者收集目标URL用于接口测试、数据采集或爬虫前置准备
- SEO分析：SEO人员从站点地图中提取URL进行关键词分析或链接检查
- 数据收集：需要批量获取指定来源URL的各类自动化任务场景
使用方法和配置说明
基本使用命令
通过Docker运行容器，指定输入来源类型和路径，即可启动URL爬取：
docker run --rm -v /本地输入输出目录:/data [镜像名称] --source-type <来源类型> --input /data/<输入文件> --output /data/<输出文件>
参数说明
| 参数 | 类型 | 描述 | 是否必填 |
|---|---|---|---|
--source-type | 字符串 | 指定输入来源类型，支持sitemap（站点地图）或url-list（URL列表文件） | 是 |
--input | 字符串 | 输入文件在容器内的路径（需通过-v挂载本地目录至容器内目录，如/data） | 是 |
--output | 字符串 | 输出文件在容器内的路径（结果将保存至该文件，默认输出至标准输出） | 否 |
--concurrency | 整数 | 爬取并发数，控制同时处理的URL数量（默认值：5） | 否 |
部署示例
示例1：从站点地图爬取URL并输出至文件
假设本地当前目录下有站点地图文件sitemap.xml，需将结果保存至urls.txt：
# 挂载当前目录至容器的/data目录，指定来源类型为sitemap，输入文件为/data/sitemap.xml，输出至/data/urls.txt docker run --rm -v $(pwd):/data [镜像名称] --source-type sitemap --input /data/sitemap.xml --output /data/urls.txt
示例2：从URL列表文件爬取并输出至标准输出
本地当前目录下有URL列表文件url_list.txt（每行一个URL），直接查看爬取结果：
# 挂载当前目录至/data，指定来源类型为url-list，输入文件为/data/url_list.txt，不指定输出（默认标准输出） docker run --rm -v $(pwd):/data [镜像名称] --source-type url-list --input /data/url_list.txt
注意事项
- 输入文件需确保格式正确：站点地图需符合XML标准，URL列表文件需每行包含一个有效URL
- 通过
-v参数挂载本地目录时，确保本地目录有读写权限，避免容器内文件操作失败 - 可通过
--concurrency参数调整并发数，根据网络环境和目标服务器限制合理设置，避免请求过于频繁导致被限制访问
常见问题
轩辕镜像免费版与专业版有什么区别？
免费版仅支持 Docker Hub 加速，不承诺可用性和速度；专业版支持更多镜像源，保证可用性和稳定速度，提供优先客服响应。
轩辕镜像免费版与专业版有分别支持哪些镜像？
免费版仅支持 docker.io；专业版支持 docker.io、gcr.io、ghcr.io、registry.k8s.io、nvcr.io、quay.io、mcr.microsoft.com、docker.elastic.co 等。
流量耗尽错误提示
当返回 402 Payment Required 错误时，表示流量已耗尽，需要充值流量包以恢复服务。
410 错误问题
通常由 Docker 版本过低导致，需要升级到 20.x 或更高版本以支持 V2 协议。
manifest unknown 错误
先检查 Docker 版本，版本过低则升级；版本正常则验证镜像信息是否正确。
镜像拉取成功后，如何去掉轩辕镜像域名前缀？
使用 docker tag 命令为镜像打上新标签，去掉域名前缀，使镜像名称更简洁。
轩辕镜像下载加速使用手册
探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式
登录方式进行 Docker 镜像下载加速教程
通过 Docker 登录方式配置轩辕镜像加速服务，包含7个详细步骤
Linux Docker 镜像下载加速教程
在 Linux 系统上配置轩辕镜像源，支持主流发行版
Windows/Mac Docker 镜像下载加速教程
在 Docker Desktop 中配置轩辕镜像加速，适用于桌面系统
Docker Compose 镜像下载加速教程
在 Docker Compose 中使用轩辕镜像加速，支持容器编排
K8s containerd 镜像下载加速教程
在 k8s 中配置 containerd 使用轩辕镜像加速
宝塔面板 Docker 镜像下载加速教程
在宝塔面板中配置轩辕镜像加速，提升服务器管理效率
群晖 NAS Docker 镜像下载加速教程
在 Synology 群晖NAS系统中配置轩辕镜像加速
飞牛fnOS Docker 镜像下载加速教程
在飞牛fnOS系统中配置轩辕镜像加速
极空间 NAS Docker 镜像下载加速教程
在极空间NAS中配置轩辕镜像加速
爱快路由 ikuai Docker 镜像下载加速教程
在爱快ikuai系统中配置轩辕镜像加速
绿联 NAS Docker 镜像下载加速教程
在绿联NAS系统中配置轩辕镜像加速
威联通 NAS Docker 镜像下载加速教程
在威联通NAS系统中配置轩辕镜像加速
Podman Docker 镜像下载加速教程
在 Podman 中配置轩辕镜像加速，支持多系统
ghcr、Quay、nvcr、k8s、gcr 等仓库下载镜像加速教程
配置轩辕镜像加速9大主流镜像仓库，包含详细配置步骤
专属域名方式进行 Docker 镜像下载加速教程
无需登录即可使用轩辕镜像加速服务，更加便捷高效
需要其他帮助？请查看我们的 常见问题 或 官方QQ群: 13763429