热门搜索:
cdrx/scrapyd-authenticated
自动构建
cdrx
带HTTP基本认证的Scrapyd镜像，用于安全部署和运行Scrapy爬虫，支持通过环境变量配置认证信息、安装依赖包及数据持久化。
8 次收藏下载次数: 0状态：自动构建维护者：cdrx仓库类型：镜像最近更新：6 年前
让 AI 帮你使用轩辕镜像？ · 展开查看说明
如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。
只需在 AI 对话中先发送下面这句话即可：
请先完整阅读并严格遵守以下文档中的全部规则与要求：
https://xuanyuan.cloud/agents.md
在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。查看 agents.md 用法指南与完整示范。国内用户首推 元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。 若 AI 无法访问外链，可 打开说明文档 复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。
带认证的Scrapyd镜像
镜像概述
Scrapyd是一款用于部署和运行Scrapy爬虫的应用，可通过JSON API上传项目并控制爬虫执行。本镜像在Scrapyd基础上添加了Nginx代理，提供HTTP基本认证功能，解决Scrapyd原生无密码保护的问题，认证信息通过环境变量配置。
核心功能
- 部署和管理Scrapy爬虫项目
- HTTP基本认证保护服务访问
- 支持通过环境变量安装额外Python依赖包
- 数据持久化（挂载卷保存爬虫数据）
使用场景
- 团队内部共享爬虫服务，需限制未授权访问
- 生产环境中部署Scrapy爬虫，确保服务安全性
- 需要快速配置依赖包的临时爬虫测试环境
配置说明
启动Scrapyd服务
console$ docker run -d -e USERNAME=my_username -e PASSWORD=your_password cdrx/scrapyd-authenticated
配置Scrapy客户端使用认证
在scrapy.cfg文件中添加认证信息：
[deploy] url = http://scrapyd:6800/ username = my_username password = your_password
然后使用Scrapyd客户端正常部署爬虫。
安装依赖包
通过PACKAGES环境变量指定需安装的Python包：
console$ docker run -d -e USERNAME=my_username -e PASSWORD=your_password -e PACKAGES=requests,simplejson cdrx/scrapyd-authenticated
支持的环境变量
| 变量名 | 是否必填 | 示例 | 描述 |
|---|---|---|---|
| USERNAME | 是 | my_user | 访问Scrapyd服务的用户名 |
| PASSWORD | 是 | your_password | 访问Scrapyd服务的密码 |
| PACKAGES | 否 | requests,simplejson | 启动前需安装的Python包（逗号分隔） |
数据持久化
挂载/scrapyd卷保存爬虫数据：
console$ docker run -d -e USERNAME=my_username -e PASSWORD=your_password -v /host/path:/scrapyd cdrx/scrapyd-authenticated
反馈
问题反馈
若遇到问题，请在https://github.com/cdrx/scrapyd-authenticated/issues%E6%8F%90%E4%BA%A4issue%E3%80%82
贡献
欢迎提交Pull Request参与改进。
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 scrapyd-authenticated 镜像标签
docker pull docker.xuanyuan.run/cdrx/scrapyd-authenticated:<标签>
DockerHub 原生拉取命令
docker pull cdrx/scrapyd-authenticated:<标签>
更多 scrapyd-authenticated 镜像推荐
itzg/grpc-authenticated-greeter
itzg
使用Go语言演示经过身份验证的gRPC通信的Docker镜像，用于学习和测试gRPC身份验证机制。
1 次收藏453 次下载
6 年前更新
vimagick/scrapyd
vimagick
一个开源协作框架，用于从网站提取所需数据，以快速、简单且可扩展的方式实现数据爬取，包含Scrapyd等工具支持项目部署和爬虫控制。
98 次收藏50万+ 次下载
2 年前更新
pagecog/scrapyd
pagecog
暂无描述
10万+ 次下载
6 年前更新
wattlebird/scrapyd
wattlebird
暂无描述
10万+ 次下载
3 年前更新
ryanvin/scrapydweb
ryanvin
Scrapydweb是Scrapyd的Web管理界面，支持集中管理多个Scrapyd服务器，提供任务监控、日志查看、爬虫部署等功能。
6 次收藏100万+ 次下载
6 年前更新
idrodriguez/scrapyd-auth
idrodriguez
该镜像提供带有nginx认证的Scrapy daemon服务，可保护爬虫后台访问安全，集成logparser支持ScrapydWeb管理，适用于私有爬虫服务部署场景。
1 次收藏5万+ 次下载
5 年前更新
镜像拉取常见问题
功能
错误码
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"