scrapinghub/scrapyrt

Scrapyrt (Scrapy realtime)

镜像概述和主要用途

Scrapyrt是一个HTTP服务器，旨在为Scrapy项目提供实时API接口。它允许用户通过HTTP请求调度Scrapy爬虫、发起爬取请求，并以JSON格式获取爬虫输出结果。该工具可无缝集成到现有Scrapy项目中，无需修改项目核心代码，即可快速为Scrapy项目添加API访问能力。

核心功能和特性

• HTTP API支持：提供直观的HTTP接口，用于调度爬虫和发起爬取请求
• 完整Scrapy兼容性：原生支持所有Scrapy项目组件，包括中间件、管道、扩展等
• JSON输出：爬虫结果以JSON格式返回，便于数据解析和集成
• 零侵入集成：无需修改现有Scrapy项目代码，直接在项目目录中运行即可启用API
• 轻量部署：作为独立服务运行，资源占用低，易于部署和维护

使用场景和适用范围

• 需要通过API接口远程调度Scrapy爬虫的场景
• 需将Scrapy爬虫集成到Web应用、移动应用或其他系统的项目
• 要求实时获取爬虫结果并进行后续处理的应用
• 希望为Scrapy项目提供外部访问接口的开发和生产环境

使用方法和配置说明

基本使用流程

1. 将Scrapyrt部署到Scrapy项目目录
2. 启动Scrapyrt HTTP服务器
3. 通过HTTP API调度爬虫并获取结果

Docker部署示例

基本运行命令

bash
docker run -v /path/to/your/scrapy/project:/app -p 9080:9080 scrapyrt

• -v /path/to/your/scrapy/project:/app：将本地Scrapy项目目录挂载到容器内的/app目录
• -p 9080:9080：将容器的9080端口映射到主机的9080端口（Scrapyrt默认端口）

自定义配置运行

如需指定自定义端口或配置文件：

bash
docker run -v /path/to/your/scrapy/project:/app -v /path/to/custom/config:/config -p 8080:8080 scrapyrt scrapyrt --port 8080 --config /config/scrapyrt.conf

API使用示例

调度爬虫

http
GET http://localhost:9080/crawl.json?spider_name=my_spider&url=http://example.com

• spider_name：要运行的爬虫名称
• url：要爬取的目标URL

响应示例

json
{
  "status": "ok",
  "items": [
    {"title": "Example Domain", "url": "http://example.com"}
  ],
  "stats": {
    "downloader/request_count": 1,
    "item_scraped_count": 1
  }
}

文档和支持

官方文档

完整文档请访问：[***]

支持渠道

• 开源支持：通过GitHub Issues提供（需创建带有"question"标签的issue）
  • https://github.com/scrapinghub/scrapyrt/issues/new?labels=question
• 商业支持：由Scrapinghub提供专业商业支持
  • Scrapinghub官网