scrapinghub/splash Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

Splash - JavaScript渲染服务

镜像概述

Splash是一个提供HTTP API的JavaScript渲染服务，本质上是一个轻量级浏览器，采用Python 3、Twisted和QT5实现。它具有快速、轻量和无状态的特点，便于分布式部署和扩展。

核心功能与特性

• JavaScript渲染：能够执行并渲染包含JavaScript的网页内容
• HTTP API：提供丰富的API接口，支持网页加载、截图、HTML提取等操作
• 轻量级设计：资源占用低，适合在各种环境中部署
• 无状态服务：每个请求独立处理，便于水平扩展
• 可脚本化：支持通过Lua脚本自定义页面交互和数据提取逻辑

使用场景

• 动态网页内容抓取（处理JavaScript生成的内容）
• 网页截图生成与自动化测试
• 与爬虫框架（如Scrapy）集成，增强动态内容爬取能力
• 模拟用户交互行为（点击、表单提交等）

使用方法

基本部署

通过Docker快速启动Splash服务：

bash
docker run -p 8050:8050 scrapinghub/splash

启动后，服务将在本地8050端口运行，可通过http://localhost:8050访问API。

与Scrapy集成

要在Scrapy中使用Splash，需配合scrapy-splash库：

1. 安装依赖：pip install scrapy-splash
2. 在Scrapy项目的settings.py中配置Splash服务地址：

python
SPLASH_URL = 'http://localhost:8050'
DOWNLOADER_MIDDLEWARES = {
    'scrapy_splash.SplashCookiesMiddleware': 723,
    'scrapy_splash.SplashMiddleware': 725,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
}
DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'

文档与支持

• 官方文档：[***]
• 开源支持：通过GitHub Issues提供支持，可创建问题
• 商业支持：由Scrapinghub提供商业支持服务