scrapinghub/scrapinghub-image-casperjs

scrapinghub-image-casperjs

镜像概述

scrapinghub-image-casperjs是Scrapinghub推荐的CasperJS爬虫基础Docker镜像，专为在Scrapinghub平台上运行CasperJS爬虫设计，提供了便捷的环境配置和参数处理工具。

核心功能与特性

shub-exec工具

shub-exec是核心工具，主要功能包括：

• 将项目和爬虫设置转换为环境变量
• 将作业参数转换为CasperJS命令行选项
• 在执行爬虫脚本前，从SHUB_SETTINGS环境变量加载配置，从SHUB_JOB_DATA环境变量解析作业参数

使用场景

适用于在Scrapinghub平台上开发和运行CasperJS爬虫的场景，特别是需要动态处理环境配置和作业参数的爬虫任务。

使用方法与配置说明

start-crawl脚本配置

shub-exec通常在http://shub.readthedocs.io/en/latest/custom-images-contract.html#contract-statements%E8%84%9A%E6%9C%AC%E4%B8%AD%E4%BD%9C%E4%B8%BA%E6%9C%80%E5%90%8E%E5%91%BD%E4%BB%A4%E4%BD%BF%E7%94%A8%EF%BC%8C%E7%94%A8%E4%BA%8E%E6%89%A7%E8%A1%8C%E5%AE%9E%E9%99%85%E7%9A%84%E7%88%AC%E8%99%AB%E8%84%9A%E6%9C%AC%E3%80%82

示例start-crawl脚本

bash
#!/bin/sh
exec shub-exec -- casperjs --debug /app/$SHUB_SPIDER

使用说明

• 参数分隔：必须在shub-exec和后续命令之间使用--，以区分shub-exec选项和爬虫脚本选项
• 环境变量注入：作业设置（如LOGLEVEL=DEBUG）会被转换为环境变量，在CasperJS进程中可用
• 参数转换：作业参数（如url=http://scrapinghub.com）会被转换为CasperJS命令行选项

运行示例

若爬虫名称为simple.js，作业参数为url=http://scrapinghub.com，上述脚本将执行：

bash
casperjs --debug /app/simple.js --url=http://scrapinghub.com

若作业设置了LOGLEVEL=DEBUG，则CasperJS进程可通过环境变量LOGLEVEL获取该值。