clikalia/upload-easybroker

镜像概述

本镜像为Scrapy爬虫项目的Builder镜像，用于构建自定义Scrapy项目镜像并运行爬虫任务，支持多项目标签化管理，简化爬虫部署流程。

核心功能

1. 构建基于Scrapy的自定义项目镜像
2. 支持多项目标签化（如habitaclia等）
3. 推送镜像到Docker Hub
4. 运行Scrapy爬虫命令

使用场景

适用于需要快速部署Scrapy爬虫的开发与运维场景，如数据采集、网页抓取等合法数据获取任务。

配置说明

1. 下载依赖

   • 克隆GitHub项目：git clone https://github.com/clikalia-admin/docker-builder-img-scrapy
   • 拉取基础镜像：docker pull clikalia/scrapy-base

2. 修改Dockerfile
   编辑Dockerfile第50行，指定Scrapy项目路径：

   sh
   WORKDIR /app/scrappers/<你的Scrapy项目名>
   

3. 构建镜像

   • 根项目构建：

     sh
     docker build -t clikalia/scrapy-base:latest .
     

   • 特定项目构建（如habitaclia）：

     sh
     docker build -t clikalia/scrapy-base:habitaclia .
     

   • 自定义标签构建：

     sh
     docker build -t clikalia/scrapy-base:<自定义标签> .
     

4. 推送镜像到Docker Hub

   sh
   docker login -u <你的Docker Hub用户名>
   docker push clikalia/scrapy-base
   

5. 运行爬虫

   • 运行habitaclia项目爬虫：

     sh
     docker run clikalia/scrapy-base:habitaclia scrapy crawl cerberus
     

   • 运行自定义标签项目爬虫：

     sh
     docker run clikalia/scrapy-base:<自定义标签> <Scrapy命令>