peterbuga/scrapy

peterbuga/scrapy镜像说明

镜像概述

该镜像基于badouralix/python-scrapy镜像构建，额外集成PyMySQL、pyyaml、python-dotenv、scrapy-redis和user_agent等常用库，简化Scrapy爬虫项目开发与部署流程，提供更丰富的功能支持。

核心功能

• 数据库连接：通过PyMySQL支持MySQL数据库操作，便于爬虫数据存储。
• 配置管理：利用pyyaml和python-dotenv实现配置文件与环境变量的灵活管理。
• 分布式爬虫：集成scrapy-redis，支持Redis分布式爬虫部署，提升数据采集效率。
• 反爬优化：通过user_agent库生成随机User-Agent，降低爬虫被反爬的风险。

使用场景

• 快速搭建Scrapy爬虫项目，完成常规数据采集任务。
• 开发分布式爬虫系统，处理大规模数据采集需求。
• 需要连接MySQL数据库存储爬虫结果的场景。

配置说明

1. 环境变量：通过.env文件或docker run -e参数设置数据库连接信息、Redis地址等。
2. Redis配置：如需分布式爬虫，需在Scrapy项目配置中指定Redis服务器地址及端口。

部署示例

Docker Run命令

bash
# 挂载本地Scrapy项目目录到容器/app，执行爬虫
docker run -v $(pwd)/my_scrapy_project:/app docker.xuanyuan.run/peterbuga/scrapy scrapy crawl my_spider

Docker Compose示例

yaml
version: '3'
services:
  scrapy:
    image: peterbuga/scrapy
    volumes:
      - ./my_scrapy_project:/app
    environment:
      - MYSQL_HOST=db
      - MYSQL_USER=root
      - MYSQL_PASSWORD=***
      - REDIS_HOST=redis
    depends_on:
      - db
      - redis
  db:
    image: mysql:5.7
    environment:
      - MYSQL_ROOT_PASSWORD=***
  redis:
    image: redis:alpine