umihico/aws-lambda-selenium-python

docker-selenium-lambda 镜像文档

镜像概述

docker-selenium-lambda 是一个轻量级Docker镜像，专为在AWS Lambda无服务器环境中运行Selenium设计。基于 python:3.9-slim 构建，集成了Chrome浏览器和匹配版本的chromedriver，支持headless模式运行，解决了Lambda环境中缺乏浏览器运行时的问题，使开发者能够在无服务器架构下轻松实现网页自动化和数据采集。

核心功能与特性

• 完整浏览器环境：内置Chrome浏览器（headless模式）和chromedriver，无需额外配置浏览器依赖
• Lambda兼容性：针对AWS Lambda运行时优化，适配Lambda的资源限制和执行模型
• Python支持：基于Python 3.9，兼容标准Selenium Python API，降低开发门槛
• 轻量级设计：采用slim基础镜像，最小化镜像体积，加速Lambda冷启动
• 灵活配置：支持自定义Chrome启动参数，满足不同场景下的网页渲染需求

使用场景

• 无服务器网页抓取：定时或触发式抓取需要JavaScript渲染的动态网页数据
• 自动化UI测试：在CI/CD流程中通过Lambda执行轻量级Selenium测试用例
• 动态内容生成：生成包含JavaScript渲染内容的网页截图或PDF
• 监控告警：监控网页元素变化（如价格、库存状态）并触发通知
• API后端增强：为API提供动态网页内容解析能力

使用方法与配置说明

前提条件

• Docker Engine (20.10+)
• AWS CLI（已配置访问凭证）
• AWS账户（拥有ECR和Lambda操作权限）
• Python 3.9+（本地开发调试）

镜像构建与部署

1. 构建镜像

bash
# 克隆仓库
git clone https://github.com/umihico/docker-selenium-lambda.git
cd docker-selenium-lambda

# 构建镜像
docker build -t docker-selenium-lambda .

2. 推送到AWS ECR

bash
# 创建ECR仓库（如未创建）
aws ecr create-repository --repository-name docker-selenium-lambda --region us-east-1

# 登录ECR
aws ecr get-login-password --region us-east-1 | docker login --username AWS --password-stdin <your-aws-account-id>.dkr.ecr.us-east-1.amazonaws.com

# 标记镜像
docker tag docker-selenium-lambda:latest <your-aws-account-id>.dkr.ecr.us-east-1.amazonaws.com/docker-selenium-lambda:latest

# 推送镜像
docker push <your-aws-account-id>.dkr.ecr.us-east-1.amazonaws.com/docker-selenium-lambda:latest

3. 在Lambda中创建函数

1. 登录AWS Lambda控制台，创建新函数，选择"容器镜像"作为运行时
2. 选择"从ECR中拉取"，选择已推送的镜像仓库和标签
3. 配置函数内存（建议至少1024MB）和超时时间（最长15分钟）
4. 设置执行角色权限（需包含CloudWatch Logs写入权限）

环境变量配置

使用示例

示例1：基本网页截图

创建Lambda处理函数代码（app.py）：

python
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import os
import base64

def lambda_handler(event, context):
    # 配置Chrome选项
    chrome_options = Options()
    custom_options = os.getenv("CHROME_OPTIONS", "").split(",")
    for option in custom_options:
        if option:
            chrome_options.add_argument(option)
    
    # 初始化浏览器
    driver = webdriver.Chrome(options=chrome_options)
    try:
        # 访问目标网页
        driver.get("https://example.com")
        # 截取全屏
        screenshot = driver.get_screenshot_as_png()
        return {
            "statusCode": 200,
            "body": base64.b64encode(screenshot).decode("utf-8"),
            "headers": {"Content-Type": "image/png"}
        }
    finally:
        driver.quit()

示例2：docker-compose本地调试

创建docker-compose.yml：

yaml
version: '3'
services:
  selenium-lambda:
    build: .
    environment:
      - CHROME_OPTIONS=--headless,--disable-gpu,--no-sandbox
      - SELENIUM_TIMEOUT=60
    volumes:
      - ./app.py:/var/task/app.py
    command: python -c "from app import lambda_handler; print(lambda_handler(None, None))"

运行调试：

bash
docker-compose up

注意事项

• Lambda函数内存建议配置为1024MB以上，避免Chrome运行时内存不足
• 执行时间受Lambda限制（最长15分钟），不适合超长时间运行的任务
• 网络访问需确保Lambda函数具有目标网站的访问权限（可配置VPC）
• 镜像更新时需重新构建并推送至ECR，然后在Lambda中更新函数镜像

参考链接

• https://github.com/umihico/docker-selenium-lambda
• AWS Lambda容器镜像支持
• Selenium Python文档