AWS Glue 5.0 Docker容器

镜像概述和主要用途

AWS Glue提供Docker容器镜像，使开发人员能够在本地开发环境中构建和测试ETL（抽取、转换、加载）作业。这些容器提供与AWS Glue服务高度相似的开发环境，主要用途包括：

• 确保团队成员间一致的开发体验
• 无需产生大量云成本即可开发和调试Glue作业
• 支持脚本开发和测试等多种开发工作流
• 与常见开发工具和IDE集成
• 提供与云环境相同的AWS Glue ETL库和依赖项

该容器同时支持批处理和流处理工作负载，可用于直接脚本开发和测试驱动开发方法。

核心功能和特性

• 基于Amazon Linux 2023构建
• 包含AWS Glue ETL库及Apache Spark 3.5.4-amzn-0
• 内置开放表格式库：
  • Apache Iceberg (1.7.1.amzn.1-1.amzn2023)
  • Apache Hudi (0.15.0.amzn.5-1.amzn2023)
  • Delta Lake (3.3.0.amzn.0-1.amzn2023)
• 支持x86_64和arm64两种架构

使用场景和适用范围

• 本地ETL脚本开发与调试
• 交互式PySpark代码编写与测试
• 使用PyTest进行ETL作业单元测试
• 验证ETL作业在不同架构（x86_64/arm64）上的兼容性
• 开发基于开放表格式（Iceberg/Hudi/Delta Lake）的ETL流程

注意：该容器仅适用于本地开发和测试环境，不应用于生产部署。

详细使用方法和配置说明

前提条件

• 已安装Docker引擎
• 本地AWS凭证配置（~/.aws目录）
• 适当的AWS权限（如需访问AWS资源）

Spark Submit（提交作业）

用于运行本地开发的Glue ETL脚本：

# 设置工作区和脚本路径
WORKSPACE_LOCATION=/本地工作区路径
SCRIPT_FILE_NAME=sample.py

# 使用spark-submit运行容器
docker run -it --rm \
    -v ~/.aws:/home/hadoop/.aws \          # 挂载AWS凭证
    -v $WORKSPACE_LOCATION:/home/hadoop/workspace/ \  # 挂载本地工作区
    -e AWS_PROFILE=$PROFILE_NAME \         # 指定AWS配置文件（可选）
    --name glue5_spark_submit \            # 容器名称
    public.ecr.aws/glue/aws-glue-libs:5 \  # 镜像名称
    spark-submit /home/hadoop/workspace/src/$SCRIPT_FILE_NAME  # 提交脚本路径

参数说明：

• -v ~/.aws:/home/hadoop/.aws：挂载本地AWS凭证目录，使容器能够访问AWS资源
• -v $WORKSPACE_LOCATION:/home/hadoop/workspace/：挂载本地工作区，使容器可访问ETL脚本
• -e AWS_PROFILE：指定要使用的AWS凭证配置文件（如本地配置了多个profile）
• --rm：容器退出后自动删除
• -it：交互式终端模式

PySpark REPL Shell（交互式开发）

启动交互式PySpark shell进行代码测试：

# 启动交互式PySpark shell
docker run -it --rm \
    -v ~/.aws:/home/hadoop/.aws \          # 挂载AWS凭证
    -e AWS_PROFILE=$PROFILE_NAME \         # 指定AWS配置文件（可选）
    --name glue5_pyspark \                 # 容器名称
    public.ecr.aws/glue/aws-glue-libs:5 \  # 镜像名称
    pyspark                                # 启动PySpark REPL

进入shell后，可直接编写和测试PySpark代码，例如：

# 示例：读取S3数据
df = spark.read.csv("s3://my-bucket/path/to/data.csv", header=True)
df.show()

PyTest（单元测试）

使用PyTest运行ETL作业的单元测试：

docker run -i --rm \
    -v ~/.aws:/home/hadoop/.aws \          # 挂载AWS凭证
    -v $WORKSPACE_LOCATION:/home/hadoop/workspace/ \  # 挂载本地工作区
    --workdir /home/hadoop/workspace \     # 设置工作目录
    -e AWS_PROFILE=$PROFILE_NAME \         # 指定AWS配置文件（可选）
    --name glue5_pytest \                  # 容器名称
    public.ecr.aws/glue/aws-glue-libs:5 \  # 镜像名称
    -c "python3.11 -m pytest --disable-warnings"  # 运行pytest命令

说明：

• --workdir /home/hadoop/workspace：将容器工作目录设置为挂载的工作区
• python3.11 -m pytest：使用Python 3.11运行pytest
• --disable-warnings：禁用 pytest 警告输出（可选）

与Glue 4.0的主要区别

• 单一容器镜像同时支持批处理和流处理作业
• 默认用户变更为hadoop（原版本为glue_user）
• 移除了JupyterLab和Livy组件（可手动安装）
• 默认预装开放表格式库（Iceberg、Hudi、Delta Lake）

安全注意事项

⚠️ 这些容器镜像专为本地开发和测试设计，使用时需遵守以下安全要求：

• 禁止在生产环境中部署这些容器
• 禁止将容器公开访问
• 禁止向网络暴露不必要的端口
• 禁止将容器用作生产ETL运行器

容器应仅在安全、隔离的开发环境中运行。

旧版本参考（v2.0至v4.0）

有关早期版本AWS Glue容器的使用说明，请参考：

• AWS Glue官方文档：在本地开发和测试AWS Glue作业脚本
• AWS大数据博客：使用Docker容器在本地开发和测试AWS Glue 3.0作业