sogis/gretl

gretl Docker镜像文档

镜像概述

gretl是一个专注于地理数据处理和ETL（抽取、转换、加载）的Docker镜像，基于https://github.com/sogis/gretl%E6%9E%84%E5%BB%BA%E3%80%82%E8%AF%A5%E9%95%9C%E5%83%8F%E9%9B%86%E6%88%90%E4%BA%86%E5%A4%9A%E7%A7%8D%E5%9C%B0%E7%90%86%E7%A9%BA%E9%97%B4%E5%A4%84%E7%90%86%E5%B7%A5%E5%85%B7%EF%BC%8C%E6%97%A8%E5%9C%A8%E7%AE%80%E5%8C%96%E5%9C%B0%E7%90%86%E6%95%B0%E6%8D%AE%E7%9A%84%E8%87%AA%E5%8A%A8%E5%8C%96%E5%A4%84%E7%90%86%E6%B5%81%E7%A8%8B%EF%BC%8C%E6%94%AF%E6%8C%81%E4%BB%8E%E5%A4%9A%E7%A7%8D%E6%95%B0%E6%8D%AE%E6%BA%90%E6%8A%BD%E5%8F%96%E6%95%B0%E6%8D%AE%E3%80%81%E6%89%A7%E8%A1%8C%E8%BD%AC%E6%8D%A2%E6%93%8D%E4%BD%9C%EF%BC%8C%E5%B9%B6%E5%8A%A0%E8%BD%BD%E8%87%B3%E7%9B%AE%E6%A0%87%E7%A9%BA%E9%97%B4%E6%95%B0%E6%8D%AE%E5%BA%93%E6%88%96%E6%96%87%E4%BB%B6%E7%B3%BB%E7%BB%9F%EF%BC%8C%E9%80%82%E7%94%A8%E4%BA%8EGIS%EF%BC%88%E5%9C%B0%E7%90%86%E4%BF%A1%E6%81%AF%E7%B3%BB%E7%BB%9F%EF%BC%89%E5%B7%A5%E7%A8%8B%E5%B8%88%E3%80%81%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E5%B8%88%E5%8F%8A%E9%9C%80%E8%A6%81%E5%A4%84%E7%90%86%E5%9C%B0%E7%90%86%E7%A9%BA%E9%97%B4%E6%95%B0%E6%8D%AE%E7%9A%84%E5%BC%80%E5%8F%91%E5%9B%A2%E9%98%9F%E3%80%82

核心功能与特性

• 多格式支持：兼容常见地理数据格式，包括Shapefile、GeoJSON、CSV（带空间坐标）、PostGIS空间数据表等。
• 工具集成：内置GDAL（地理数据抽象库）、PostGIS客户端、OGR等主流地理空间处理工具，满足数据转换需求。
• 自动化工作流：支持通过配置文件定义ETL流程，实现数据处理步骤的自动化执行，减少手动操作。
• 灵活配置：可通过环境变量或配置文件自定义输入输出路径、数据库连接参数、转换规则等。
• 轻量部署：基于Docker容器化，无需本地安装复杂依赖，快速部署并集成至现有数据处理管道。

使用场景与适用范围

• GIS数据处理：GIS工程师用于批量转换地理数据格式（如Shapefile转GeoJSON）、坐标系统转换（如WGS84与UTM转换）。
• 空间数据加载：自动化将处理后的地理数据加载至PostGIS、MySQL Spatial等空间数据库。
• 数据流程自动化：集成至CI/CD管道，实现地理数据更新时的自动处理与发布。
• 跨平台协作：统一开发与生产环境的地理数据处理工具版本，避免环境依赖问题。

使用方法与配置说明

基本使用（Docker Run）

通过以下命令启动gretl容器，执行基本地理数据处理任务：

bash
docker run --rm -v /local/input:/data/input -v /local/output:/data/output sogis/gretl:latest

• -v /local/input:/data/input：挂载本地输入目录至容器内/data/input，用于读取待处理数据。
• -v /local/output:/data/output：挂载本地输出目录至容器内/data/output，用于存储处理结果。
• sogis/gretl:latest：使用最新版本的gretl镜像。

自定义配置

可通过环境变量或挂载配置文件（如gretl-config.yml）自定义处理流程。常用环境变量说明：

示例：指定数据库连接并启用DEBUG日志

bash
docker run --rm \
  -v /local/input:/data/input \
  -v /local/output:/data/output \
  -e DB_CONNECTION="postgresql://user:pass@db-host:5432/dbname" \
  -e LOG_LEVEL="DEBUG" \
  sogis/gretl:latest

高级工作流配置

通过挂载自定义gretl-config.yml配置文件，定义复杂ETL流程（如多步骤转换、条件判断等）。配置文件示例：

yaml
steps:
  - name: "convert_shapefile_to_geojson"
    type: "ogr2ogr"
    input: "${INPUT_DIR}/data.shp"
    output: "${OUTPUT_DIR}/data.geojson"
    options: "-f GeoJSON"
  - name: "load_to_postgis"
    type: "pg2pg"
    input: "${OUTPUT_DIR}/data.geojson"
    db_connection: "${DB_CONNECTION}"
    table: "target_table"
    overwrite: true

启动容器时挂载配置文件：

bash
docker run --rm \
  -v /local/input:/data/input \
  -v /local/output:/data/output \
  -v /local/config/gretl-config.yml:/app/config/gretl-config.yml \
  -e DB_CONNECTION="postgresql://user:pass@db-host:5432/dbname" \
  sogis/gretl:latest

更多信息

完整配置与高级用法请参考官方GitHub仓库：https://github.com/sogis/gretl