sogis/gretl Docker 镜像 - 轩辕镜像

gretl Docker镜像文档

镜像概述

gretl是一个专注于地理数据处理和ETL（抽取、转换、加载）的Docker镜像，基于GitHub项目sogis/gretl构建。该镜像集成了多种地理空间处理工具，旨在简化地理数据的自动化处理流程，支持从多种数据源抽取数据、执行转换操作，并加载至目标空间数据库或文件系统，适用于GIS（地理信息系统）工程师、数据分析师及需要处理地理空间数据的开发团队。

核心功能与特性

• 多格式支持：兼容常见地理数据格式，包括Shapefile、GeoJSON、CSV（带空间坐标）、PostGIS空间数据表等。
• 工具集成：内置GDAL（地理数据抽象库）、PostGIS客户端、OGR等主流地理空间处理工具，满足数据转换需求。
• 自动化工作流：支持通过配置文件定义ETL流程，实现数据处理步骤的自动化执行，减少手动操作。
• 灵活配置：可通过环境变量或配置文件自定义输入输出路径、数据库连接参数、转换规则等。
• 轻量部署：基于Docker容器化，无需本地安装复杂依赖，快速部署并集成至现有数据处理管道。

使用场景与适用范围

• GIS数据处理：GIS工程师用于批量转换地理数据格式（如Shapefile转GeoJSON）、坐标系统转换（如WGS84与UTM转换）。
• 空间数据加载：自动化将处理后的地理数据加载至PostGIS、MySQL Spatial等空间数据库。
• 数据流程自动化：集成至CI/CD管道，实现地理数据更新时的自动处理与发布。
• 跨平台协作：统一开发与生产环境的地理数据处理工具版本，避免环境依赖问题。

使用方法与配置说明

基本使用（Docker Run）

通过以下命令启动gretl容器，执行基本地理数据处理任务：

bash
docker run --rm -v /local/input:/data/input -v /local/output:/data/output sogis/gretl:latest

• -v /local/input:/data/input：挂载本地输入目录至容器内/data/input，用于读取待处理数据。
• -v /local/output:/data/output：挂载本地输出目录至容器内/data/output，用于存储处理结果。
• sogis/gretl:latest：使用最新版本的gretl镜像。

自定义配置

可通过环境变量或挂载配置文件（如gretl-config.yml）自定义处理流程。常用环境变量说明：

示例：指定数据库连接并启用DEBUG日志

bash
docker run --rm \
  -v /local/input:/data/input \
  -v /local/output:/data/output \
  -e DB_CONNECTION="postgresql://user:pass@db-host:5432/dbname" \
  -e LOG_LEVEL="DEBUG" \
  sogis/gretl:latest

高级工作流配置

通过挂载自定义gretl-config.yml配置文件，定义复杂ETL流程（如多步骤转换、条件判断等）。配置文件示例：

yaml
steps:
  - name: "convert_shapefile_to_geojson"
    type: "ogr2ogr"
    input: "${INPUT_DIR}/data.shp"
    output: "${OUTPUT_DIR}/data.geojson"
    options: "-f GeoJSON"
  - name: "load_to_postgis"
    type: "pg2pg"
    input: "${OUTPUT_DIR}/data.geojson"
    db_connection: "${DB_CONNECTION}"
    table: "target_table"
    overwrite: true

启动容器时挂载配置文件：

bash
docker run --rm \
  -v /local/input:/data/input \
  -v /local/output:/data/output \
  -v /local/config/gretl-config.yml:/app/config/gretl-config.yml \
  -e DB_CONNECTION="postgresql://user:pass@db-host:5432/dbname" \
  sogis/gretl:latest

更多信息

完整配置与高级用法请参考官方GitHub仓库：[***]