pdok/geopackage-validator

geopackage-validator

目录

• geopackage-validator
  • 目录
  • 功能介绍
  • 支持的GeoPackage版本
  • 安装
    • Docker
  • 使用方法
    • RQ8验证
    • 显示验证规则
    • 生成表定义
  • 本地开发
    • 使用方法
    • Python控制台
    • 代码风格
    • 测试
    • 发布

快速命令示例

使用默认验证规则集验证GeoPackage：

sh
gpkg_path=相对路径/至/文件.gpkg
docker run -v "$(pwd)":/gpkg --rm docker.xuanyuan.run/pdok/geopackage-validator validate --gpkg-path "/gpkg/${gpkg_path}"

使用默认验证规则集及模式文件验证GeoPackage：

sh
schema_path=相对路径/至/模式.json
gpkg_path=相对路径/至/文件.gpkg
docker run -v "$(pwd)":/gpkg --rm docker.xuanyuan.run/pdok/geopackage-validator validate --gpkg-path "/gpkg/${gpkg_path}" --table-definitions-path "/gpkg/${schema_path}"

生成模式文件：

sh
schema_path=相对路径/至/模式.json
gpkg_path=相对路径/至/文件.gpkg
docker run -v "$(pwd)":/gpkg --rm docker.xuanyuan.run/pdok/geopackage-validator generate-definitions --gpkg-path "/gpkg/${gpkg_path}" > "$schema_path"

功能介绍

GeoPackage验证器可验证.gpkg文件是否符合一系列标准规范。当前支持的检查项如下（另见“show-validations”命令）：

* 遗留要求仅在验证命令中明确请求验证集时执行。
** 从0.8.0版本开始，建议项与要求项纳入同一序列。此后，检查项将始终保留其代码的整数部分，即使后续验证类型在要求和建议之间转换。

各规则的荷兰语详细解释及原因可参考此处。

支持的GeoPackage版本

GeoPackage验证器支持以下GeoPackage版本：

• 1.3.1
• 1.3
• 1.2.1

安装

本工具需要：

• GDAL 版本 >= 3.2.1
• Spatialite 版本 >= 5.0.0
• Python >= 3.8

推荐使用Docker镜像。若满足上述依赖，也可通过pip安装（pip install pdok-geopackage-validator）。

Docker

拉取最新版本的Docker镜像（首次使用或更新时需要）：

bash
docker pull docker.xuanyuan.run/pdok/geopackage-validator:latest

或从源码构建Docker镜像：

bash
docker build -t pdok/geopackage-validator .

可直接在容器中运行命令，子命令可直接调用：

bash
docker run -v ${PWD}:/gpkg --rm docker.xuanyuan.run/pdok/geopackage-validator validate -t /path/to/generated_definitions.json --gpkg-path /gpkg/tests/data/test_allcorrect.gpkg

使用方法

RQ8验证

要执行RQ8验证，需先生成定义文件：

bash
docker run -v ${PWD}:/gpkg --rm docker.xuanyuan.run/pdok/geopackage-validator generate-definitions --gpkg-path /path/to/file.gpkg

验证

bash
Usage: geopackage-validator validate [OPTIONS]

  GeoPackage验证器，用于验证本地文件或S3存储中的文件。当文件路径以'/vsis3'或'/vsicurl'开头时，将使用GDAL虚拟文件系统访问S3上的文件，无需直接下载。详见https://gdal.org/user/virtual_file_systems.html了解GDAL虚拟文件系统的使用方法。为方便使用，GDAL VSI环境参数和可选参数以S3_为前缀（AWS_前缀的环境参数同样适用）。

  示例：

  vsicurl：

  geopackage-validator validate --gpkg-path /vsicurl/http://minio-url.nl/bucketname/key/to/public.gpkg

  vsis3：

  geopackage-validator validate --gpkg-path /vsis3/bucketname/key/to/public.gpkg --s3-signing-region eu-central-1 --s3-secret-key secret --s3-access-key acces-key --s3-secure=false --s3-virtual-hosting false --s3-endpoint-no-protocol minio-url.nl

  环境变量方式：

  S3_SECRET_KEY=secret S3_ACCESS_KEY=acces-key S3_SIGNING_REGION=eu-central-1 S3_SECURE=false S3_VIRTUAL_HOSTING=false S3_ENDPOINT_NO_PROTOCOL=minio-url.nl geopackage-validator validate --gpkg-path /vsis3/bucketname/key/to/public.gpkg

  AWS环境变量方式：

  AWS_SECRET_ACCESS_KEY=secret AWS_ACCESS_KEY_ID=acces-key AWS_DEFAULT_REGION=eu-central-1 AWS_HTTPS=NO AWS_VIRTUAL_HOSTING=FALSE AWS_S3_ENDPOINT=minio-url.nl geopackage-validator validate --gpkg-path /vsis3/bucketname/key/to/public.gpkg

Options:
  --gpkg-path FILE                指向geopackage.gpkg文件的路径 [环境变量: GPKG_PATH]
  -t, --table-definitions-path FILE  指向表定义JSON或YAML文件的路径（通过generate-definitions命令生成）
  --validations-path FILE         要运行的验证集路径。若未指定validations-path和validations，将运行所有验证 [环境变量: VALIDATIONS_FILE]
  --validations TEXT              逗号分隔的验证规则列表（例如--validations RQ1,RQ2,RQ3）。若未指定validations-path和validations，将运行所有验证 [环境变量: VALIDATIONS]
  --exit-on-fail                  验证失败时以代码1退出
  --yaml                          输出YAML格式
  --s3-endpoint-no-protocol TEXT  S3服务的端点（不含协议）[环境变量: S3_ENDPOINT_NO_PROTOCOL]
  --s3-access-key TEXT            S3服务的访问密钥 [环境变量: S3_ACCESS_KEY]
  --s3-secret-key TEXT            S3服务的密钥 [环境变量: S3_SECRET_KEY]
  --s3-bucket TEXT                S3存储桶名称 [环境变量: S3_BUCKET]
  --s3-key TEXT                   S3存储桶中的文件键 [环境变量: S3_KEY]
  --s3-secure BOOLEAN             是否使用TLS安全连接S3 [环境变量: S3_SECURE]
  --s3-virtual-hosting TEXT       TRUE：通过虚拟主机名标识存储桶（如mybucket.cname.domain.com）；FALSE：将存储桶作为URI顶层目录（如cname.domain.com/mybucket）。便捷参数，等同于GDAL的AWS_VIRTUAL_HOSTING [环境变量: S3_VIRTUAL_HOSTING]
  --s3-signing-region TEXT        S3签名区域。便捷参数，等同于GDAL的AWS_DEFAULT_REGION [环境变量: S3_SIGNING_REGION]
  --s3-no-sign-request TEXT       设置后禁用请求签名，适用于公共访问权限的存储桶。便捷参数，等同于GDAL的AWS_NO_SIGN_REQUEST [环境变量: S3_NO_SIGN_REQUEST]
  -v, --verbosity LVL             日志级别：CRITICAL、ERROR、WARNING、INFO或DEBUG
  --help                          显示帮助信息并退出

示例：

bash
docker run -v ${PWD}:/gpkg --rm docker.xuanyuan.run/pdok/geopackage-validator validate -t /path/to/generated_definitions.json --gpkg-path /gpkg/tests/data/test_allcorrect.gpkg

仅运行特定验证规则：

通过文件指定：

bash
docker run -v ${PWD}:/gpkg --rm docker.xuanyuan.run/pdok/geopackage-validator validate --gpkg-path tests/data/test_allcorrect.gpkg --validations-path tests/validationsets/example-validation-set.json

或通过命令行指定：

bash
docker run -v ${PWD}:/gpkg --rm docker.xuanyuan.run/pdok/geopackage-validator validate --gpkg-path tests/data/test_allcorrect.gpkg --validations RQ1,RQ2,RQ3

显示验证规则

显示验证命令中可执行的所有可能验证规则：

bash
Usage: geopackage-validator show-validations [OPTIONS]

  显示验证命令中可执行的所有可能验证规则。

Options:
  -v, --verbosity LVL  日志级别：CRITICAL、ERROR、WARNING、INFO或DEBUG
  --help               显示帮助信息并退出

生成表定义

bash
Usage: geopackage-validator generate-definitions [OPTIONS]

  为本地或S3存储中的GeoPackage生成表定义。生成的JSON或YAML定义文件可在验证步骤中通过--table-definitions-path参数使用。当文件路径以'/vsi'开头时，将使用GDAL虚拟文件系统访问S3上的文件，无需直接下载。详见https://gdal.org/user/virtual_file_systems.html。为方便使用，GDAL VSI环境参数和可选参数以S3_为前缀（AWS_前缀的环境参数同样适用）。

  示例：

  vsicurl：

  geopackage-validator validate --gpkg-path /vsicurl/http://minio-url.nl/bucketname/key/to/public.gpkg

  vsis3：

  geopackage-validator generate-definitions --gpkg-path /vsis3/bucketname/key/to/public.gpkg --s3-signing-region eu-central-1 --s3-secret-key secret --s3-access-key acces-key --s3-secure=false --s3-virtual-hosting false --s3-endpoint-no-protocol minio-url.nl

  环境变量方式：

  S3_SECRET_KEY=secret S3_ACCESS_KEY=acces-key S3_SIGNING_REGION=eu-central-1 S3_SECURE=false S3_VIRTUAL_HOSTING=false S3_ENDPOINT_NO_PROTOCOL=minio-url.nl geopackage-validator generate-definitions --gpkg-path /vsis3/bucketname/key/to/public.gpkg

Options:
  --gpkg-path FILE                指向geopackage.gpkg文件的路径 [环境变量: GPKG_PATH]
  --yaml                          输出YAML格式
  --s3-endpoint-no-protocol TEXT  S3服务的端点（不含协议）[环境变量: S3_ENDPOINT_NO_PROTOCOL]
  --s3-access-key TEXT            S3服务的访问密钥 [环境变量: S3_ACCESS_KEY]
  --s3-secret-key TEXT            S3服务的密钥 [环境变量: S3_SECRET_KEY]
  --s3-bucket TEXT                S3存储桶名称 [环境变量: S3_BUCKET]
  --s3-key TEXT                   S3存储桶中的文件键 [环境变量: S3_KEY]
  --s3-secure BOOLEAN             是否使用TLS安全连接S3 [环境变量: S3_SECURE]
  --s3-virtual-hosting TEXT       TRUE：通过虚拟主机名标识存储桶（如mybucket.cname.domain.com）；FALSE：将存储桶作为URI顶层目录（如cname.domain.com/mybucket）。便捷参数，等同于GDAL的AWS_VIRTUAL_HOSTING [环境变量: S3_VIRTUAL_HOSTING]
  --s3-signing-region TEXT        S3签名区域。便捷参数，等同于GDAL的AWS_DEFAULT_REGION [环境变量: S3_SIGNING_REGION]
  --s3-no-sign-request TEXT       设置后禁用请求签名，适用于公共访问权限的存储桶。便捷参数，等同于GDAL的AWS_NO_SIGN_REQUEST [环境变量: S3_NO_SIGN_REQUEST]
  -v, --verbosity LVL             日志级别：CRITICAL、ERROR、WARNING、INFO或DEBUG
  --help                          显示帮助信息并退出

本地开发

建议使用docker-compose进行本地开发，可实时代码编辑和测试，并确保使用正确的GDAL/OGR版本及Spatialite 5.0.0。首先使用本机的用户ID和组ID构建本地镜像：

bash
docker-compose build --build-arg USER_ID=`id -u` --build-arg GROUP_ID=`id -g`

使用方法

可通过以下命令运行脚本：

bash
docker-compose run --rm validator geopackage-validator

该命令可直接访问当前目录下的文件。如需访问其他文件，可在docker-compose.yaml中添加或编辑卷配置。

Python控制台

Docker中已安装IPython：

bash
docker-compose run --rm validator ipython

代码风格

为保持Python文件格式统一，可定期运行：

bash
docker-compose run --rm validator black .

测试

定期运行测试，同时检查pyflakes和black格式：

bash
docker-compose run --rm validator pytest

发布

在GitHub中发布时，需更新geopackage_validator.constants.py中的__version__，创建并推送新标签至master分支，然后在GitHub中创建新发布。