opendatacube/datacube-index

opendatacube/datacube-index 镜像文档

镜像概述和主要用途

opendatacube/datacube-index是用于Open Data Cube（开放数据立方体）索引操作的Docker镜像，提供从各类数据源索引数据到Data Cube的工具集。镜像托管于Docker Hub，Dockerfile及构建配置开源可查。version.txt文件存储镜像标签版本，用于触发GitHub Action自动构建新镜像。

• 镜像托管地址：https://hub.docker.com/r/opendatacube/datacube-index
• Dockerfile地址：https://github.com/opendatacube/datacube-docker/blob/main/index/Dockerfile

核心功能和特性

内置索引命令

常用命令

• s3-to-dc：从S3存储服务索引数据到Data Cube的专用工具
• sqs-to-dc：从SQS消息队列读取任务并索引数据到Data Cube的工具

常用命令文档：https://github.com/opendatacube/odc-tools/tree/develop/apps/dc_tools

辅助工具命令

• s3-find：支持通配符的S3存储桶内容列表工具
• s3-to-tar：从S3获取文档并导出为tar归档文件的工具
• gs-to-tar：搜索Google Cloud Storage (GS)文档并导出为tar归档文件的工具
• dc-index-from-tar：从tar归档文件读取YAML文档并添加到Data Cube的工具

辅助命令文档：https://github.com/opendatacube/odc-tools#apps

使用场景和适用范围

适用于需将S3存储、SQS队列、GS存储等分布式数据源中的地理空间数据产品元数据索引到Open Data Cube的场景，支持数据批量入库、自动化索引流程、元数据管理等需求，广泛应用于地理空间数据分析、遥感数据处理、环境监测等领域。

使用方法和配置说明

更新镜像（构建新镜像）

若需集成最新版本odc-tools更新镜像，执行以下步骤：

1. 更新依赖锁文件：

   bash
   uv lock -U
   

2. 修改version.txt文件中的版本号，触发GitHub Action自动构建并标记新镜像。

基本使用方式

通过Docker运行镜像执行索引命令，基本格式：

bash
docker run --rm -v /本地配置路径:/容器内配置路径 opendatacube/datacube-index <命令> [参数]

参数说明：

• -v /本地配置路径:/容器内配置路径：挂载本地配置（如Data Cube配置文件.datacube.conf）
• <命令>：指定索引命令（如s3-to-dc、sqs-to-dc等）
• [参数]：命令的具体选项，详见各命令文档

命令示例

使用s3-to-dc从S3索引数据

bash
docker run --rm -v ~/.datacube.conf:/root/.datacube.conf opendatacube/datacube-index s3-to-dc --bucket my-s3-bucket --prefix geospatial-data/ --dry-run

（注：需挂载Data Cube配置文件，--dry-run为可选参数，用于测试索引逻辑）

使用sqs-to-dc从SQS队列索引数据

bash
docker run --rm -v ~/.datacube.conf:/root/.datacube.conf opendatacube/datacube-index sqs-to-dc --queue-url https://sqs.region.amazonaws.com/123456789012/my-queue --limit 100

（注：--limit参数限制单次处理的消息数量）