openml/croissant-converter

croissant converter镜像说明

镜像概述

本镜像提供OpenML数据集元数据到Croissant格式的转换能力，同时支持将转换后的元数据上传至MinIO存储服务，适用于数据处理场景中对元数据格式转换的需求。

核心功能

1. 转换OpenML数据集元数据至Croissant格式
2. 支持将转换后的元数据上传至MinIO存储
3. 提供命令行参数帮助文档，便于快速上手使用

使用场景

• 需要将OpenML元数据转换为Croissant格式的用户
• 需要将转换后的元数据存储到MinIO服务的场景

配置说明

1. 上传功能需准备.env文件，包含以下配置：

   MINIO_ACCESS_KEY=[MinIO访问密钥]
   MINIO_SECRET_KEY=[MinIO秘密密钥]
   

2. 挂载卷说明：
   • -v ./data:/output：用于输出转换后的元数据文件
   • -v ~/.cache/openml:/home/unprivileged-user/.cache/openml：挂载OpenML缓存目录

部署示例

查看帮助文档

bash
docker run --rm openml/croissant-converter generate_croissants.py --help
docker run --rm openml/croissant-converter upload_datasets_to_minio.py --help

生成Croissant格式元数据

bash
docker run --rm \
  -v ./data:/output \
  -v ~/.cache/openml:/home/unprivileged-user/.cache/openml \
  openml/croissant-converter:[版本号] generate_croissants.py \
  --all \
  -o /output

上传元数据到MinIO

bash
docker run --rm \
  -v ./data:/input \
  --env-file .env \
  openml/croissant-converter:[版本号] upload_datasets_to_minio.py \
  -i /input

构建与发布

1. 更新pyproject.toml中的版本号
2. 执行以下命令构建并推送镜像：

   bash
   docker build -f docker/Dockerfile --tag openml/croissant-converter:[版本号] .
   docker push openml/croissant-converter:[版本号]