mimiro/objectstorage-datalayer Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

镜像概述

本镜像为AWS S3和Azure Blob Storage提供数据层功能，完全符合通用数据API规范（Universal Data API specification，详情参见：[***]

核心功能与特性

• 规范兼容：严格遵循通用数据API规范，确保与符合该规范的系统无缝集成
• 多存储支持：同时支持AWS S3和Azure Blob Storage两种主流云存储服务
• 数据格式灵活：支持将数据以JSON或Parquet文件格式写入存储
• 数据类型适配：可处理实体流（streams of entities）或完整数据集（complete datasets）

使用场景与适用范围

• 作为MIMIRO数据中心的存储扩展，构建端到端数据架构
• 需要将结构化/半结构化数据持久化到AWS S3或Azure Blob Storage的场景
• 大数据处理流程中，需将处理结果以标准格式存储到云存储的场景
• 需符合通用数据API规范的企业级数据集成项目

使用方法与配置说明

前置要求

• 已部署MIMIRO数据中心（如使用数据中心集成场景）
• 拥有AWS S3或Azure Blob Storage的访问权限及凭证
• Docker环境（19.03+版本）

基础部署

Docker Run命令示例

bash
docker run -d \
  --name objectstorage-datalayer \
  -e STORAGE_PROVIDER=<aws|azure> \
  -e AWS_ACCESS_KEY_ID=<your-aws-access-key> \
  -e AWS_SECRET_ACCESS_KEY=<your-aws-secret-key> \
  -e AZURE_STORAGE_CONNECTION_STRING=<your-azure-connection-string> \
  -e BUCKET_NAME=<target-bucket-name> \
  -e DATA_FORMAT=<json|parquet> \
  mimiro/objectstorage-datalayer

配置参数说明

详细配置与高级用法

更多详细配置说明、参数选项及使用示例，请参考项目GitHub仓库：[***]