mimiro/objectstorage-datalayer

镜像概述

本镜像为AWS S3和Azure Blob Storage提供数据层功能，完全符合通用数据API规范（Universal Data API specification，详情参见：https://open.mimiro.io/specifications/uda/latest.html%EF%BC%89%E3%80%82%E8%AF%A5%E6%95%B0%E6%8D%AE%E5%B1%82%E5%8F%AF%E4%B8%8EMIMIRO%E6%95%B0%E6%8D%AE%E4%B8%AD%E5%BF%83%EF%BC%88https://github.com/mimiro-io/datahub%EF%BC%89%E9%85%8D%E5%90%88%E4%BD%BF%E7%94%A8%EF%BC%8C%E5%85%B1%E5%90%8C%E6%9E%84%E5%BB%BA%E7%8E%B0%E4%BB%A3%E6%95%B0%E6%8D%AE%E6%9E%B6%E6%9E%84%EF%BC%8C%E5%AE%9E%E7%8E%B0%E6%95%B0%E6%8D%AE%E7%9A%84%E9%AB%98%E6%95%88%E5%AD%98%E5%82%A8%E4%B8%8E%E7%AE%A1%E7%90%86%E3%80%82

核心功能与特性

• 规范兼容：严格遵循通用数据API规范，确保与符合该规范的系统无缝集成
• 多存储支持：同时支持AWS S3和Azure Blob Storage两种主流云存储服务
• 数据格式灵活：支持将数据以JSON或Parquet文件格式写入存储
• 数据类型适配：可处理实体流（streams of entities）或完整数据集（complete datasets）

使用场景与适用范围

• 作为MIMIRO数据中心的存储扩展，构建端到端数据架构
• 需要将结构化/半结构化数据持久化到AWS S3或Azure Blob Storage的场景
• 大数据处理流程中，需将处理结果以标准格式存储到云存储的场景
• 需符合通用数据API规范的企业级数据集成项目

使用方法与配置说明

前置要求

• 已部署MIMIRO数据中心（如使用数据中心集成场景）
• 拥有AWS S3或Azure Blob Storage的访问权限及凭证
• Docker环境（19.03+版本）

基础部署

Docker Run命令示例

bash
docker run -d \
  --name objectstorage-datalayer \
  -e STORAGE_PROVIDER=<aws|azure> \
  -e AWS_ACCESS_KEY_ID=<your-aws-access-key> \
  -e AWS_SECRET_ACCESS_KEY=<your-aws-secret-key> \
  -e AZURE_STORAGE_CONNECTION_STRING=<your-azure-connection-string> \
  -e BUCKET_NAME=<target-bucket-name> \
  -e DATA_FORMAT=<json|parquet> \
  mimiro/objectstorage-datalayer

配置参数说明

详细配置与高级用法

更多详细配置说明、参数选项及使用示例，请参考项目GitHub仓库：https://github.com/mimiro-io/objectstorage-datalayer/