acryldata/datahub-mae-consumer

MAE consumer Docker镜像文档

1. 镜像概述

MAE consumer是一个基于Docker容器化封装的应用组件，专为消费Masked Autoencoder(MAE)模型输出数据或相关格式数据而设计。该镜像通过标准化接口简化MAE模型与下游应用系统的集成流程，提供开箱即用的部署体验，适用于各类深度学习模型应用场景中的数据消费环节。

2. 核心功能与特性

• MAE数据消费能力：原生支持MAE模型输出数据格式解析，提供标准化数据消费接口
• 配置灵活性：支持通过环境变量或配置文件自定义数据来源、消费频率等核心参数
• 轻量级部署：基于精简基础镜像构建，资源占用低，支持快速启动与扩展
• 日志与监控：内置完善的日志记录机制，支持集成外部监控系统，便于问题排查与性能优化
• 跨平台兼容性：兼容主流容器化部署环境（Docker、Kubernetes等）

3. 使用场景与适用范围

• 深度学习模型部署流程中MAE模型输出数据的消费与处理
• 基于MAE模型的计算机视觉、自然语言处理等应用系统的数据流水线
• 需要集成MAE模型输出的微服务架构或分布式系统
• 快速验证MAE模型应用效果的原型开发与测试环境
• 生产环境中MAE模型输出数据的实时/批量消费场景

4. 使用方法与配置说明

4.1 基本部署（docker run命令）

bash
docker run -d \
  --name mae-consumer \
  -e MAE_MODEL_ENDPOINT="http://mae-model-service:8080/api/output" \
  -e DATA_CONSUME_INTERVAL=5 \
  -e LOG_LEVEL="INFO" \
  -v /host/path/to/data:/app/data \
  -v /host/path/to/config:/app/config \
  your-registry/mae-consumer:latest

4.2 环境变量配置参数

4.3 配置文件说明（可选）

对于复杂配置场景，可通过挂载配置文件进行高级设置。默认配置文件路径为/app/config/config.yaml，示例配置：

yaml
mae:
  model_endpoint: "http://mae-model-cluster:8080/v1/output"
  timeout: 15  # 模型端点请求超时时间（秒）
  auth_token: "your-auth-token"  # 可选，模型端点认证令牌

data:
  consume_interval: 3  # 数据消费间隔（秒）
  input_format: "npy"  # 支持json/npy/csv
  output_path: "/app/processed_data"
  batch_size: 100  # 批量处理数据大小

logging:
  level: "INFO"
  file_path: "/app/logs/mae-consumer.log"
  max_file_size: 10  # MB
  backup_count: 5  # 日志文件备份数量

monitoring:
  metrics_enabled: true
  metrics_port: 9090  # 指标暴露端口

4.4 Docker Compose配置示例

yaml
version: '3.8'
services:
  mae-consumer:
    image: your-registry/mae-consumer:latest
    container_name: mae-consumer
    restart: always
    environment:
      - MAE_MODEL_ENDPOINT=http://mae-model:8080/api/output
      - DATA_CONSUME_INTERVAL=5
      - LOG_LEVEL=INFO
    volumes:
      - ./host_data:/app/data
      - ./host_config:/app/config
    ports:
      - "9090:9090"  # 监控指标端口
    networks:
      - mae-network

networks:
  mae-network:
    driver: bridge

5. 注意事项

• 确保MAE模型服务与MAE consumer在同一网络环境中，或配置可访问的模型端点URL
• 数据挂载目录需设置正确的读写权限，避免容器内数据访问失败
• 生产环境建议通过配置文件进行精细化参数设置，并启用监控指标
• 高并发场景下可通过调整DATA_CONSUME_INTERVAL和batch_size参数优化性能
• 首次部署建议设置LOG_LEVEL=DEBUG以快速排查配置问题