artielabs/reader

镜像概述

本Docker镜像为通用数据读取器，专注于从多种数据源（尤其是DynamoDB）高效提取数据，支持数据集成、ETL流程及数据分析场景，提供轻量级、可配置的数据读取能力，便于快速集成至各类数据处理 pipeline。

核心功能与特性

• 多数据源支持：原生支持DynamoDB，同时兼容其他主流数据源（如关系型数据库、文件存储等）
• DynamoDB优化：针对DynamoDB设计专用读取逻辑，支持分区键扫描、索引查询及批量读取
• 可配置读取策略：支持自定义读取批次大小、并发数、超时时间等参数，适配不同性能需求
• 轻量级架构：基于精简运行时构建，镜像体积小，资源占用低，启动速度快
• 灵活集成：支持标准输出、文件写入或第三方系统对接，适配多样化数据消费场景

使用场景

• 数据集成流程：作为数据管道的数据源接入层，从DynamoDB等存储系统抽取数据至目标平台
• ETL任务：在抽取阶段（Extract）读取原始数据，为后续转换（Transform）和加载（Load）提供输入
• 数据分析支持：为数据分析工具或脚本提供标准化数据输入，避免直接对接数据源的复杂性
• 多源数据聚合：同时读取多个异构数据源（含DynamoDB）数据，进行统一聚合处理

使用方法

基本使用（docker run）

从DynamoDB读取数据

bash
docker run -d \
  --name data-reader \
  -e SOURCE_TYPE="DYNAMODB" \
  -e DYNAMODB_TABLE="user-data" \
  -e AWS_REGION="us-west-2" \
  -e AWS_ACCESS_KEY_ID="AKIAEXAMPLE" \
  -e AWS_SECRET_ACCESS_KEY="secret" \
  -e READ_BATCH_SIZE="100" \
  data-reader-image:latest

环境变量配置

docker-compose配置示例

yaml
version: '3'
services:
  data-reader:
    image: data-reader-image:latest
    environment:
      - SOURCE_TYPE=DYNAMODB
      - DYNAMODB_TABLE=product-catalog
      - AWS_REGION=ap-southeast-1
      - READ_BATCH_SIZE=150
      - OUTPUT_FORMAT=CSV
      - OUTPUT_PATH=/data/products.csv
    volumes:
      - ./data:/data  # 挂载本地目录用于输出文件
    restart: on-failure

高级配置

自定义读取条件（DynamoDB）

通过环境变量 DYNAMODB_FILTER_EXPRESSION 设置筛选条件，示例：

bash
docker run -d \
  --name dynamodb-reader \
  -e SOURCE_TYPE="DYNAMODB" \
  -e DYNAMODB_TABLE="orders" \
  -e AWS_REGION="us-east-1" \
  -e DYNAMODB_FILTER_EXPRESSION="order_date > :start_date" \
  -e DYNAMODB_EXPRESSION_ATTRIBUTES=":{start_date}=2023-01-01" \
  data-reader-image:latest

并发读取配置

通过 CONCURRENT_READS 环境变量设置并发读取数（默认1），提高读取效率：

bash
-e CONCURRENT_READS="5"  # 启用5个并发读取线程