magentaaps/os2mo-sql_export

SQLExport Integration Docker镜像文档

1. 镜像概述

SQLExport Integration Docker镜像旨在简化SQL数据库数据导出与外部系统的集成流程，提供开箱即用的SQL数据导出能力。该镜像封装了SQL数据提取、格式转换及系统对接功能，可快速部署并集成到数据处理管道中，减少手动配置工作，提升数据导出效率。

2. 核心功能与特性

• 多数据库支持：兼容主流SQL数据库（MySQL、PostgreSQL、SQL Server、Oracle等），通过标准JDBC连接实现数据访问。
• 灵活数据格式：支持导出数据至CSV、JSON、Excel、XML等多种格式，满足不同集成场景需求。
• 集成能力：提供API接口、定时任务触发等集成方式，可与数据仓库、BI工具、云存储等外部系统无缝对接。
• 轻量部署：基于Alpine Linux构建，镜像体积小，启动速度快，资源占用低。
• 配置驱动：通过环境变量或配置文件灵活定义数据库连接参数、导出规则及目标系统配置。

3. 使用场景

• 数据备份自动化：定期从业务数据库导出核心数据至备份存储系统。
• 报表生成：按预设周期导出数据并生成标准化报表，对接BI平台（如Tableau、Power BI）。
• 数据迁移：在系统升级或架构调整时，批量导出历史数据至新数据库或存储系统。
• 第三方系统对接：将SQL数据实时或定时推送至CRM、ERP等业务系统，实现数据同步。

4. 使用方法

4.1 快速启动（docker run）

通过环境变量配置数据库连接及导出参数，快速启动数据导出任务：

bash
docker run -d \
  -e DB_TYPE=mysql \
  -e DB_HOST=your-db-host \
  -e DB_PORT=3306 \
  -e DB_USER=db-user \
  -e DB_PASSWORD=db-password \
  -e DB_NAME=target-db \
  -e EXPORT_QUERY="SELECT id, name, created_at FROM users WHERE status='active'" \
  -e EXPORT_FORMAT=csv \
  -e OUTPUT_PATH=/exports \
  -v /local/exports:/exports \
  sql-export-integration:latest

4.2 Docker Compose配置

创建docker-compose.yml文件，定义完整集成服务：

yaml
version: '3.8'
services:
  sql-export:
    image: sql-export-integration:latest
    environment:
      - DB_TYPE=postgresql
      - DB_HOST=postgres
      - DB_PORT=5432
      - DB_USER=postgres
      - DB_PASSWORD=postgres
      - DB_NAME=appdb
      - EXPORT_QUERY="SELECT * FROM orders WHERE order_date >= CURRENT_DATE - INTERVAL '7 days'"
      - EXPORT_FORMAT=json
      - OUTPUT_PATH=/data/exports
      - SCHEDULE=0 0 * * *  # 每日凌晨执行
    volumes:
      - ./exports:/data/exports
    depends_on:
      - postgres
  postgres:
    image: postgres:14
    environment:
      - POSTGRES_PASSWORD=postgres
      - POSTGRES_DB=appdb
    volumes:
      - postgres-data:/var/lib/postgresql/data

volumes:
  postgres-data:

5. 配置说明

5.1 核心环境变量

5.2 高级配置

通过挂载配置文件（如/config/config.yaml）实现更复杂的导出规则，支持多表导出、数据过滤、格式自定义等：

yaml
# 示例config.yaml
databases:
  - name: primary_db
    type: postgresql
    host: postgres
    port: 5432
    user: admin
    password: secure_password
    database: sales_db
exports:
  - name: daily_sales
    database: primary_db
    query: "SELECT * FROM sales WHERE sale_date = CURRENT_DATE"
    format: csv
    output: /exports/sales_{{date}}.csv
    schedule: "5 0 * * *"  # 每日00:05执行
  - name: customer_data
    database: primary_db
    query: "SELECT id, name, email FROM customers"
    format: json
    output: /exports/customers.json
    schedule: "0 12 * * *"  # 每日12:00执行

启动时挂载配置文件：

bash
docker run -v ./config.yaml:/config/config.yaml sql-export-integration:latest --config /config/config.yaml

6. 注意事项

• 确保数据库与容器网络互通，可通过--network参数指定自定义网络。
• 敏感信息（如数据库密码）建议通过Docker Secrets或环境变量文件（.env）管理，避免明文暴露。
• 大规模数据导出时，建议调整容器内存限制（--memory）以避免性能问题。