emilaineborato/apache-airflow

Docker镜像文档

镜像概述

本镜像为版本2.1.0，集成了多种云服务提供商组件与动态DAG（有向无环图）功能，旨在简化跨平台数据集成、工作流编排及自动化任务管理。通过预配置的服务提供商支持，用户可快速搭建连接微软Azure、Oracle、MongoDB等平台的数据流管道，并利用dag-factory实现动态工作流定义。

核心功能与特性

• 多平台集成：内置微软Azure、Oracle数据库、MongoDB数据存储的连接支持
• 动态DAG管理：集成dag-factory工具，支持动态生成和管理工作流
• 消息通知：包含Slack集成，支持工作流状态实时通知
• 对象存储：集成MinIO，提供兼容S3的对象存储服务支持

使用场景

• 跨云平台数据同步与集成（如Azure与Oracle数据迁移）
• 动态工作流编排（基于dag-factory的任务调度）
• 分布式数据处理管道构建
• 自动化任务状态监控与通知（结合Slack）

使用方法

基本运行命令

bash
docker run -d \
  --name dynamic-dag-provider \
  -v /path/to/config:/app/config \
  [镜像名称]:2.1.0

配置说明

1. 配置文件挂载：需将包含DAG定义、服务连接信息的配置文件目录挂载至容器内/app/config路径
2. 环境变量（可选）：
   • AZURE_CONNECTION_STRING：微软Azure服务连接字符串
   • ORACLE_DB_URL：Oracle数据库连接URL
   • MONGO_URI：MongoDB连接URI
   • SLACK_WEBHOOK：Slack通知Webhook地址
   • MINIO_ENDPOINT：MinIO服务端点

docker-compose示例

yaml
version: '3'
services:
  dynamic-dag:
    image: [镜像名称]:2.1.0
    volumes:
      - ./config:/app/config
    environment:
      - AZURE_CONNECTION_STRING=your_azure_connection_string
      - ORACLE_DB_URL=jdbc:oracle:thin:@host:port/service_name
      - MONGO_URI=mongodb://user:password@host:port/dbname
      - SLACK_WEBHOOK=https://hooks.slack.com/services/XXX/XXX/XXX
      - MINIO_ENDPOINT=http://minio:9000
    restart: unless-stopped

注：实际使用时需替换[镜像名称]为具体镜像标识，并根据实际环境配置连接参数。