sfdl/fons-dagster

Dagster Daemon & Dagit (ECS/AWS) 镜像文档

镜像概述和主要用途

本Docker镜像为Dagster官方提供的集成镜像，包含Dagster daemon和dagit两个核心组件，专为在AWS ECS（Elastic Container Service）环境中部署Dagster数据编排平台而优化。Dagster daemon作为后台服务负责任务调度、传感器触发和事件处理；dagit则提供Web用户界面，用于数据管道的可视化、定义管理和运行监控。该镜像简化了在ECS/AWS上搭建生产级Dagster环境的流程，支持数据工程团队快速部署和管理数据工作流。

核心功能和特性

• 集成核心组件：包含Dagster daemon（任务调度与后台处理）和dagit（Web UI），无需单独部署组件
• ECS/AWS优化：支持AWS ECS任务定义、服务发现和负载均衡配置，兼容AWS IAM角色授权
• 数据管道全生命周期管理：提供管道定义、调度、执行、监控的完整功能链
• 可视化Web界面：通过dagit（默认端口3000）实现管道拓扑查看、运行日志展示、任务状态监控
• 灵活的扩展性：支持与Dagster生态系统工具（如Dagster Cloud、Dagster Pipes）集成，兼容自定义插件
• 持久化支持：可配置外部数据库（如Amazon RDS PostgreSQL）存储运行状态和历史数据

使用场景和适用范围

• AWS ECS环境部署：适用于需要在AWS ECS上构建容器化Dagster服务的团队
• 数据工程工作流：用于管理ETL/ELT管道、机器学习训练工作流、数据同步任务等数据工程流程
• 大规模数据处理：支持调度和监控分布式数据处理任务（如Spark、Flink作业）
• 团队协作管理：通过Web UI实现多用户协作，共享管道定义和运行状态
• CI/CD集成：可与AWS CodePipeline、GitHub Actions等工具集成，实现数据管道的自动化部署

使用方法和配置说明

前提条件

• 已安装Docker Engine（20.10+）
• AWS ECS集群已创建（含网络配置：VPC、子网、安全组开放3000端口）
• （可选）外部数据库（如Amazon RDS PostgreSQL）用于持久化状态（推荐生产环境使用）

镜像拉取

bash
docker pull docker.xuanyuan.run/dagster/dagster-daemon-dagit-ecs:latest

本地测试运行

基本启动命令（仅dagit UI）

bash
docker run -d \
  -p 3000:3000 \
  -e DAGSTER_HOME=/opt/dagster/dagster_home \
  -v $(pwd)/dagster_project:/opt/dagster/app \  # 挂载本地Dagster项目代码
  --name dagster-ecs-test \
  dagster/dagster-daemon-dagit-ecs:latest \
  dagit -h 0.0.0.0  # 启动dagit并监听所有网络接口

启动daemon和dagit（后台服务+UI）

bash
docker run -d \
  -p 3000:3000 \
  -e DAGSTER_HOME=/opt/dagster/dagster_home \
  -e DAGSTER_POSTGRES_HOST=<your-rds-host> \  # 配置PostgreSQL数据库（持久化状态）
  -e DAGSTER_POSTGRES_USER=<db-user> \
  -e DAGSTER_POSTGRES_PASSWORD=<db-password> \
  -e DAGSTER_POSTGRES_DB=<db-name> \
  -v $(pwd)/dagster_project:/opt/dagster/app \
  --name dagster-ecs-service \
  dagster/dagster-daemon-dagit-ecs:latest \
  sh -c "dagster-daemon run & dagit -h 0.0.0.0"  # 同时启动daemon和dagit

ECS部署配置示例

任务定义关键配置（JSON片段）

json
{
  "containerDefinitions": [
    {
      "name": "dagster-service",
      "image": "dagster/dagster-daemon-dagit-ecs:latest",
      "essential": true,
      "portMappings": [
        {
          "containerPort": 3000,
          "hostPort": 3000,
          "protocol": "tcp"
        }
      ],
      "environment": [
        { "name": "DAGSTER_HOME", "value": "/opt/dagster/dagster_home" },
        { "name": "DAGSTER_POSTGRES_HOST", "valueFrom": { "secretKeyRef": { "name": "dagster-db-creds", "key": "host" } } },
        { "name": "DAGSTER_POSTGRES_USER", "valueFrom": { "secretKeyRef": { "name": "dagster-db-creds", "key": "username" } } },
        { "name": "DAGSTER_POSTGRES_PASSWORD", "valueFrom": { "secretKeyRef": { "name": "dagster-db-creds", "key": "password" } } },
        { "name": "DAGSTER_POSTGRES_DB", "value": "dagster" }
      ],
      "mountPoints": [
        {
          "sourceVolume": "dagster-project",
          "containerPath": "/opt/dagster/app",
          "readOnly": false
        }
      ],
      "command": ["sh", "-c", "dagster-daemon run & dagit -h 0.0.0.0"]
    }
  ],
  "volumes": [
    {
      "name": "dagster-project",
      "efsVolumeConfiguration": {
        "fileSystemId": "fs-xxxxxxxx",  # AWS EFS文件系统ID（存储Dagster项目代码）
        "rootDirectory": "/dagster_project"
      }
    }
  ]
}

核心配置参数说明

注意事项

• 生产环境必须配置外部数据库（如Amazon RDS），避免容器重启导致状态丢失
• 建议使用AWS EFS存储Dagster项目代码，确保多实例部署时代码一致性
• 安全组需开放3000端口（dagit UI），并限制访问来源（如仅允许***或内部网络）
• 高可用部署可配置多个任务实例，并通过Application Load ***分发流量