dagster/dagster-cloud-agent

镜像概述

本镜像为Dagster Cloud Agent的官方用户云镜像，专为在用户自有环境（如私有云、本地数据中心等）中部署Dagster Cloud Agent而设计。基于Python基础镜像构建，预安装了Dagster Cloud Agent运行所需的全部依赖组件，可直接用于连接Dagster Cloud平台，实现用户环境与Dagster Cloud之间的任务通信、调度及执行。

核心功能与特性

• 安全通信：支持与Dagster Cloud平台的加密通信，通过Agent令牌（Token）进行身份验证，确保数据传输安全。
• 任务调度执行：接收Dagster Cloud下发的任务指令，在用户环境中调度并执行数据管道作业。
• 日志集成：支持将任务执行日志实时上报至Dagster Cloud，或本地存储，便于问题排查与监控。
• 配置灵活：通过环境变量即可完成核心参数配置，无需复杂的文件修改。
• 兼容性强：兼容主流容器化部署环境（Docker、Kubernetes等），支持x86_64和ARM架构。

使用场景

• 私有环境部署：在用户自有服务器、私有云（如AWS VPC、Azure Private Cloud）或本地数据中心部署Dagster Cloud Agent，避免敏感数据流出用户网络。
• 混合云架构：作为Dagster Cloud的边缘节点，连接云端控制平面与本地数据资源（如私有数据库、内部API）。
• 合规需求满足：对于有数据本地化存储要求的场景，通过该镜像在合规环境中执行数据处理任务。

使用方法

Docker Run 示例

bash
docker run -d \
  --name dagster-cloud-agent \
  -e DAGSTER_CLOUD_AGENT_TOKEN="your-agent-token" \
  -e DAGSTER_CLOUD_DEPLOYMENT="your-deployment-name" \
  -e DAGSTER_CLOUD_API_URL="https://dagster.cloud/api" \
  -v /path/to/local/logs:/var/log/dagster \
  dagster/user-cloud-agent:latest

Docker Compose 示例

yaml
version: '3.8'
services:
  dagster-cloud-agent:
    image: dagster/user-cloud-agent:latest
    container_name: dagster-cloud-agent
    restart: always
    environment:
      - DAGSTER_CLOUD_AGENT_TOKEN=your-agent-token
      - DAGSTER_CLOUD_DEPLOYMENT=your-deployment-name
      - DAGSTER_CLOUD_API_URL=https://dagster.cloud/api
      - LOG_LEVEL=info
    volumes:
      - ./agent-logs:/var/log/dagster
    networks:
      - dagster-network

networks:
  dagster-network:
    driver: bridge

配置参数

环境变量

卷挂载

注意事项

• Agent令牌（DAGSTER_CLOUD_AGENT_TOKEN）需从Dagster Cloud控制台获取，具有时效性，过期后需重新生成并更新。
• 确保部署环境能访问Dagster Cloud API端点（可通过telnet <API_URL> 443测试网络连通性）。
• 生产环境建议通过Docker Compose或Kubernetes进行部署，以实现自动重启、资源限制等运维能力。