dagster/dagster-celery-k8s

镜像概述

本镜像为针对Kubernetes环境设计的主机进程镜像（Host process image），专门用于部署和运行Celery工作节点。作为主机进程镜像，它允许Celery工作节点直接在Kubernetes节点的主机网络命名空间中运行，而非传统容器的隔离环境，适用于需要与主机系统资源紧密集成或追求低开销任务处理的场景。

核心功能和特性

• Kubernetes原生集成：支持在Kubernetes集群中通过标准控制器（如Deployment、DaemonSet）部署，兼容K8s的服务发现、资源调度和生命周期管理。
• Celery运行环境：内置Celery工作节点运行依赖，无需额外配置即可接入Celery分布式任务队列。
• 主机级进程模式：以主机进程身份运行，可直接访问主机网络、存储和系统资源，减少容器隔离带来的性能开销。
• 灵活配置支持：通过环境变量和配置文件支持Celery核心参数自定义，如任务队列类型、并发数、结果存储等。

使用场景

• 分布式任务处理：在Kubernetes集群中部署Celery分布式任务队列，处理后端服务的异步任务（如邮件发送、日志处理、数据批量计算）。
• 主机资源访问需求：需要直接访问主机文件系统、网络接口或硬件资源的Celery任务（如监控数据采集、本地文件处理）。
• 低延迟任务执行：通过主机进程模式减少容器化隔离开销，提升任务处理响应速度。

使用方法

基本部署示例

Docker Run 命令

bash
docker run -d \
  --name celery-worker \
  --network host \
  -e CELERY_BROKER_URL=redis://<redis-host>:6379/0 \
  -e CELERY_RESULT_BACKEND=redis://<redis-host>:6379/1 \
  -e CELERY_APP=myapp.tasks \
  -e CELERY_CONCURRENCY=4 \
  <镜像名称>:<标签>

Kubernetes Deployment 示例

yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: celery-worker
spec:
  replicas: 3
  selector:
    matchLabels:
      app: celery-worker
  template:
    metadata:
      labels:
        app: celery-worker
    spec:
      hostNetwork: true  # 启用主机网络模式
      containers:
      - name: celery-worker
        image: <镜像名称>:<标签>
        env:
        - name: CELERY_BROKER_URL
          value: "redis://redis-service:6379/0"
        - name: CELERY_RESULT_BACKEND
          value: "redis://redis-service:6379/1"
        - name: CELERY_APP
          value: "myapp.tasks"
        - name: CELERY_CONCURRENCY
          value: "4"
        resources:
          requests:
            cpu: "1"
            memory: "1Gi"
          limits:
            cpu: "2"
            memory: "2Gi"

环境变量配置

注意事项

• 启用hostNetwork: true后，容器将直接使用主机网络，需确保端口不与主机其他服务冲突。
• 生产环境中建议通过Kubernetes ConfigMap/Secret管理敏感配置（如CELERY_BROKER_URL的认证信息）。
• 根据任务类型调整CELERY_CONCURRENCY和资源限制，避免资源竞争导致任务阻塞。