jerbob92/keda-celery-scaler

KEDA Celery Scaler

镜像概述

本镜像为KEDA（Kubernetes Event-Driven Autoscaling）的外部扩展器，针对Celery Redis Broker提供负载驱动的自动扩缩容能力。它解决了传统队列长度扩缩的滞后问题，通过负载指标提前调整worker数量，更好地应对峰值负载场景。

核心功能

1. 负载驱动扩缩：基于(活跃任务+队列长度)/可用worker的负载指标触发扩缩，避免队列堆积。
2. Worker信息获取：支持两种方式获取worker队列与并发信息：
   • 自动：通过Celery钩子@celeryd_init.connect将信息注入心跳；
   • 手动：通过环境变量KCS_WORKER_QUEUE_MAP映射worker hostname到队列和并发。
3. 灵活Redis配置：支持独立Redis和Redis哨兵模式，可配置连接超时、池大小、TLS等参数。

使用场景

• 处理时间敏感任务的Celery应用，需提前扩缩避免延迟；
• 生产环境中worker动态扩缩频繁的场景；
• 需要基于负载而非队列长度进行扩缩的Celery服务。

配置说明

环境变量列表

部署示例

Docker运行

bash
docker run -d -p 6000:6000 \
  -e KCS_LOG_LEVEL=info \
  -e KCS_REDIS_SERVER=redis-host:6379 \
  -e KCS_WORKER_QUEUE_MAP="email-worker:emails:1;notifications-worker:notifications:2" \
  jerbob92/keda-celery-scaler:latest

Kubernetes部署

1. 扩展器Deployment

yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: keda-celery-autoscaler
  labels:
    component: keda-celery-autoscaler
spec:
  replicas: 1
  selector:
    matchLabels:
      component: keda-celery-autoscaler
  template:
    metadata:
      labels:
        component: keda-celery-autoscaler
    spec:
      containers:
        - name: keda-celery-autoscaler
          image: "jerbob92/keda-celery-scaler:latest"
          env:
            - name: KCS_LOG_LEVEL
              value: "info"
            - name: KCS_REDIS_SERVER
              value: "redis-service.default.svc.cluster.local"
            - name: KCS_WORKER_QUEUE_MAP
              value: "email-worker:emails;notifications-worker:notifications"
          ports:
            - containerPort: 6000
              name: scaler-port

2. 扩展器Service

yaml
apiVersion: v1
kind: Service
metadata:
  name: keda-celery-autoscaler
spec:
  ports:
    - port: 6000
      targetPort: scaler-port
      name: scaler-port
  selector:
    component: keda-celery-autoscaler

3. KEDA ScaledObject

yaml
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: email-worker-scaler
spec:
  scaleTargetRef:
    name: email-worker
  pollingInterval: 5
  cooldownPeriod: 300
  minReplicaCount: 5
  maxReplicaCount: 15
  triggers:
    - type: external
      metadata:
        scalerAddress: "keda-celery-autoscaler.default.svc.cluster.local:6000"
        queue: "emails"
        scaleLoadValue: "70" # 负载达70%时扩缩
      metricType: Value

许可证

本镜像基于MIT许可证开源。