astronomerinc/ap-redis Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

Astronomer Airflow Celery Redis 镜像文档

镜像概述

该镜像提供专为Astronomer平台设计的Redis服务，主要用于支持Apache Airflow的Celery执行器模式。作为消息代理，它负责在Airflow的调度器、工作节点之间传递任务消息，确保分布式任务的可靠调度与执行。

主要用途

• 作为Airflow Celery执行器的消息代理，实现任务请求的传递与队列管理
• 支持Astronomer平台环境下Airflow的分布式任务执行架构
• 保障任务调度流程的稳定性与高效性

核心功能和特性

• 平台兼容性：与Astronomer平台及Airflow Celery执行器无缝集成，确保环境一致性
• 消息代理功能：提供可靠的消息队列服务，支持任务请求的传递与暂存
• 任务队列管理：支持多工作节点的任务分发，实现负载均衡
• 性能优化：针对Airflow任务特性优化的Redis配置，减少消息处理延迟
• 可配置性：支持通过环境变量和配置文件自定义Redis行为，如持久化策略、内存限制等

使用场景和适用范围

适用场景

• 在Astronomer平台中部署采用Celery执行器的Airflow实例
• 需要实现Airflow任务的分布式执行（多工作节点）
• 处理中等至大规模任务量的Airflow环境
• 要求任务调度高可靠性和低延迟的生产环境

不适用场景

• 非Astronomer平台环境下的Airflow部署（除非进行额外兼容性配置）
• Airflow使用LocalExecutor或KubernetesExecutor等非Celery执行器模式
• 对Redis有特殊定制需求且超出本镜像支持范围的场景

使用方法和配置说明

基本使用（docker run）

通过以下命令启动Redis服务容器：

bash
docker run -d \
  --name astronomer-redis \
  -p 6379:6379 \
  -v redis-data:/data \
  astronomer/redis:latest

参数说明：

• -d：后台运行容器
• --name astronomer-redis：指定容器名称
• -p 6379:6379：映射容器Redis端口到主机
• -v redis-data:/data：挂载数据卷以持久化Redis数据

Docker Compose配置示例

在Astronomer平台或Airflow的docker-compose.yml中集成：

yaml
version: '3.8'
services:
  redis:
    image: astronomer/redis:latest
    container_name: astronomer-redis
    ports:
      - "6379:6379"
    volumes:
      - redis-data:/data
    environment:
      - REDIS_PASSWORD=your_secure_password
      - REDIS_DB=0
      - REDIS_MAXMEMORY=2gb
      - REDIS_MAXMEMORY_POLICY=allkeys-lru
    restart: unless-stopped

volumes:
  redis-data:

环境变量配置

自定义配置

如需进一步自定义Redis配置，可通过挂载自定义redis.conf文件实现：

bash
docker run -d \
  --name astronomer-redis \
  -p 6379:6379 \
  -v ./custom-redis.conf:/etc/redis/redis.conf \
  -v redis-data:/data \
  astronomer/redis:latest redis-server /etc/redis/redis.conf

与Airflow集成配置

在Airflow配置中，需将Celery执行器的消息代理指向该Redis服务：

python
# airflow.cfg
executor = CeleryExecutor
broker_url = redis://:[REDIS_PASSWORD]@redis:6379/[REDIS_DB]
result_backend = db+postgresql://airflow:airflow@postgres/airflow

将[REDIS_PASSWORD]和[REDIS_DB]替换为实际配置的值。