astronomerinc/ap-fluentd

Astronomer Log Collection Daemon 镜像文档

镜像概述

Astronomer Log Collection Daemon 是 Astronomer 平台的核心组件之一，作为轻量级日志收集守护进程，专门用于在 Astronomer 平台环境中实现日志数据的集中化采集、处理与传输。该镜像旨在简化平台日志管理流程，确保日志数据从产生到存储的全链路可靠性，为平台监控、故障排查及审计分析提供基础数据支持。

核心功能与特性

1. 多源日志采集

• 支持采集 Astronomer 平台各组件（如 Airflow 调度器、Worker、Webserver 等）的日志数据
• 兼容容器化环境日志（Docker 容器标准输出、文件日志）及主机级日志
• 支持自定义日志源路径配置，满足多样化日志采集需求

2. 日志处理能力

• 提供日志过滤功能，支持按关键字、级别等条件筛选日志
• 支持日志格式转换，可将原始日志转换为 JSON 等结构化格式
• 内置日志脱敏机制，保护敏感信息（如密码、API 密钥等）

3. 灵活的日志传输

• 支持多种输出目标，包括 Elasticsearch、Amazon S3、Google Cloud Storage、Kafka 等
• 支持批量传输与断点续传，确保日志数据不丢失
• 可配置传输优先级，保障关键日志的优先处理

4. 高可用性与可靠性

• 轻量级设计，资源占用低，适合在容器化环境中部署
• 内置健康检查机制，支持自动恢复与故障转移
• 支持日志本地缓存，在输出目标不可用时临时存储日志

使用场景与适用范围

适用场景

• Astronomer 平台部署环境的日志集中化管理
• 平台运行状态监控与故障排查
• 合规审计与日志数据归档
• 多环境（开发、测试、生产）日志统一采集

适用范围

• Astronomer 平台 v0.16+ 版本部署环境
• Kubernetes 集群环境（推荐）及 Docker Compose 部署环境
• Linux 操作系统（x86_64/arm64 架构）

使用方法与配置说明

前置条件

• Docker 19.03+ 或 Kubernetes 1.16+ 环境
• 已部署 Astronomer 平台核心组件
• 日志输出目标服务（如 Elasticsearch）已就绪并可访问

Docker 运行示例

基本运行命令

bash
docker run -d \
  --name astronomer-log-daemon \
  --restart always \
  -v /var/log/astronomer:/var/log/astronomer:ro \  # 挂载平台日志目录（只读）
  -v /var/run/docker.sock:/var/run/docker.sock:ro \  # 访问 Docker 容器日志（可选）
  -e LOG_OUTPUT_DESTINATION="elasticsearch" \  # 日志输出目标类型
  -e ELASTICSEARCH_URL="http://elasticsearch:9200" \  # Elasticsearch 服务地址
  -e LOG_LEVEL="info" \  # 守护进程自身日志级别
  astronomer/log-collection-daemon:latest

Docker Compose 配置示例

yaml
version: '3.8'
services:
  log-daemon:
    image: astronomer/log-collection-daemon:latest
    container_name: astronomer-log-daemon
    restart: always
    volumes:
      - /var/log/astronomer:/var/log/astronomer:ro
      - /var/run/docker.sock:/var/run/docker.sock:ro
    environment:
      - LOG_OUTPUT_DESTINATION=elasticsearch
      - ELASTICSEARCH_URL=http://elasticsearch:9200
      - ELASTICSEARCH_INDEX="astronomer-logs-{{ .Timestamp.Format \"2006-01-02\" }}"
      - LOG_SOURCE_PATHS="/var/log/astronomer/*.log,/var/log/astronomer/workers/*.log"  # 多日志源路径
      - LOG_FILTER_INCLUDE="level:info,level:warn,level:error"  # 包含指定级别的日志
      - CACHE_DIR="/tmp/log-cache"  # 本地日志缓存目录
    networks:
      - astronomer-platform-network  # 加入平台网络，确保与其他组件通信

networks:
  astronomer-platform-network:
    external: true

Kubernetes 部署示例（简化版）

yaml
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: astronomer-log-daemon
  namespace: astronomer
spec:
  selector:
    matchLabels:
      app: astronomer-log-daemon
  template:
    metadata:
      labels:
        app: astronomer-log-daemon
    spec:
      containers:
      - name: log-daemon
        image: astronomer/log-collection-daemon:latest
        volumeMounts:
        - name: var-log-astronomer
          mountPath: /var/log/astronomer
          readOnly: true
        - name: docker-sock
          mountPath: /var/run/docker.sock
          readOnly: true
        - name: log-cache
          mountPath: /tmp/log-cache
        env:
        - name: LOG_OUTPUT_DESTINATION
          value: "elasticsearch"
        - name: ELASTICSEARCH_URL
          valueFrom:
            configMapKeyRef:
              name: astronomer-config
              key: elasticsearch.url
        - name: LOG_LEVEL
          value: "info"
      volumes:
      - name: var-log-astronomer
        hostPath:
          path: /var/log/astronomer
      - name: docker-sock
        hostPath:
          path: /var/run/docker.sock
      - name: log-cache
        emptyDir: {}

环境变量配置说明

日志格式说明

默认采集的日志数据包含以下字段（结构化 JSON 格式）：

json
{
  "timestamp": "2023-10-01T12:34:56.789Z",  # 日志产生时间（UTC）
  "source": "/var/log/astronomer/airflow-scheduler.log",  # 日志源路径
  "level": "info",  # 日志级别
  "message": "Scheduler started successfully",  # 日志内容
  "hostname": "astronomer-scheduler-5f78d2",  # 主机/容器名
  "component": "airflow-scheduler",  # 平台组件名
  "cluster_id": "astronomer-prod-01"  # 集群标识（如有）
}

故障排查

常见问题及解决方法

1. 日志采集不完整

   • 检查 LOG_SOURCE_PATHS 配置是否包含目标日志路径
   • 确认日志文件权限（容器需有读取权限）
   • 查看守护进程日志：docker logs astronomer-log-daemon

2. 日志无法传输到目标服务

   • 验证输出目标服务地址与端口可访问：docker exec -it astronomer-log-daemon curl http://elasticsearch:9200
   • 检查目标服务认证信息（如 Elasticsearch 用户名密码）
   • 查看缓存目录使用情况：docker exec -it astronomer-log-daemon du -sh /tmp/log-cache

3. 容器启动失败

   • 检查挂载目录是否存在：ls -ld /var/log/astronomer
   • 确认环境变量配置格式正确（如无多余空格、引号匹配）

版本信息

• 最新稳定版：astronomer/log-collection-daemon:latest
• 版本历史与更新日志：参见 Astronomer 官方文档

注意事项

• 生产环境建议使用 Kubernetes DaemonSet 部署，确保集群内所有节点日志均被采集
• 定期清理日志缓存目录，避免磁盘空间耗尽
• 敏感环境下建议启用 TLS 加密传输（通过输出目标服务配置实现）