razorpay/opscontainers

生产环境DaemonSet的Fluentd容器

镜像概述和主要用途

本镜像为生产环境设计，用于Kubernetes DaemonSet部署，提供日志收集、处理、聚合的完整解决方案。通过集成多种插件，实现日志 enrichment、过滤、转发等功能，并支持Prometheus监控，适用于大规模容器集群的日志管理。

核心功能和特性

• 灵活配置：通过环境变量自定义日志级别、聚合节点地址、命名空间过滤规则等
• 丰富插件：集成多种日志处理插件，满足不同场景需求
• 监控支持：暴露Prometheus metrics，便于日志系统监控
• Kubernetes集成：支持Kubernetes元数据过滤，增强日志上下文信息

已安装插件

• https://github.com/fluent-plugins-nursery/fluent-plugin-concat%EF%BC%9A%E6%97%A5%E5%BF%97%E7%89%87%E6%AE%B5%E5%90%88%E5%B9%B6
• https://github.com/fluent/fluent-plugin-prometheus%EF%BC%9APrometheus%E6%8C%87%E6%A0%87%E5%AF%BC%E5%87%BA
• https://github.com/repeatedly/fluent-plugin-record-modifier%EF%BC%9A%E6%97%A5%E5%BF%97%E8%AE%B0%E5%BD%95%E4%BF%AE%E6%94%B9
• https://github.com/fabric8io/fluent-plugin-kubernetes_metadata_filter%EF%BC%9AKubernetes%E5%85%83%E6%95%B0%E6%8D%AE%E8%BF%87%E6%BB%A4
• https://github.com/fluent-plugin-systemd/fluent-plugin-systemd%EF%BC%9Asystemd%E6%97%A5%E5%BF%97%E6%94%B6%E9%9B%86

版本信息

• Fluentd 版本：1.5.2

环境变量配置

Prometheus监控

Metrics暴露地址：FLUENTD_[VM|POD]_IP:17171/metrics

使用场景和适用范围

• 生产环境Kubernetes集群的日志集中收集
• 需要对容器日志进行过滤、 enrichment 和聚合的场景
• 需监控日志系统性能和状态的企业级应用

使用方法

基本部署示例（Docker Run）

bash
docker run -d \
  -e LOG_LEVEL=info \
  -e CLUSTER_ENV=prod-cluster \
  -e AGG_FLUSH_INTERVAL=60s \
  -e FLUENTD_AGGREGATOR_EP=fluentd-aggregator:24224 \
  -e AGG_INCLUDE_NS_REGEX="^(default|kube-system)$" \
  --name fluentd-daemonset \
  [镜像名称]

Kubernetes DaemonSet配置片段

yaml
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: fluentd-daemonset
spec:
  template:
    spec:
      containers:
      - name: fluentd
        image: [镜像名称]
        env:
        - name: LOG_LEVEL
          value: "info"
        - name: CLUSTER_ENV
          value: "prod-cluster"
        - name: AGG_FLUSH_INTERVAL
          value: "60s"
        - name: FLUENTD_AGGREGATOR_EP
          value: "fluentd-aggregator:24224"
        - name: AGG_INCLUDE_NS_REGEX
          value: "^(default|kube-system)$"