exotelorg/fluentd-kafka

Fluentd-kafka DaemonSet镜像文档

镜像概述和主要用途

本镜像为Fluentd-kafka DaemonSet镜像，设计用于在Kubernetes集群中以DaemonSet模式运行。其核心功能是作为数据采集代理，收集节点级数据（如日志、指标等）并将其可靠推送到指定的Kafka集群，实现数据的集中收集与转发。

核心功能和特性

• DaemonSet部署模式：适配Kubernetes环境，确保集群中每个节点运行一个实例，实现全节点覆盖的数据采集
• Kafka数据推送：集成Fluentd与Kafka客户端，支持将采集的数据高效、可靠地发送到Kafka集群
• 环境变量配置：通过环境变量灵活配置Kafka连接参数，简化部署与配置流程

使用场景和适用范围

• Kubernetes集群日志集中收集与转发
• 节点级系统日志、应用日志实时发送到Kafka
• 需要在每个节点部署数据采集代理并与Kafka消息系统集成的场景
• 分布式系统中节点数据的统一收集与后续处理（如流处理、数据分析）

使用方法和配置说明

环境变量配置

使用本镜像前必须配置以下环境变量：

部署示例

Docker运行示例

bash
docker run -d \
  -e FLUENT_KAFKA_BROKERS="kafka-broker1:9092,kafka-broker2:9092" \
  -e FLUENT_KAFKA_DEFAULT_TOPIC="node-logs" \
  --name fluentd-kafka-daemonset \
  [镜像名称]:[标签]

Kubernetes DaemonSet配置示例

yaml
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: fluentd-kafka
  namespace: logging
spec:
  selector:
    matchLabels:
      name: fluentd-kafka
  template:
    metadata:
      labels:
        name: fluentd-kafka
    spec:
      containers:
      - name: fluentd-kafka
        image: [镜像名称]:[标签]
        env:
        - name: FLUENT_KAFKA_BROKERS
          value: "kafka-broker1:9092,kafka-broker2:9092"
        - name: FLUENT_KAFKA_DEFAULT_TOPIC
          value: "node-logs"
        volumeMounts:
        - name: var-log
          mountPath: /var/log
      volumes:
      - name: var-log
        hostPath:
          path: /var/log

注意事项

• 确保Kafka集群地址和端口可从运行镜像的节点访问
• 需提前创建Kafka主题（FLUENT_KAFKA_DEFAULT_TOPIC指定的主题），或配置Kafka允许自动创建主题
• 根据实际数据量和节点数量调整资源配置（CPU、内存）以确保采集性能