travix/fluentd-elasticsearch

Kubernetes日志导出至Elasticsearch Docker镜像文档

镜像概述和主要用途

本Docker镜像提供便捷的Kubernetes日志导出能力，可将集群中的容器日志、系统组件日志等数据统一发送至指定的Elasticsearch服务，实现日志的集中存储与分析。通过轻量化设计和简单配置，快速部署于Kubernetes环境，满足日志统一管理需求。

核心功能和特性

• Kubernetes日志采集：支持采集容器标准输出日志、Pod日志及系统组件日志
• Elasticsearch集成：无缝对接Elasticsearch服务，实现日志数据实时存储与索引
• 灵活的目标服务配置：通过环境变量ELASTICSEARCH_HOST_NAME指定Elasticsearch服务地址，简化部署流程
• 轻量级部署：镜像体积精简，资源占用低，适合在资源受限的Kubernetes集群中运行
• 自动化日志转发：持续监控日志源并自动转发新增日志，确保数据完整性

使用场景和适用范围

• Kubernetes日志集中管理：适用于需要将分散在多节点、多Pod的日志统一收集的场景
• 日志检索与分析：配合Elasticsearch提供的全文检索能力，支持日志高效查询与过滤
• 集群监控与故障排查：通过集中日志快速定位Kubernetes集群异常，提升问题排查效率
• 合规审计：满足日志长期留存需求，适用于对日志管理有严格合规要求的企业环境
• 中小规模集群部署：轻量化设计特别适合资源有限的中小规模Kubernetes集群

使用方法和配置说明

环境变量配置

Docker运行示例

bash
docker run -d \
  --name k8s-log-exporter \
  -e ELASTICSEARCH_HOST_NAME=elasticsearch.example.com \
  -e ELASTICSEARCH_PORT=9200 \
  -e ELASTICSEARCH_INDEX=prod-k8s-logs \
  -v /var/log/containers:/var/log/containers:ro \
  -v /var/log/pods:/var/log/pods:ro \
  [镜像名称]:[版本标签]

说明：需挂载主机的/var/log/containers和/var/log/pods目录（只读模式）以访问Kubernetes日志源

Kubernetes部署示例

DaemonSet配置（推荐）：

yaml
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: k8s-log-exporter
  namespace: logging
spec:
  selector:
    matchLabels:
      app: k8s-log-exporter
  template:
    metadata:
      labels:
        app: k8s-log-exporter
    spec:
      containers:
      - name: log-exporter
        image: [镜像名称]:[版本标签]
        env:
        - name: ELASTICSEARCH_HOST_NAME
          value: "elasticsearch.logging.svc.cluster.local"  # 替换为实际ES服务地址
        - name: ELASTICSEARCH_PORT
          value: "9200"
        - name: ELASTICSEARCH_INDEX
          value: "k8s-logs-$(NODE_NAME)"
        volumeMounts:
        - name: var-log-containers
          mountPath: /var/log/containers
          readOnly: true
        - name: var-log-pods
          mountPath: /var/log/pods
          readOnly: true
      volumes:
      - name: var-log-containers
        hostPath:
          path: /var/log/containers
      - name: var-log-pods
        hostPath:
          path: /var/log/pods

注意事项

• 确保Kubernetes节点网络可访问目标Elasticsearch服务的ELASTICSEARCH_HOST_NAME和ELASTICSEARCH_PORT
• 挂载主机日志目录时需配置readOnly: true以保证节点安全性
• 若Elasticsearch启用认证，需通过ES_USERNAME和ES_PASSWORD环境变量提供凭证
• 大规模集群建议调整日志采集速率限制，避免对Elasticsearch造成流量冲击