dailyhotel/fluentd-for-elasticsearch

Docker化Fluentd镜像（用于Elasticsearch）

镜像概述

此Docker镜像包含日志代理Fluentd，核心作用是收集Docker容器的控制台日志，将其加工为标准格式后传输至Elasticsearch，支持通过Kibana可视化工具查看日志数据。适用于多种Docker部署环境的日志集中管理需求。

核心功能

1. 自动采集Docker容器的控制台日志
2. 支持Plaintext与JSON格式日志的解析与加工
3. 将处理后的日志稳定传输至Elasticsearch服务
4. 适配单机Docker、Docker Compose、AWS ECS、Kubernetes等多种环境

使用场景

• 单机Docker环境的日志统一存储与分析
• Docker Compose集群的跨容器日志集中管理
• AWS ECS/Kubernetes集群的分布式日志采集
• 需要通过Elasticsearch+Kibana进行日志可视化的场景

配置说明

环境变量

• ES_HOST: Elasticsearch服务地址（必填，如elasticsearch.example.com）
• ES_PORT: Elasticsearch端口（默认443）
• ES_SCHEME: 连接协议（http/https，默认https）

部署示例

Standalone Docker部署

bash
docker run -v /var/lib/docker:/var/lib/docker --name fluentd dailyhotel/fluentd-for-elasticsearch:latest

Docker Compose配置

yaml
version: '2'
services:
  fluentd:
    image: dailyhotel/fluentd:latest
    environment:
      ES_HOST: elasticsearch.dailyhotel.com
      ES_PORT: 443
      ES_SCHEME: https
    restart: always

  mysql:
    image: mysql
    ports:
      - 3306:3306

Kubernetes部署（DaemonSet）

yaml
apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: fluentd
spec:
  template:
    metadata:
      labels:
        app: fluentd
      name: fluentd
    spec:
      containers:
      - image: dailyhotel/fluentd:latest
        imagePullPolicy: Always
        name: fluentd
        env:
        - name: ES_HOST
          value: "elasticsearch.dailyhotel.com"
        - name: ES_PORT
          value: "443"
        - name: ES_SCHEME
          value: "https"
        volumeMounts:
        - name: varlog
          mountPath: /var/log
        - name: varlibdockercontainers
          mountPath: /var/lib/docker/containers
          readOnly: true
      imagePullSecrets:
      - name: dockerhub
      volumes:
      - name: varlog
        hostPath: { path: /var/log }
      - name: varlibdockercontainers
        hostPath: { path: /var/lib/docker/containers }

部署命令：

bash
kubectl --kubeconfig=./kubeconfig --namespace=kube-system create -f ./fluentd.yaml

应用日志最佳实践

• 优先使用控制台日志输出（文件日志暂不支持收集）
• 推荐使用logstash-logback-encoder工具输出JSON格式日志，便于Kibana进行结构化分析
• 避免循环收集Fluentd自身日志，需在配置中排除相关容器日志