onfido/fluentd-es-aws

fluentd-es-aws

镜像概述

这是一个Fluentd守护进程镜像，用于收集Kubernetes或Docker容器日志，并将日志转发至AWS ElasticSearch服务。该镜像基于Kubernetes官方fluentd-es-image及开源项目改编，适用于AWS云环境下的日志集中化管理场景。

核心功能

• 收集Docker或Kubernetes集群中的容器日志
• 将日志数据转发至AWS ElasticSearch服务进行存储与分析
• 支持通过环境变量灵活配置连接参数

使用场景

• AWS环境下Kubernetes集群的日志统一收集与管理
• Docker容器日志的持久化存储与检索需求
• 需要将日志数据集成到ElasticSearch进行分析的场景

配置说明

使用该镜像前需配置以下环境变量：

• AWS_ELASTICSEARCH_URL：AWS ElasticSearch服务的端点（需以https://开头）
• AWS_REGION：AWS服务所在区域（如us-east-1）
• AWS_ACCESS_KEY_ID：AWS访问密钥ID
• AWS_SECRET_ACCESS_KEY：AWS秘密访问密钥
• LOGSTASH_PREFIX：日志在ElasticSearch中的索引前缀

部署示例

Docker Run命令

bash
docker run -d \
  -e AWS_ELASTICSEARCH_URL=https://your-es-endpoint.amazonaws.com \
  -e AWS_REGION=us-east-1 \
  -e AWS_ACCESS_KEY_ID=your-access-key \
  -e AWS_SECRET_ACCESS_KEY=your-secret-key \
  -e LOGSTASH_PREFIX=kubernetes-logs \
  -v /var/log:/var/log \
  -v /var/lib/docker/containers:/var/lib/docker/containers \
  onfido/fluentd-es-aws

Docker Compose示例

yaml
version: '3'
services:
  fluentd-es-aws:
    image: onfido/fluentd-es-aws
    environment:
      AWS_ELASTICSEARCH_URL: [***]
      AWS_REGION: us-east-1
      AWS_ACCESS_KEY_ID: your-access-key
      AWS_SECRET_ACCESS_KEY: your-secret-key
      LOGSTASH_PREFIX: kubernetes-logs
    volumes:
      - /var/log:/var/log
      - /var/lib/docker/containers:/var/lib/docker/containers
    restart: always