mengluo668/flume

docker-flume

Apache Flume的Docker镜像，用于快速部署分布式、可靠、高可用的日志收集与数据传输系统，简化Flume的配置与运行流程。

支持的标签及对应Dockerfile链接

• 1.8.0, latest (https://github.com/supermanHub/docker-flume)

快速参考

获取帮助

<***>

提交问题

https://github.com/supermanHub/docker-flume/issues/new

维护者

Wenbo Wang, <***>

核心功能与特性

• 基于Apache Flume构建，支持日志数据的高效收集、聚合与传输
• 支持自定义代理名称（Agent），适配不同配置场景
• 可挂载外部配置文件，灵活定制Flume采集规则
• 支持自定义日志配置（log4j.properties），控制日志输出
• 提供多种运行方式，支持默认配置、自定义命令及Docker Compose部署

使用场景

• 分布式系统日志集中收集与处理
• 实时数据管道构建，连接数据源与存储系统（如HDFS、Kafka）
• 跨节点数据传输与聚合，适用于大数据处理场景

使用方法与配置说明

默认方式运行

bash
docker run -d docker.xuanyuan.run/mengluo668/flume

注意：默认配置中的代理名称为agent，可通过环境变量自定义，详见下文。

自定义代理名称运行

bash
docker run -e AGENT=myAgent docker.xuanyuan.run/mengluo668/flume

注意：若自定义代理名称，需确保配置文件（如flume-conf.properties）中存在同名代理配置。

挂载自定义配置文件

bash
docker run -v /path/to/your/conf.properties:/apache-flume/conf/flume-conf.properties docker.xuanyuan.run/mengluo668/flume

注意：若使用非默认代理名称，需同时通过环境变量设置AGENT。

挂载自定义日志配置

bash
docker run -v /path/to/your/log4j.properties:/apache-flume/conf/log4j.properties docker.xuanyuan.run/mengluo668/flume

注意：通过log4j.properties可指定日志输出路径、级别等参数。

自定义命令运行

bash
docker run docker.xuanyuan.run/mengluo668/flume sh -c "./bin/flume-ng agent -n ${AGENT} -c conf -f conf/flume-conf.properties"

注意：可通过此方式执行自定义Flume命令，满足特殊运行需求。

Docker Compose部署示例

yaml
version: "3.6"
services:
  flume1:
    image: mengluo668/flume:1.8.0
    hostname: flume1.example.com
    container_name: flume1.example.com
    restart: always
    environment:
      AGENT: fw
    volumes:
      - ${PWD}/flume/fw.properties:/apache-flume/conf/flume-conf.properties
    networks:
      webnet:
        aliases:
          - "flume1.example.com"
  flume2:
    image: mengluo668/flume:1.8.0
    hostname: flume2.example.com
    container_name: flume2.example.com
    restart: always
    environment:
      AGENT: sw
    volumes:
      - ${PWD}/flume/sw.properties:/apache-flume/conf/flume-conf.properties
    networks:
      webnet:
        aliases:
          - "flume2.example.com"
networks:
  webnet: