bigcontainer/flume

Apache Flume Docker镜像文档

镜像概述和主要用途

Apache Flume是一个分布式、高可靠、高可用的系统，专为从大量数据源向Hadoop生态系统中的各类存储系统（如HDFS、HBase、ElasticSearch、Kafka等）推送数据而设计。Bigcontainer Flume Docker镜像将Apache Flume容器化，提供便捷的部署方式，适用于大数据生态系统中的实时或近实时数据采集场景。

Flume的核心价值在于其灵活的架构设计，支持轻松扩展，并通过持久化通道确保数据不丢失。部署的最小单元为Flume代理（agent），多个代理可连接形成多跳数据流（multi-hop flows），实现数据从源到目标的可靠传输。

核心功能和特性

核心组件

每个Flume代理包含三个关键组件：

• Source（源）：接收外部系统发送的事件（event），并将其存储到一个或多个通道中。
• Channel（通道）：被动存储事件，直到被接收器消费，支持持久化（如文件通道）或内存通道。
• Sink（接收器）：从通道中取出事件，并将其发送到外部存储系统或下一个代理。

扩展组件

• Interceptors（拦截器）：位于源和通道之间的可插拔组件，支持事件修改、过滤（如基于正则表达式丢弃事件）、添加/移除头部信息、数据增强等。
• Channel Selectors（通道选择器）：决定事件应发送到哪个通道（如发送到所有通道或基于头部值选择特定通道）。
• Sink Groups and Sink Processors（接收器组和处理器）：将多个接收器逻辑分组，通过负载均衡或故障转移机制消除数据处理 pipeline 中的单点故障。

关键特性

• 分布式架构：支持多代理级联，形成复杂数据流。
• 高可靠性：通过持久化通道确保数据不丢失。
• 高可定制性：支持自定义源、通道、接收器及拦截器。
• 易扩展性：可轻松横向扩展代理数量以应对数据量增长。

使用场景和适用范围

Flume适用于以下场景：

• 从日志文件、应用程序、传感器等大量数据源采集数据。
• 向Hadoop生态系统存储组件（HDFS、HBase、Kafka等）推送数据。
• 构建近实时数据处理 pipeline，支持Cloudera推荐的实时数据处理架构。
• 需要高可靠性和可扩展性的数据 ingestion 场景。

使用方法和配置说明

Docker部署示例

基本运行命令

bash
# 启动Flume容器
docker run --name myflume docker.xuanyuan.run/bigcontainer/flume

# 获取容器IP
export FLUMEIP=$(docker inspect --format '{{ .NetworkSettings.IPAddress }}' myflume)

# 发送测试事件
curl -X POST \
    -H 'Content-Type: application/json; charset=UTF-8' \
    -d '[{"headers":{"header.key":"header.value"}, "body":"hello world"}]' \  
    $FLUMEIP:1234 

自定义配置文件

创建配置文件helloworld.conf，定义代理、源、通道和接收器：

conf
agent.sources = s1
agent.channels = c1
agent.sinks = k1

# 配置HTTP源（接收HTTP POST/GET请求）
agent.sources.s1.type = http
agent.sources.s1.handler = org.apache.flume.source.http.JSONHandler
agent.sources.s1.channels = c1  # 关联通道c1
agent.sources.s1.bind = 0.0.0.0  # 监听所有网络接口
agent.sources.s1.port = 1234     # 监听端口

# 配置内存通道
agent.channels.c1.type = memory

# 配置日志接收器（用于调试，将事件输出到日志）
agent.sinks.k1.type = logger
agent.sinks.k1.channel = c1  # 关联通道c1

启动容器时挂载配置文件：

bash
docker run --name myflume -v $(pwd)/helloworld.conf:/opt/flume/conf/helloworld.conf docker.xuanyuan.run/bigcontainer/flume \
    bin/flume-ng agent -n agent -c conf -f conf/helloworld.conf -Dflume.root.logger=INFO,console

OpenShift部署

创建应用

使用远程Git仓库构建镜像并创建应用：

bash
# 登录OpenShift
oc login -u developer

# 基于Git仓库创建应用（包含Dockerfile）
oc new-app https://github.com/bigcontainer/bigcont \
    --context-dir=flume \
    --name=flume-service

# 查看构建日志
oc logs bc/flume-service -f

暴露服务路由

bash
# 获取路由器IP
oc describe pod router-1-kb10r | grep IP

# 暴露路由（替换<router-ip>为实际IP）
oc expose --hostname=flume.<router-ip>.xip.io svc flume-service

测试事件发送

bash
# 发送测试事件
curl -X POST \
    -H 'Content-Type: application/json; charset=UTF-8' \
    -d '[{"headers":{"header.key":"header.value"}, "body":"hello world"}]' \  
    flume.<router-ip>.xip.io

扩展集群

bash
# 扩展副本数至3个
oc scale --replicas=3 rc flume-service-1

# 查看 pods
oc get pod

高级配置

对于复杂场景（如多跳数据流、配置解耦），可参考Flume模板文件夹，使用ConfigMap管理配置数据，实现容器与配置的解耦。