cclient/logstash

Logstash 镜像文档

镜像概述

本系列镜像包含多个Logstash版本，针对Kafka集成场景进行优化：

• logstash:2.4-alpine-kfk-0.9：基于Alpine系统构建，专门优化用于访问Kafka 0.9版本
• logstash:6.3.0 与 logstash:6.8.13：增强Kafka输出插件（logstash-output-kafka）功能，支持Kafka事务相关参数配置，适配不同版本Kafka客户端

核心功能与特性

版本适配能力

• logstash:2.4-alpine-kfk-0.9：针对Kafka 0.9版本进行兼容性优化
• 6.x系列版本与Kafka组件版本对应关系：

Kafka事务参数支持

6.x版本镜像新增对两项关键Kafka事务参数的支持：

• max_in_flight_requests_per_connection：控制每个连接的最大未确认请求数，确保消息投递顺序性
• enable_idempotence：启用Kafka生产者幂等性，实现消息精确一次投递（exactly-once）

使用场景

• 需通过Logstash与Kafka 0.9版本集成的日志数据采集场景（适用于2.4-alpine-kfk-0.9）
• 对Kafka消息投递可靠性有高要求的场景，如***、电商等需确保数据一致性的业务（适用于6.x版本）
• 需要适配不同Kafka客户端版本的Logstash部署环境

使用方法与配置说明

基础部署命令

通过挂载配置文件启动容器（以6.8.13版本为例）：

bash
docker run -d \
  -v /path/to/logstash/config:/usr/share/logstash/config \
  -v /path/to/pipeline:/usr/share/logstash/pipeline \
  --name logstash \
  docker.xuanyuan.run/logstash:6.8.13

Kafka输出插件配置示例

6.x版本中配置Kafka输出时可使用新增事务参数：

ruby
output {
    kafka {
        acks => "all"                  # 消息确认机制，"all"表示等待所有副本确认
        codec => "json"                # 数据编码格式
        topic_id => "test_topic"       # 目标Kafka主题名称
        bootstrap_servers => "a:9092,b:9092,c:9092"  # Kafka集群地址列表
        batch_size => 2048             # 批处理消息数量
        max_request_size => 512000     # 最大请求大小（字节）
        # 新增事务参数配置
        max_in_flight_requests_per_connection => 1  # 每个连接的最大未确认请求数，设为1确保顺序性
        enable_idempotence => "true"   # 启用幂等性，确保消息不重复投递
    }
}

关键参数说明