itzg/logback-kafka-relay

logback-kafka-relay 镜像文档

镜像概述

logback-kafka-relay 是一个轻量级Docker镜像，用于接收通过Logback SocketAppender发送的远程日志事件，将其转换为Logstash JSON格式，并转发到Kafka消息队列。该镜像简化了分布式应用日志的集中收集与标准化处理流程。

核心功能和特性

• Logback事件接收：支持接收Logback框架通过SocketAppender发送的远程日志事件
• Logstash JSON格式化：将日志事件转换为Logstash兼容的JSON格式，包含时间戳、日志级别、消息、线程、logger名称等字段
• Kafka集成：将格式化后的日志消息可靠发送到指定的Kafka主题
• 轻量级设计：基于Java构建，资源占用低，部署简单
• 可配置性：通过环境变量灵活配置Kafka连接参数、日志级别等

使用场景和适用范围

• 分布式应用日志集中收集：适用于微服务架构中多实例应用的日志聚合
• 日志标准化处理：需要将不同服务的Logback日志统一格式化为Logstash JSON时
• Kafka日志管道构建：作为ELK（Elasticsearch, Logstash, Kibana）或其他日志分析平台的前置数据采集组件
• 远程日志转发：应用无法直接连接Kafka时，通过该中继服务转发日志

使用方法和配置说明

基本运行方式

使用以下命令启动容器：

bash
docker run -d \
  -p 4560:4560 \
  -e KAFKA_BOOTSTRAP_SERVERS=kafka:9092 \
  -e KAFKA_TOPIC=logs \
  --name logback-kafka-relay \
  docker.xuanyuan.run/itzg/logback-kafka-relay

Docker Compose配置示例

yaml
version: '3'
services:
  logback-relay:
    image: docker.xuanyuan.run/itzg/logback-kafka-relay
    ports:
      - "4560:4560"
    environment:
      - KAFKA_BOOTSTRAP_SERVERS=kafka:9092
      - KAFKA_TOPIC=application-logs
      - LOG_LEVEL=INFO
      - KAFKA_PRODUCER_ACKS=1
    depends_on:
      - kafka

  kafka:
    image: docker.xuanyuan.run/confluentinc/cp-kafka:latest
    environment:
      - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka:9092
      - KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1
      - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
    depends_on:
      - zookeeper

  zookeeper:
    image: docker.xuanyuan.run/confluentinc/cp-zookeeper:latest
    environment:
      - ZOOKEEPER_CLIENT_PORT=2181

配置参数（环境变量）

Logback客户端配置

在应用的logback.xml中配置SocketAppender，指向中继服务：

xml
<appender name="SOCKET" class="ch.qos.logback.classic.net.SocketAppender">
  <remoteHost>logback-kafka-relay</remoteHost>
  <port>4560</port>
  <reconnectionDelay>10000</reconnectionDelay>
  <includeCallerData>true</includeCallerData>
</appender>

<root level="INFO">
  <appender-ref ref="SOCKET" />
</root>

注意事项

• 确保Kafka集群可被容器访问，网络配置正确
• 首次使用时需确保目标Kafka主题已创建（或Kafka配置为自动创建主题）
• 高负载场景下可调整Kafka生产者配置（如KAFKA_PRODUCER_BATCH_SIZE、KAFKA_PRODUCER_LINGER_MS）以优化性能
• 自定义字段通过LOGSTASH_FIELDS_*环境变量添加，有助于日志分类和筛选