ikuai/rsyslog-kafka

rsyslog with omkafka 镜像文档

镜像概述

本镜像基于Ubuntu 18.04构建，集成了rsyslog日志收集系统及omkafka插件，默认时区配置为CST（Asia/Shanghai）。主要用于收集系统或应用日志，并通过omkafka插件将日志数据发送至Kafka消息队列，适用于日志集中管理与实时分析场景。

核心功能与特性

• 基础环境：基于Ubuntu 18.04 LTS，提供稳定的运行环境
• 日志收集：集成rsyslog，支持多种日志输入方式（如文件、系统日志、网络日志等）
• Kafka输出：通过omkafka插件实现日志数据向Kafka集群的高效发送
• 时区配置：默认设置为CST（Asia/Shanghai），确保日志时间戳与本地时间一致

使用场景

• 系统日志集中收集与转发至Kafka
• 应用程序日志实时发送至Kafka用于后续分析
• 容器化环境下的日志聚合与流处理前置节点

使用方法

基本运行命令

bash
docker run -d \
  --name docker.xuanyuan.run/rsyslog-omkafka \
  -v /path/to/rsyslog.conf:/etc/rsyslog.conf \
  -v /path/to/logs:/var/log \
  docker.xuanyuan.run/rsyslog-omkafka

配置说明

核心配置文件

需通过挂载自定义rsyslog.conf配置文件实现日志收集与Kafka转发，关键配置示例：

conf
# 加载omkafka模块
module(load="omkafka")

# 配置Kafka输出
action(
  type="omkafka"
  topic="your-kafka-topic"
  broker="kafka-broker1:9092,kafka-broker2:9092"
  partitions.auto="on"
  template="json-template"  # 可选：自定义日志格式模板
)

# 日志输入配置（示例：收集/var/log/syslog）
input(type="imfile"
  File="/var/log/syslog"
  Tag="syslog:"
  Severity="info"
  Facility="local0"
)

挂载说明

• /etc/rsyslog.conf：rsyslog主配置文件，需挂载自定义配置
• /var/log：日志源目录，根据实际需求挂载需收集的日志文件路径

环境变量（可选）

若需动态调整配置，可通过环境变量传递关键参数（需在配置文件中引用）：

• KAFKA_BROKERS：Kafka集群地址，如kafka-broker1:9092,kafka-broker2:9092
• KAFKA_TOPIC：目标Kafka主题名称
• LOG_TEMPLATE：日志输出模板名称

docker-compose示例

yaml
version: '3'
services:
  rsyslog-omkafka:
    image: rsyslog-omkafka
    container_name: rsyslog-omkafka
    volumes:
      - ./rsyslog.conf:/etc/rsyslog.conf
      - /var/log:/var/log:ro
    environment:
      - KAFKA_BROKERS=kafka:9092
      - KAFKA_TOPIC=system-logs
    restart: unless-stopped