paperlib/kafka

一体化轻量级Kafka镜像

镜像概述和主要用途

本镜像提供了一种快速简便的方式启动Kafka，包含单节点Kafka消息 broker和Zookeeper，具有极低的内存需求（甚至可在AWS T3微实例上运行）。适用于快速搭建Kafka环境，无需复杂配置。

核心功能和特性

• 一体化部署：包含Kafka broker和Zookeeper，无需单独部署Zookeeper
• 低内存需求：默认配置下资源占用低，适合资源受限环境
• 快速启动：一行命令即可完成部署，无需复杂配置
• 可配置性：支持通过环境变量调整核心参数

使用场景和适用范围

• 开发者实验：快速搭建Kafka环境，用于学习和测试消息平台功能
• 初创公司部署：在AWS等云平台上低成本运行Kafka，降低基础设施成本

使用方法和配置说明

启动Kafka实例

启动Kafka实例非常简单：

console
$ docker run --name a-kafka -p 9092:9092 -d paperlib/kafka

其中a-kafka是你为容器指定的名称，-p 9092:9092映射Kafka默认端口。

环境变量

启动镜像时，可通过环境变量调整Kafka和Zookeeper的配置，所有变量均为可选。

ADVERTISED_HOST

调整Kafka的广播主机地址，对应server.properties中的advertised.listeners属性。
默认值：ADVERTISED_HOST=127.0.0.1
配置效果：advertised.listeners=PLAINTEXT://${ADVERTISED_HOST}:9092

KAFKA_HEAP_OPTS

调整Kafka的Java堆内存大小。
默认值：KAFKA_HEAP_OPTS="-Xmx256M -Xms256M"
示例（增加内存）：

console
$ docker run -e KAFKA_HEAP_OPTS="-Xmx1024M -Xms1024M" --name a-kafka -p 9092:9092 -d paperlib/kafka

ZOOKEEPER_HEAP_OPTS

调整Zookeeper的Java堆内存大小。
默认值：ZOOKEEPER_HEAP_OPTS="-Xmx128M -Xms128M"

LOG_DIRS

修改Kafka的日志存储路径，默认值为/tmp/kafka-logs。

数据持久化示例：
若需在容器重启后保留数据，可挂载本地目录（无需设置LOG_DIRS）：

console
$ docker run --mount type=bind,source="$(pwd)"/your-dir-log,target=/tmp/kafka-logs --name a-kafka -p 9092:9092 -d paperlib/kafka

自定义存储路径：
通过LOG_DIRS修改默认存储路径：

console
$ export LOG_DIRS=/usr/local/kafka/dirs
$ docker run --mount type=bind,source="$(pwd)"/your-dir-log,target=$LOG_DIRS -e LOG_DIRS=$LOG_DIRS --name a-kafka -p 9092:9092 -d paperlib/kafka

使用示例

以下示例使用Python的kafka-python库，需先安装：

console
$ sudo -H pip install kafka-python

创建主题

python
from docker.xuanyuan.run/kafka.admin import KafkaAdminClient, NewTopic

kafka = KafkaAdminClient(bootstrap_servers="localhost:9092")

topics = []
topics.append(NewTopic(name="example", num_partitions=1, replication_factor=1))
kafka.create_topics(topics)

发送消息

python
from docker.xuanyuan.run/kafka import KafkaProducer

producer = KafkaProducer(bootstrap_servers='localhost:9092')

producer.send('example', b'Hello, World!')
producer.send('example', key=b'message-two', value=b'This is Kafka-Python')

producer.flush()

接收消息

python
from kafka import KafkaConsumer

consumer = KafkaConsumer('example', group_id='a_readers_group', auto_offset_reset='earliest')

for message in consumer:
    print(message)