streamlio/pulsar

Apache Pulsar 镜像文档

镜像概述和主要用途

Apache Pulsar 是一个高度可扩展、低延迟的消息平台，设计用于在通用硬件上运行。它提供简单的发布/订阅语义，确保消息至少一次投递，支持订阅者的自动游标管理，并具备跨数据中心复制能力，适用于构建可靠的分布式消息传递系统。

核心功能和特性

• 高可扩展性：支持大规模集群部署，可按需扩展以处理增长的消息负载
• 低延迟：优化的消息传递机制，确保低延迟的数据传输
• 发布/订阅语义：提供直观的主题发布/订阅模型，简化消息交互
• 至少一次投递保证：确保消息不会丢失，每个消息至少被处理一次
• 自动游标管理：自动跟踪订阅者的消息消费进度，降低应用开发复杂度
• 跨数据中心复制：支持不同数据中心间的数据同步，提升系统可靠性和容灾能力

使用场景和适用范围

• 实时数据处理：适用于日志收集、监控数据实时分析等流数据处理场景
• 微服务通信：作为微服务架构中的消息中间件，实现服务间松耦合通信
• 跨地域数据同步：满足企业级应用在多数据中心间的数据一致性需求
• 高吞吐量场景：支持高并发消息生产和消费，应对流量高峰场景
• 关键业务消息传递：适用于***交易、订单处理等对消息可靠性有严格要求的业务系统

使用方法和配置说明

基本使用（Docker Run）

拉取并运行Apache Pulsar容器（开发测试环境）：

bash
docker run -d \
  --name pulsar \
  -p 6650:6650 \  # Pulsar broker服务端口
  -p 8080:8080 \  # Pulsar REST API端口
  apachepulsar/pulsar:latest \
  bin/pulsar standalone

说明：standalone模式为单机模式，仅适用于开发和测试，生产环境需配置集群模式。

Docker Compose配置示例

创建docker-compose.yml文件：

yaml
version: '3'
services:
  pulsar:
    image: apachepulsar/pulsar:latest
    container_name: pulsar
    ports:
      - "6650:6650"  # Broker服务端口
      - "8080:8080"  # REST API端口
    volumes:
      - pulsar_data:/pulsar/data  # 持久化消息数据
    command: bin/pulsar standalone
volumes:
  pulsar_data:  # 定义数据卷用于持久化存储

启动服务：

bash
docker-compose up -d

主要配置参数说明

• 端口映射：

  • 6650：Pulsar broker的TCP服务端口，供生产者和消费者连接
  • 8080：Pulsar REST API端口，用于系统管理和监控

• 数据持久化：通过挂载/pulsar/data目录，确保容器重启后消息数据不丢失

• 生产环境配置：生产环境需修改conf/broker.conf等配置文件，配置ZooKeeper集群、BookKeeper集群等信息，具体配置可参考Apache Pulsar官方文档