mintbluedevs/rabbitmq-deduplication

镜像概述

本镜像基于RabbitMQ官方镜像构建，预集成x-message-deduplication插件，在保留RabbitMQ原生消息队列功能的同时，新增消息去重机制。通过插件可基于消息唯一标识（如自定义消息头）自动过滤重复消息，解决分布式系统中因重试、网络波动等导致的消息重复问题，提升业务数据一致性。

核心功能与特性

原生RabbitMQ功能

• 支持AMQP 0-9-1、AMQP 1.0、MQTT、STOMP等多种消息协议
• 提供交换机（Exchange）、队列（Queue）、绑定（Binding）等核心组件
• 支持消息持久化、事务、确认机制及死信队列
• 内置Web管理界面（RabbitMQ Management），支持可视化监控与配置

x-message-deduplication插件功能

• 基于消息标识去重：通过指定消息头（如x-deduplication-id）识别重复消息，自动丢弃重复项
• 可配置去重窗口：支持设置时间窗口（如1小时），仅对窗口内的重复消息去重，避免长期占用存储
• 去重策略灵活：支持按队列维度配置去重规则，不同队列可独立设置去重参数
• 持久化去重记录：去重标识记录支持持久化存储，服务重启后仍可继续生效
• 低性能损耗：基于内存缓存+磁盘持久化的混合存储方案，平衡去重效率与可靠性

使用场景

• ***交易系统：确保支付、转账等交易消息唯一，避免重复扣款
• 订单处理：防止重复创建订单、重复发货等业务异常
• 数据同步：保证数据同步消息仅被消费一次，避免数据不一致
• 分布式任务调度：防止任务因重试机制导致的重复执行
• 日志收集：避免重复日志条目影响数据分析准确性

使用方法

基础运行命令

通过docker run快速启动容器：

bash
docker run -d \
  --name rabbitmq-dedup \
  -p 5672:5672  # AMQP协议端口 \
  -p 15672:15672  # Web管理界面端口 \
  -e RABBITMQ_DEFAULT_USER=admin \  # 默认管理员用户名 \
  -e RABBITMQ_DEFAULT_PASS=admin123 \  # 默认管理员密码 \
  -v rabbitmq-data:/var/lib/rabbitmq  # 持久化数据卷 \
  rabbitmq-with-x-message-deduplication

Docker Compose配置示例

创建docker-compose.yml文件：

yaml
version: '3.8'
services:
  rabbitmq:
    image: rabbitmq-with-x-message-deduplication
    container_name: rabbitmq-dedup
    ports:
      - "5672:5672"
      - "15672:15672"
    environment:
      - RABBITMQ_DEFAULT_USER=admin
      - RABBITMQ_DEFAULT_PASS=admin123
      - RABBITMQ_SERVER_ADDITIONAL_ERL_ARGS=-rabbit x_message_deduplication enabled true  # 启用插件
    volumes:
      - rabbitmq-data:/var/lib/rabbitmq
    restart: unless-stopped

volumes:
  rabbitmq-data:

启动服务：

bash
docker-compose up -d

去重队列配置

通过Web管理界面（访问http://localhost:15672，使用配置的用户名密码登录）或CLI工具创建带去重功能的队列，需指定以下参数：

创建去重队列示例（RabbitMQ CLI）：

bash
# 进入容器
docker exec -it rabbitmq-dedup rabbitmqadmin

# 创建带去重配置的队列
rabbitmqadmin declare queue name=order-queue \
  durable=true \
  arguments='{"x-message-deduplication": true, "x-deduplication-header": "order-id", "x-deduplication-window": 300000}'

环境变量配置

核心环境变量

插件专用配置

通过RABBITMQ_SERVER_ADDITIONAL_ERL_ARGS配置插件全局参数：

bash
-e RABBITMQ_SERVER_ADDITIONAL_ERL_ARGS="-rabbit x_message_deduplication.max_cache_size 100000"  # 去重缓存最大条目数

注意事项

• 去重标识（如x-deduplication-id）需由生产者在发送消息时显式设置，建议使用UUID或业务唯一ID（如订单号）
• 去重窗口过短可能导致漏判重复消息，过长可能占用过多存储，需根据业务场景合理设置（建议30分钟~24小时）
• 持久化去重记录依赖RabbitMQ数据卷（/var/lib/rabbitmq），需确保数据卷正确挂载以避免重启后去重记录丢失
• 高并发场景下建议监控去重缓存命中率，可通过管理界面“Plugins”→“x-message-deduplication”查看统计指标