tremolosecurity/clear-dlq Docker 镜像 - 轩辕镜像

OpenUnison死信队列清理工具容器

镜像概述

OpenUnison将工作流中的所有任务作为队列消息处理，确保系统的可扩展性和可靠性。当任务因API、数据库或目录服务等问题失败时，失败消息会进入"死信队列"暂存。本容器用于配合指定Job（[***]

核心功能与特性

• 批量消息恢复：支持将死信队列中的所有消息一次性移回原队列，无需手动单条处理
• 配置复用：通过Job自动从OpenUnison Pod复制配置，确保环境一致性
• 简化操作：配合标准化Job模板，减少手动配置步骤

使用场景

适用于OpenUnison死信队列积累失败消息，需要将消息恢复到原队列以重新处理的场景，尤其适合批量恢复大量失败消息的情况。

使用方法

前置准备

1. 获取Job模板：访问[***]

Job配置修改

在运行Job前，需修改以下配置项：

1. 更新初始化容器镜像
   spec.template.spec.initContainers[0].image：设置为与OpenUnison部署相同的镜像

2. 指定目标清理队列
   spec.template.spec.containers[0].command[12]：设置为需要清理的死信队列名称

运行与管理

1. 创建Job
   使用修改后的配置文件创建Job：

   bash
   kubectl apply -f clear-dlq-job.yaml
   

2. Job执行流程
   Job创建后，会自动从OpenUnison Pod复制配置，然后运行DLQ清理工具。执行过程中会输出日志，示例如下：

   [2020-03-27 15:19:01,340][main] INFO  OpenUnisonUtils - Loading Unison Configuration
   [2020-03-27 15:19:01,780][main] INFO  OpenUnisonConfigLoader - No config from include files, using original
   [2020-03-27 15:19:01,993][main] INFO  OpenUnisonUtils - Configuration loaded
   [2020-03-27 15:19:01,993][main] INFO  OpenUnisonUtils - Loading the keystore...
   [2020-03-27 15:19:02,402][main] INFO  OpenUnisonUtils - ...loaded
   [2020-03-27 15:19:02,402][main] INFO  OpenUnisonUtils - Getting the DLQ Name...
   [2020-03-27 15:19:02,408][main] INFO  QueUtils - DLQ Run : c9a2af7d-4ee5-4001-9779-c58c6e0e7f6b
   [2020-03-27 15:19:02,408][main] INFO  QueUtils - Connecting to com.tremolosecurity.provisioning.jms.providers.AwsSqsConnectionFactory
   [2020-03-27 15:19:03,040][main] INFO  QueUtils - Connected
   [2020-03-27 15:19:03,040][main] INFO  QueUtils - Creating queue openunison-dlq-eks.fifo
   [2020-03-27 15:19:03,522][main] INFO  QueUtils - Checking for messages
   [2020-03-27 15:19:04,523][main] INFO  SQSMessageConsumer - Shutting down ConsumerPrefetch executor
   

3. 清理Job
   Job执行完成后，可通过以下命令删除：

   bash
   kubectl delete job <job-name>
   

注意事项

• 确保Job配置中的镜像版本与OpenUnison部署版本一致，避免配置不兼容
• 执行前确认死信队列中的消息需要恢复，避免重复处理已解决问题的消息