Remoting Kafka插件

概述

当前版本的Jenkins Remoting基于TCP协议实现通信。若TCP连接失败，代理连接及构建任务将随之中断。此外，流量优先级管理和多代理通信问题也会影响Jenkins的稳定性与可扩展性。

本项目旨在更新Remoting和Jenkins架构，引入流行的消息队列/总线技术（Kafka）作为通信层，以提供容错能力更强的通信机制，提升Jenkins的整体稳定性和可扩展性。

更多项目信息参见：[***]

核心功能与特性

• Kafka通信层：替代传统TCP协议，基于Kafka实现代理与主节点的异步通信
• 容错机制：支持连接中断后的自动恢复，减少因网络波动导致的构建失败
• SSL加密：Kafka通信支持SSL加密，保障数据传输安全性
• 自动连接：预配置的主节点与代理实例可通过Kafka启动器自动建立连接
• 多代理优化：改善多代理场景下的通信效率，提升系统可扩展性
• Kafka监控：集成Kafka Manager（访问localhost:9000），支持集群状态监控
• 演示作业：内置示例作业，可快速验证代理通信功能

使用场景与适用范围

• 大规模Jenkins环境：需管理大量构建代理，存在多代理并发通信需求的场景
• 高稳定性要求场景：对构建连续性要求严格，需避免因网络问题导致任务中断的环境
• 复杂网络环境：网络稳定性较差，需要容错通信机制保障的场景
• 安全敏感环境：需对代理通信进行加密保护的企业级部署环境

使用方法与配置说明

前提条件

• Docker部署：需安装docker及docker-compose
• Kubernetes部署：需Kubernetes集群（如minikube）及Helm包管理工具

Docker部署方案

1. 环境变量配置

设置DOCKERHOST环境变量，不同操作系统配置方式如下：

• Windows：

  set DOCKERHOST=host.docker.internal
  

• macOS：

  export DOCKERHOST=host.docker.internal
  

• Linux：

  export DOCKERHOST=$(ifconfig docker0 | grep 'inet addr:' | cut -d: -f2 | awk '{ print $1}')
  

2. 构建演示环境

make all

3. 启动演示环境

• 带安全特性（默认启用SSL加密）：

  make run
  

• 禁用安全特性（用于测试）：

  make run-no-auth
  

4. 演示环境组成

• Jenkins主节点与代理节点：通过Kafka自动建立连接
• Kafka集群：提供加密通信通道
• 演示作业：可直接在代理节点上执行构建任务
• Kafka Manager：通过localhost:9000访问，监控Kafka集群状态

5. 停止演示环境

make clean

Kubernetes部署方案

1. 启动演示环境

helm dep build helm/jenkins-remoting-kafka && \
  helm install helm/jenkins-remoting-kafka -n demo -f demo/helm/values-override.yaml

2. 停止演示环境

helm delete --purge demo

开发者文档

• 贡献指南
• 技术文档
• 问题反馈

发布说明

参见变更日志。

相关链接

• JIRA任务跟踪
• 项目Wiki
• 项目主页
• 技术介绍博客
• 1.0版本发布博客
• Jenkins World 2018演示幻灯片
• 评估阶段幻灯片与视频（包含Phase 1-3的技术文档与演示）