jboss/infinispan-operator

Infinispan Operator

Infinispan Operator是一个OpenShift/Kubernetes操作器，用于在容器化环境中部署、运行和管理Infinispan集群。它通过自定义资源定义（CRD）实现对Infinispan集群的生命周期管理，支持集群扩缩容、配置定制及跨站点部署等功能。

核心功能和特性

• 集群生命周期管理：自动化部署、扩展和维护Infinispan集群
• 自定义资源配置：通过CRD定义集群节点数、配置参数等
• 多环境支持：兼容OpenShift（OKD）和Kubernetes（Minikube）环境
• 跨站点测试：支持多Kubernetes集群间的跨站点（xsite）部署测试
• OperatorHub集成：提供上游（Kubernetes）和社区（OpenShift）版本提交支持
• 灵活构建选项：支持标准Makefile构建和Cekit构建环境

系统要求

• https://github.com/golang/go
• Docker
• 运行中的OKD集群（需system:admin权限）或Minikube集群

构建Infinispan Operator

标准构建流程

1. 克隆源代码到任意目录：

bash
$ git clone https://github.com/infinispan/infinispan-operator.git

2. 进入operator源代码目录：

bash
$ cd ./infinispan-operator

3. 查看可用构建目标：

bash
$ make

4. 执行构建目标，例如编译并构建Operator：

bash
$ make build

5. （可选）构建Docker镜像：

bash
# 标准多阶段构建
$ make image IMAGE=image_name TAG=image_tag

# 非多阶段构建（适用于不支持多阶段构建的Docker版本）
$ make image IMAGE=image_name TAG=image_tag MULTISTAGE=NO

Cekit构建

build/cekit目录下提供Cekit构建环境：

bash
$ cekit build --overrides "{version: <version_default_is_latest>}" docker

运行Infinispan Operator

OpenShift环境

1. 启动OKD集群：

bash
$ oc cluster up

2. 指定OKD集群的Kube配置：

bash
$ export KUBECONFIG=/path/to/admin.kubeconfig

3. 从源代码在OKD上创建Infinispan Operator：

   • 使用公共镜像quay.io/infinispan/operator：

   bash
   $ make run
   

   • 自定义项目名称（默认项目名称可修改）：

   bash
   $ export PROJECT_NAME=myproject
   

   • 使用本地构建的镜像：

   bash
   $ make run-local
   

4. （可选）通过bundle文件在OKD上安装Operator：

   • 创建新项目或使用现有项目：

   bash
   $ oc new-project infinispan-operator
   

   • 若项目名称非infinispan-operator，下载Operator安装bundle文件并替换预定义命名空间（例如替换为my-infinispan-operator）：

   bash
   $ sed -i '/# Replace/{n;s/.*/  namespace: my-infinispan-operator/}' operator-install.yaml
   $ oc apply -f operator-install.yaml
   

   • 若项目名称为infinispan-operator，直接安装：

   bash
   $ oc apply -f https://raw.githubusercontent.com/infinispan/infinispan-operator/master/deploy/operator-install.yaml
   

5. 打开新终端窗口，创建包含2个节点的Infinispan集群：

bash
$ oc apply -f https://raw.githubusercontent.com/infinispan/infinispan-operator/master/deploy/cr/minimal/cr_minimal.yaml
infinispan.infinispan.org/example-infinispan configured

6. 监控pod状态直至运行：

bash
$ oc get pods -w
NAME                                   READY     STATUS              RESTARTS   AGE
example-infinispan-54c66fd755-28lvx    0/1       ContainerCreating   0          4s
example-infinispan-54c66fd755-7c4zc    0/1       ContainerCreating   0          4s
infinispan-operator-69d7d4469d-f62ws   1/1       Running             0          3m
example-infinispan-54c66fd755-8gbxf    1/1       Running             0          8s
example-infinispan-54c66fd755-7c4zc    1/1       Running             0          8s

Minikube环境

1. 配置Minikube虚拟机（仅需执行一次）：

bash
$ make minikube-config

2. 启动Minikube：

bash
$ make minikube-start

3. 从源代码构建并本地运行operator：

bash
$ make minikube-run-local

4. （可选）通过bundle文件在Kubernetes上安装Operator：

   • 创建新命名空间或使用现有命名空间：

   bash
   $ kubectl create namespace infinispan-operator
   

   • 若命名空间非infinispan-operator，下载Operator安装bundle文件并替换预定义命名空间（例如替换为my-infinispan-operator）：

   bash
   $ sed -i '/# Replace/{n;s/.*/  namespace: my-infinispan-operator/}' operator-install.yaml
   $ kubectl apply -f operator-install.yaml
   

   • 若命名空间为infinispan-operator，直接安装：

   bash
   $ kubectl apply -f https://raw.githubusercontent.com/infinispan/infinispan-operator/master/deploy/operator-install.yaml
   

5. 打开新终端窗口，创建包含2个节点的Infinispan集群：

bash
$ kubectl apply -f https://raw.githubusercontent.com/infinispan/infinispan-operator/master/deploy/cr/minimal/cr_minimal.yaml

6. 监控pod状态直至运行：

bash
$ kubectl get pods -w
NAME                   READY   STATUS    RESTARTS   AGE
example-infinispan-0   1/1     Running   0          8m29s
example-infinispan-1   1/1     Running   0          5m53s

后续步骤

修改deploy/cr/minimal/cr_minimal.yaml中的集群大小，然后重新应用配置，Infinispan Operator将自动扩展或缩减集群节点数量。

自定义资源定义

Infinispan Operator基于自定义资源定义（CRD）创建集群，定义集群节点数和配置参数。资源定义详情见https://github.com/infinispan/infinispan-operator/blob/master/pkg/apis/infinispan/v1/infinispan_types.go%E3%80%82

最小配置示例

创建Infinispan集群的最小配置：

yaml
apiVersion: infinispan.org/v1
kind: Infinispan
metadata:
  # 设置Infinispan集群名称
  name: example-infinispan-minimal
spec:
  # 设置集群节点数量
  replicas: 3

进一步配置

Infinispan Operator提供更多高级配置能力，详细信息请参见官方操作器文档。

测试Infinispan Operator

使用test目标在指定OKD集群上测试Operator：

• 测试本地运行的集群：

bash
$ make test

• 指定集群访问配置：

bash
$ make test KUBECONFIG=/path/to/openshift.local.clusterup/openshift-apiserver/admin.kubeconfig

跨站点（xsite）测试

跨站点测试需创建两个k8s Kind集群或使用已准备的两个OKD集群：

bash
$ source build/travis/configure-travis-ci-xsite.sh $KIND_VERSION $METALLB_VERSION

$KIND_VERSION和$METALLB_VERSION的实际值可在.travis.yml文件中查看。

在运行的Kind集群中本地测试：

bash
$ go test -v ./test/e2e/xsite/ -timeout 30m

在OperatorHub.io上的Infinispan

operatorhub.io提交分为两类：上游（upstream）和社区（community）：

• 上游提交：需在原生Kubernetes（如Minikube）上运行
• 社区提交：需在Red Hat OpenShift上运行，详见https://github.com/operator-framework/community-operators%E7%9A%84%E6%9C%80%E4%BD%8E%E8%A6%81%E6%B1%82

测试提交分两步：

1. 将operator推送到quay.io应用仓库（详情将尽快提供）
2. 在Minikube或OpenShift上测试operator

命名空间修改：本文档测试流程假设operator安装在infinispan-operator命名空间。使用其他命名空间时，需修改YAML描述文件和make调用：描述文件中替换infinispan-operator为目标命名空间；脚本中添加环境变量，例如make NAMESPACE=my_namespace ${make_target}。

上游提交测试（Minikube）

operatorhub/minikube目录包含用于测试上游提交的Makefile和目标。Minikube不提供Operator Lifecycle Manager（OLM）和Operator Marketplace组件，需先安装。

1. 确保minikube在$PATH中
2. 运行相应的make目标，例如：

bash
$ cd operatorhub/minikube
$ make all

指定 hypervisor 驱动

Makefile使用针对Infinispan Operator测试优化的minikube配置文件，默认使用Virtual Box驱动。通过VMDRIVER参数指定其他hypervisor：

bash
# 指定驱动
make VMDRIVER=${vm_driver_name} ${make_target}

# 不指定驱动（传递空值）
make VMDRIVER= ${make_target}

支持的hypervisor详见https://github.com/kubernetes/minikube%E3%80%82

Make目标

• make all：按顺序运行所有make目标

• make test：使用上游提交实例化Infinispan集群（需已安装Infinispan CRD且Operator正在运行）

  检查CRD是否安装：

  bash
  $ kubectl get crd
  NAME                                          CREATED AT
  infinispans.infinispan.org                    2019-04-03T09:15:48Z
  

  检查Operator是否运行：

  bash
  $ kubectl get pods --all-namespaces
  NAMESPACE         NAME                                   READY   STATUS    RESTARTS   AGE
  infinispan-operator   infinispan-operator-5549f446f-9mqkp    1/1     Running   0          44s
  

• make clean：从Kubernetes集群中移除示例Infinispan自定义资源和Operator

• make delete：销毁Minikube虚拟机

错误排查

no matches for kind错误通常因Kubernetes元素未正确安装（如描述文件安装过快）。解决步骤：

1. 重新运行失败的make目标（可忽略现有元素错误）
2. 验证pod运行状态：

bash
$ kubectl get pods --all-namespaces

3. 查看Makefile确定后续目标，手动运行剩余目标

社区提交测试（OpenShift）

社区提交可在OpenShift 4或OpenShift 3.11上测试。

OpenShift 4测试

operatorhub/openshift4目录包含用于测试社区提交的Makefile和目标。OpenShift 4已包含OLM和Operator Marketplace组件，无需单独安装。

前提条件：运行中的OpenShift 4集群，配置有oc客户端，且以管理员账户登录。

运行相应的make目标，例如：

bash
$ cd operatorhub/openshift4
$ make all

Make目标

• make all：将Infinispan Operator添加到OperatorHub，在指定命名空间安装，然后使用社区提交实例化Infinispan集群
• make install-operatorsource：将Infinispan Operator添加到OperatorHub，可通过OpenShift控制台的OperatorHub界面手动安装
• make test：使用社区提交实例化Infinispan集群
• make clean：从Kubernetes集群中移除示例Infinispan自定义资源和Operator

发布

创建发布：

bash
$ make DRY_RUN=false GITHUB_USERNAME=<...> REPLACES_RELEASE_NAME=N.M.O RELEASE_NAME=X.Y.Z SERVER_VERSION=a.b.c release

发布脚本最终会在https://github.com/operator-framework/community-operators%E5%88%9B%E5%BB%BA%E4%B8%A4%E4%B8%AAPR%E3%80%82PR%E5%88%9B%E5%BB%BA%E5%90%8E%EF%BC%8C%E7%BC%96%E8%BE%91%E6%8F%8F%E8%BF%B0%E5%B9%B6%E6%B7%BB%E5%8A%A0https://github.com/operator-framework/community-operators%E5%BB%BA%E8%AE%AE%E7%9A%84PR%E8%A1%A8%E5%8D%95%EF%BC%8C%E6%A0%87%E8%AE%B0%E9%80%82%E7%94%A8%E5%AD%97%E6%AE%B5%E3%80%82