ghcr.io/risingwavelabs/risingwave-operator:main

RisingWave Kubernetes Operator

描述

RisingWave Kubernetes Operator 是一款强大的工具，旨在简化 RisingWave 的管理和部署。RisingWave 是一个用 Rust 编写的流处理平台，凭借其分布式架构，为实时处理大型数据流提供了可扩展且高效的解决方案。

Kubernetes operator 充当 RisingWave 平台与 Kubernetes 集群之间的桥梁，简化了部署和管理流程。它利用 Kubernetes 的原生功能来自动化扩展、监控和容错等任务，使在 Kubernetes 环境中运行 RisingWave 变得更加容易。

目录

• 描述
• 兼容性
• 安装 安装 RisingWave Operator
• 安装 RisingWave Operator
• 使用 创建 RisingWave 集群 连接到 RisingWave 集群 删除 RisingWave 集群 自定义 RisingWave 集群
• 创建 RisingWave 集群
• 连接到 RisingWave 集群
• 删除 RisingWave 集群
• 自定义 RisingWave 集群
• 贡献指南
• 许可证

兼容性

RisingWave Operator 已通过测试，可在以下 Kubernetes 发行版中运行：

• AWS EKS
• GCP GKE
• Azure AKS
• 阿里云 ACK
• Docker Kubernetes
• kind
• minikube

如果您使用其他 Kubernetes 发行版或遇到问题，请随时创建 issue。

以下是兼容性矩阵：

安装

为了保护 webhook 服务器，您需要先安装 cert-manager。有关更多信息，请参考 cert-manager 安装指南。

cert-manager

安装 RisingWave Operator

安装最新版本的 RisingWave Operator：

kubectl apply --server-side -f https://github.com/risingwavelabs/risingwave-operator/releases/latest/download/risingwave-operator.yaml

（可选）安装特定版本的 RisingWave Operator：

# 替换 ${VERSION} 为您要安装的版本，例如 v0.4.0
kubectl apply --server-side -f https://github.com/risingwavelabs/risingwave-operator/releases/download/${VERSION}/risingwave-operator.yaml

（可选）安装 RisingWave Operator 的 main 分支（不推荐用于生产环境）：

kubectl apply --server-side -f https://raw.githubusercontent.com/risingwavelabs/risingwave-operator/main/config/risingwave-operator.yaml

[!NOTE] 如果 cert-manager 尚未完全初始化，可能会出现错误。不要惊慌！只需等待一分钟，然后重试上述命令。

来自服务器的错误 (InternalError)：发生内部错误：调用 webhook "webhook.cert-manager.io" 失败：调用 webhook 失败：Post "[***]"：dial tcp 10.105.102.32: 443：connect：连接被拒绝

来自服务器的错误 (InternalError)：发生内部错误：调用 webhook "webhook.cert-manager.io" 失败：调用 webhook 失败：Post "[***]"：dial tcp 10.105.102.32: 443：connect：连接被拒绝

检查安装状态：

# 检查 CRDs
$ kubectl get crds | grep risingwavelabs.com
risingwaves.risingwave.risingwavelabs.com 2023-05-23T06:04:00Z
risingwavescaleviews.risingwave.risingwavelabs.com 2023-05-23T06:04:01Z

# 检查控制器 Pod 状态
$ kubectl -n risingwave-operator-system get pods
NAME READY STATUS RESTARTS AGE
risingwave-operator-controller-manager-b5d5f585d-6npn5 2/2 Running 0 60s

连接到 RisingWave 集群

RisingWave 集群现已准备就绪可供使用。但默认情况下，无法从 Kubernetes 集群外部访问它。要连接到 RisingWave 集群，需将集群的端口转发到本地机器：

kubectl port-forward svc/risingwave-frontend 4567:service

保持端口转发命令在终端中运行，然后打开另一个终端窗口。现在可以使用 psql 命令行工具连接到 RisingWave 集群。默认用户名为 root，默认数据库名为 dev：

psql -h localhost -p 4567 -d dev -U root

现在尝试在数据库中创建表：

dev=> CREATE TABLE t1 (v1 int);
CREATE_TABLE

然后基于该表创建物化视图：

dev=> CREATE MATERIALIZED VIEW mv1 AS SELECT sum(v1) AS sum_v1 FROM t1;
CREATE_MATERIALIZED_VIEW

向表中插入一些数据：

dev=> INSERT INTO t1 VALUES (1), (2), (3);
INSERT 0 3

dev=> FLUSH;
FLUSH

现在可以查询物化视图：

dev=> SELECT * FROM mv1;
sum_v1
--------
6
(1 row)

使用方法

RisingWave Kubernetes Operator 通过 CRD（自定义资源定义）扩展 Kubernetes，以管理 RisingWave。这意味着您只需在 Kubernetes 集群中创建一个 RisingWave 资源，RisingWave Kubernetes Operator 就会处理其余的所有事情。

RisingWave 资源是定义 RisingWave 集群的自定义资源。您可以在 docs/manifests/risingwave 目录中找到更多示例。有关 API 的更多详细信息，请参阅 API 参考。

[!NOTE] 由于项目仍在快速开发中，不同版本的 RisingWave Operator 之间可能存在兼容性问题。我们在 docs/manifests/stable 目录中维护了一组稳定的清单，确保与最新发布版本兼容。如果您想在生产环境中部署 RisingWave，请使用这些清单。

创建 RisingWave 集群

按照以下步骤在 Kubernetes 集群中创建 RisingWave 集群：

# 下载清单 YAML 文件。
curl https://raw.githubusercontent.com/risingwavelabs/risingwave-operator/main/docs/manifests/stable/persistent/minio/risingwave.yaml -o risingwave.yaml

# 将其应用到 Kubernetes 集群。
kubectl apply -f risingwave.yaml

[!NOTE] RisingWave 集群默认将在 default 命名空间中创建。如果您想在其他命名空间中创建，请修改清单 YAML 文件中的 metadata.namespace 字段或使用 --namespace 选项。

RisingWave 集群将在几分钟内创建完成。您可以通过运行以下命令检查 RisingWave 集群的状态：

kubectl get risingwave
NAME         META STORE   STATE STORE   VERSION   RUNNING   AGE
risingwave   Etcd         MinIO         v1.6.0    True      2m20s

[!NOTE] META STORE 列表示 RisingWave 元数据的存储后端。STATE STORE 列表示状态存储的存储后端。VERSION 列表示 RisingWave 集群的版本。RUNNING 列表示 RisingWave 集群是否正在运行。

您可以通过运行以下命令检查 RisingWave 集群的 Pod：

kubectl get pods -l risingwave/name
NAME                                      READY   STATUS    RESTARTS      AGE
risingwave-compactor-5cfcb469c5-gnkrp     1/1     Running   2 (1m ago)    2m35s
risingwave-compute-0                      1/1     Running   2 (1m ago)    2m35s
risingwave-frontend-86c948f4bb-69cld      1/1     Running   2 (1m ago)    2m35s
risingwave-meta-0                         1/1     Running   1 (1m ago)    2m35s

连接到 RisingWave 集群

RisingWave 集群现在已准备好使用。但是，默认情况下，无法从 Kubernetes 集群外部访问它。要连接到 RisingWave 集群，您需要将 RisingWave 集群的端口转发到本地机器：

kubectl port-forward svc/risingwave-frontend 4567:service

保持端口转发命令在终端中运行，并打开另一个终端窗口。现在，您可以使用 psql 命令行工具连接到 RisingWave 集群。默认用户名为 root，默认数据库名称为 dev：

psql -h localhost -p 4567 -d dev -U root

现在尝试在数据库中创建表：

dev=> CREATE TABLE t1 (v1 int);
CREATE_TABLE

然后基于该表创建物化视图：

dev=> CREATE MATERIALIZED VIEW mv1 AS SELECT sum(v1) AS sum_v1 FROM t1;
CREATE_MATERIALIZED_VIEW

向表中插入一些数据：

dev=> INSERT INTO t1 VALUES (1), (2), (3);
INSERT 0 3

dev=> FLUSH;
FLUSH

现在您可以查询物化视图：

dev=> SELECT * FROM mv1;
sum_v1
--------
6
(1 row)

删除 RisingWave 集群

要删除 RisingWave 集群，只需删除 RisingWave 资源：

kubectl delete risingwave risingwave

Pod 将在几分钟内被删除。

[!NOTE] 在本示例中，删除 RisingWave 集群后，集群中的数据不会丢失，因为 etcd 和 MinIO 服务仍在运行。如果您想终止所有服务并清除数据，可以运行以下命令：

> kubectl delete -f risingwave.yaml # 删除您上面使用的 risingwave.yaml 中定义的所有资源。
> kubectl delete pvc -l app=etcd # 删除 etcd 的 PVC。
> kubectl delete pvc -l app=minio # 删除 MinIO 的 PVC。
>

自定义 RisingWave 集群

您可以通过修改清单 YAML 文件来自定义 RisingWave 集群。有关更多详细信息，请参阅 docs/general/api.md 文件中的 API 参考。

如需自定义RisingWave集群的状态存储后端，请参考docs/general/state-stores.md文件。

贡献指南

我们欢迎社区贡献！如果您希望为此项目做出贡献，请遵循CONTRIBUTING.md文件中概述的指南。

许可证

本项目采用Apache License 2.0许可证。您可以在LICENSE文件中找到许可证的完整文本。