RisingWave Kubernetes Operator 是一款强大的工具,旨在简化 RisingWave 的管理和部署。RisingWave 是一个用 Rust 编写的流处理平台,凭借其分布式架构,为实时处理大型数据流提供了可扩展且高效的解决方案。
Kubernetes operator 充当 RisingWave 平台与 Kubernetes 集群之间的桥梁,简化了部署和管理流程。它利用 Kubernetes 的原生功能来自动化扩展、监控和容错等任务,使在 Kubernetes 环境中运行 RisingWave 变得更加容易。
RisingWave Operator 已通过测试,可在以下 Kubernetes 发行版中运行:
如果您使用其他 Kubernetes 发行版或遇到问题,请随时创建 issue。
以下是兼容性矩阵:
| RisingWave Operator | RisingWave | Kubernetes |
|---|---|---|
| main | v0.19.0+ | v1.21+ |
| v0.5.0+ | v0.19.0+ | v1.21+ |
| v0.4.1 | v0.18.0+ | v1.21+ |
| v0.3.6 | v0.18.0+ | v1.21+ |
为了保护 webhook 服务器,您需要先安装 cert-manager。有关更多信息,请参考 cert-manager 安装指南。
cert-manager
安装最新版本的 RisingWave Operator:
kubectl apply --server-side -f https://github.com/risingwavelabs/risingwave-operator/releases/latest/download/risingwave-operator.yaml
(可选)安装特定版本的 RisingWave Operator:
# 替换 ${VERSION} 为您要安装的版本,例如 v0.4.0
kubectl apply --server-side -f https://github.com/risingwavelabs/risingwave-operator/releases/download/${VERSION}/risingwave-operator.yaml
(可选)安装 RisingWave Operator 的 main 分支(不推荐用于生产环境):
kubectl apply --server-side -f https://raw.githubusercontent.com/risingwavelabs/risingwave-operator/main/config/risingwave-operator.yaml
[!NOTE] 如果 cert-manager 尚未完全初始化,可能会出现错误。不要惊慌!只需等待一分钟,然后重试上述命令。
来自服务器的错误 (InternalError):发生内部错误:调用 webhook "webhook.cert-manager.io" 失败:调用 webhook 失败:Post "[***]":dial tcp 10.105.102.32: 443:connect:连接被拒绝
来自服务器的错误 (InternalError):发生内部错误:调用 webhook "webhook.cert-manager.io" 失败:调用 webhook 失败:Post "[***]":dial tcp 10.105.102.32: 443:connect:连接被拒绝
检查安装状态:
# 检查 CRDs
$ kubectl get crds | grep risingwavelabs.com
risingwaves.risingwave.risingwavelabs.com 2023-05-23T06:04:00Z
risingwavescaleviews.risingwave.risingwavelabs.com 2023-05-23T06:04:01Z
# 检查控制器 Pod 状态
$ kubectl -n risingwave-operator-system get pods
NAME READY STATUS RESTARTS AGE
risingwave-operator-controller-manager-b5d5f585d-6npn5 2/2 Running 0 60s
RisingWave 集群现已准备就绪可供使用。但默认情况下,无法从 Kubernetes 集群外部访问它。要连接到 RisingWave 集群,需将集群的端口转发到本地机器:
kubectl port-forward svc/risingwave-frontend 4567:service
保持端口转发命令在终端中运行,然后打开另一个终端窗口。现在可以使用 psql 命令行工具连接到 RisingWave 集群。默认用户名为 root,默认数据库名为 dev:
psql -h localhost -p 4567 -d dev -U root
现在尝试在数据库中创建表:
dev=> CREATE TABLE t1 (v1 int);
CREATE_TABLE
然后基于该表创建物化视图:
dev=> CREATE MATERIALIZED VIEW mv1 AS SELECT sum(v1) AS sum_v1 FROM t1;
CREATE_MATERIALIZED_VIEW
向表中插入一些数据:
dev=> INSERT INTO t1 VALUES (1), (2), (3);
INSERT 0 3
dev=> FLUSH;
FLUSH
现在可以查询物化视图:
dev=> SELECT * FROM mv1;
sum_v1
--------
6
(1 row)
RisingWave Kubernetes Operator 通过 CRD(自定义资源定义)扩展 Kubernetes,以管理 RisingWave。这意味着您只需在 Kubernetes 集群中创建一个 RisingWave 资源,RisingWave Kubernetes Operator 就会处理其余的所有事情。
RisingWave 资源是定义 RisingWave 集群的自定义资源。您可以在 docs/manifests/risingwave 目录中找到更多示例。有关 API 的更多详细信息,请参阅 API 参考。
[!NOTE] 由于项目仍在快速开发中,不同版本的 RisingWave Operator 之间可能存在兼容性问题。我们在 docs/manifests/stable 目录中维护了一组稳定的清单,确保与最新发布版本兼容。如果您想在生产环境中部署 RisingWave,请使用这些清单。
按照以下步骤在 Kubernetes 集群中创建 RisingWave 集群:
# 下载清单 YAML 文件。
curl https://raw.githubusercontent.com/risingwavelabs/risingwave-operator/main/docs/manifests/stable/persistent/minio/risingwave.yaml -o risingwave.yaml
# 将其应用到 Kubernetes 集群。
kubectl apply -f risingwave.yaml
[!NOTE] RisingWave 集群默认将在
default命名空间中创建。如果您想在其他命名空间中创建,请修改清单 YAML 文件中的metadata.namespace字段或使用--namespace选项。
RisingWave 集群将在几分钟内创建完成。您可以通过运行以下命令检查 RisingWave 集群的状态:
kubectl get risingwave
NAME META STORE STATE STORE VERSION RUNNING AGE
risingwave Etcd MinIO v1.6.0 True 2m20s
[!NOTE]
META STORE列表示 RisingWave 元数据的存储后端。STATE STORE列表示状态存储的存储后端。VERSION列表示 RisingWave 集群的版本。RUNNING列表示 RisingWave 集群是否正在运行。
您可以通过运行以下命令检查 RisingWave 集群的 Pod:
kubectl get pods -l risingwave/name
NAME READY STATUS RESTARTS AGE
risingwave-compactor-5cfcb469c5-gnkrp 1/1 Running 2 (1m ago) 2m35s
risingwave-compute-0 1/1 Running 2 (1m ago) 2m35s
risingwave-frontend-86c948f4bb-69cld 1/1 Running 2 (1m ago) 2m35s
risingwave-meta-0 1/1 Running 1 (1m ago) 2m35s
RisingWave 集群现在已准备好使用。但是,默认情况下,无法从 Kubernetes 集群外部访问它。要连接到 RisingWave 集群,您需要将 RisingWave 集群的端口转发到本地机器:
kubectl port-forward svc/risingwave-frontend 4567:service
保持端口转发命令在终端中运行,并打开另一个终端窗口。现在,您可以使用 psql 命令行工具连接到 RisingWave 集群。默认用户名为 root,默认数据库名称为 dev:
psql -h localhost -p 4567 -d dev -U root
现在尝试在数据库中创建表:
dev=> CREATE TABLE t1 (v1 int);
CREATE_TABLE
然后基于该表创建物化视图:
dev=> CREATE MATERIALIZED VIEW mv1 AS SELECT sum(v1) AS sum_v1 FROM t1;
CREATE_MATERIALIZED_VIEW
向表中插入一些数据:
dev=> INSERT INTO t1 VALUES (1), (2), (3);
INSERT 0 3
dev=> FLUSH;
FLUSH
现在您可以查询物化视图:
dev=> SELECT * FROM mv1;
sum_v1
--------
6
(1 row)
要删除 RisingWave 集群,只需删除 RisingWave 资源:
kubectl delete risingwave risingwave
Pod 将在几分钟内被删除。
[!NOTE] 在本示例中,删除 RisingWave 集群后,集群中的数据不会丢失,因为 etcd 和 MinIO 服务仍在运行。如果您想终止所有服务并清除数据,可以运行以下命令:
> kubectl delete -f risingwave.yaml # 删除您上面使用的 risingwave.yaml 中定义的所有资源。
> kubectl delete pvc -l app=etcd # 删除 etcd 的 PVC。
> kubectl delete pvc -l app=minio # 删除 MinIO 的 PVC。
>
您可以通过修改清单 YAML 文件来自定义 RisingWave 集群。有关更多详细信息,请参阅 docs/general/api.md 文件中的 API 参考。
如需自定义RisingWave集群的状态存储后端,请参考docs/general/state-stores.md文件。
我们欢迎社区贡献!如果您希望为此项目做出贡献,请遵循CONTRIBUTING.md文件中概述的指南。
本项目采用Apache License 2.0许可证。您可以在LICENSE文件中找到许可证的完整文本。
探索更多轩辕镜像的使用方法,找到最适合您系统的配置方式
通过 Docker 登录认证访问私有仓库
无需登录使用专属域名
Kubernetes 集群配置 Containerd
K3s 轻量级 Kubernetes 镜像加速
VS Code Dev Containers 配置
Podman 容器引擎配置
HPC 科学计算容器配置
ghcr、Quay、nvcr 等镜像仓库
Harbor Proxy Repository 对接专属域名
Portainer Registries 加速拉取
Nexus3 Docker Proxy 内网缓存
需要其他帮助?请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
docker search 限制
站内搜不到镜像
离线 save/load
插件要用 plugin install
WSL 拉取慢
安全与 digest
新手拉取配置
镜像合规机制
不支持 push
manifest unknown
no matching manifest(架构)
invalid tar header(解压)
TLS 证书失败
DNS 超时
域名连通性排查
410 Gone 排查
402 与流量用尽
401 认证失败
429 限流
D-Bus 凭证提示
413 与超大单层
来自真实用户的反馈,见证轩辕镜像的优质服务