blong14/cluster

计算集群（开发中）

镜像概述和主要用途

该镜像旨在构建基于k3s和树莓派的个人多节点计算环境，目前处于开发阶段（WIP）。主要用途是提供一个本地化的多节点计算集群，集成多种组件以支持监控、数据存储、数据处理及集群管理等功能。

核心功能和特性

目前已实现的核心功能包括：

1. Prometheus监控栈：提供集群监控能力
2. CockroachDB集群：分布式SQL数据库服务
3. Apache Beam：分布式数据处理框架
4. CLI工具：用于管理集群工作负载（如作业、服务等）

使用场景和适用范围

适用于需要搭建个人实验性计算集群的场景，例如：

• 个人学习分布式系统
• 本地开发和测试多节点应用
• 构建小型个人数据处理平台

详细的使用方法和配置说明

节点实物图

!节点实物图

本地控制器设置（可能存在步骤缺失或顺序不当）

1. 将SSH密钥添加到github.com
   参考：https://docs.github.com/en/github/authenticating-to-github/generating-a-new-ssh-key-and-adding-it-to-the-ssh-agent
2. 创建Developer目录：

   bash
   mkdir Developer
   

3. 克隆dotfiles仓库：

   bash
   git clone dotfiles
   

4. 安装vim：

   bash
   apt install vim
   

5. 安装rcup：

   bash
   apt install rcup
   

6. 运行rcup：

   bash
   rcup
   

7. 进入Developer目录：

   bash
   cd Developer
   

8. 克隆compute-cluster仓库：

   bash
   git clone compute-cluster
   

9. 进入compute-cluster目录：

   bash
   cd compute-cluster
   

10. 执行控制器脚本：

    bash
    ./bin/controller.sh
    

11. 执行k3s脚本：

    bash
    ./bin/k3s.sh
    

12. 安装初始化数据库Chart：

    bash
    helm upgrade --install init-db charts/init-db
    

节点设置

执行worker脚本：

bash
./bin/worker.sh

有关高级设置，请参考k3s高级文档

服务访问

1. kubectl仪表板：

   bash
   kubectl proxy
   

2. CockroachDB仪表板：

   bash
   ./cluster run proxy -r "svc/cockroachdb-public" -p "8080"
   

3. Grafana代理：

   bash
   ./cluster run proxy -p "3000:80" -r "svc/prometheus-grafana"
   

工具使用

1. CockroachDB客户端连接：

   bash
   ./cluster run connect -d postgres
   

2. CockroachDB客户端代理：

   bash
   ./cluster run proxy -p "9000:26257" -r "pod/cockroachdb-0"