cclient/hadoop

k8s hadoop simple cluster 镜像文档

镜像概述和主要用途

本镜像基于 https://hub.docker.com/r/izone/hadoop/ 构建，用于在Kubernetes环境中快速部署简单的Hadoop集群。集群包含datanode和namenode两个核心组件，支持Hadoop分布式数据处理，并集成HBase、Jupyter等服务，适用于开发测试及小型数据处理场景。

核心功能和特性

• 组件完整：包含datanode（数据节点）和namenode（名称节点）核心组件
• K8s兼容：支持通过Kubernetes进行集群部署和管理
• 服务集成：集成HBase分布式数据库和Jupyter Notebook服务
• Web界面：提供Hadoop集群、namenode、HBase及Jupyter的Web访问界面

使用场景和适用范围

• 开发测试环境中快速搭建Hadoop集群
• 小型分布式数据处理任务
• 学习和研究Hadoop生态系统
• 需要在Kubernetes环境中运行Hadoop的场景

详细使用方法和配置说明

镜像构建

datanode镜像构建

bash
# 进入datanode目录
cd ../datanode

# 构建datanode镜像
docker build -t cclient/hadoop:2.8.3-datanode ./

# 无代理环境构建
docker build --build-arg http_proxy= --build-arg https_proxy= -t cclient/hadoop:2.8.3-datanode ./

namenode镜像构建

bash
# 进入cluster目录
cd ../cluster

# 构建namenode镜像
docker build -t cclient/hadoop:2.8.3-namenode ./

# 无代理环境构建
docker build --build-arg http_proxy= --build-arg https_proxy= -t cclient/hadoop:2.8.3-namenode ./

集群部署

注意：必须先部署datanode，再部署namenode（namenode需通过SSH配置datanode）

部署datanode

bash
kubectl apply -f deploy-datanode.yml

部署namenode

bash
kubectl apply -f deploy-namenode.yml

集群状态查看

部署完成后，可通过以下命令查看集群状态：

bash
# 查看运行的pods
kubectl get pods

# 示例输出
NAME              READY   STATUS    RESTARTS   AGE
hadoop-master-0   1/1     Running   0          10h
hadoop-node-0     1/1     Running   0          10h

# 查看服务
kubectl get svc

# 示例输出
NAME            TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)                                                                                                                                                                  AGE
hadoop-master   NodePort    10.99.224.121   <none>        22:32620/TCP,8088:32688/TCP,8042:30120/TCP,50030:32630/TCP,50070:32670/TCP,8888:32488/TCP,4040:32029/TCP,8787:31379/TCP,9000:30074/TCP,60010:32510/TCP,60030:32530/TCP   12h
hadoop-node     ClusterIP   10.107.83.73    <none>        22/TCP                                                                                                                                                                   12h
kubernetes      ClusterIP   10.96.0.1       <none>        443/TCP                                                                                                                                                                  8d

Web界面访问

Hadoop相关界面

• Hadoop集群管理界面：http://k8s-node-ip:32688
  （显示集群整体状态的Web界面）

• Namenode管理界面：http://k8s-node-ip:32670
  （显示namenode状态及文件系统信息）

HBase相关界面

• HBase Master界面：http://k8s-node-ip:32510
  （HBase集群管理界面）

• HBase RegionServer界面：http://k8s-node-ip:32530
  （HBase区域服务器状态界面）

Jupyter Notebook界面

• Jupyter Notebook：http://k8s-node-ip:32488
  （用于数据分析和交互编程的Web界面）