kiwenlau查看 Docker Hub 原文页
在Docker容器中运行Hadoop集群的镜像,用于快速部署和管理分布式Hadoop环境,简化Hadoop集群的搭建流程。
27 次收藏下载次数: 0状态:社区镜像维护者:kiwenlau仓库类型:镜像最近更新:
hadoop-cluster-docker 镜像文档
镜像概述和主要用途
hadoop-cluster-docker是一个用于在Docker容器中部署Hadoop集群的镜像,基于GitHub项目https://github.com/kiwenlau/hadoop-cluster-docker开发。该镜像旨在简化Hadoop集群的搭建过程,无需手动配置复杂的分布式环境,可快速创建包含主节点(NameNode、ResourceManager)和从节点(DataNode、NodeManager)的完整Hadoop集群,适用于Hadoop学习、开发测试及小型分布式计算场景。
核心功能和特性
- 容器化部署:通过Docker容器实现Hadoop集群的隔离部署,避免环境依赖冲突
- 完整集群架构:支持多节点集群,包含HDFS(分布式文件系统)和YARN(资源管理器)组件
- 快速启停:无需手动配置SSH免密、环境变量等,通过脚本一键启动/停止集群
- 可扩展性:支持灵活调整集群节点数量,满足不同规模的计算需求
- 轻量级:基于精简基础镜像,降低资源占用
使用场景和适用范围
- 学习环境:帮助开发者快速搭建Hadoop学习环境,了解分布式计算原理
- 开发测试:为Hadoop应用开发提供本地测试环境,验证MapReduce作业、Spark应用等
- 教学演示:用于课堂或技术分享中展示Hadoop集群的部署和运行过程
- 小型数据处理:适用于处理小规模数据集的分布式计算任务
使用方法和配置说明
前提条件
- 已安装Docker和Docker Compose
- 网络环境支持容器间通信
拉取镜像
可通过以下命令拉取镜像:
bashdocker pull docker.xuanyuan.run/kiwenlau/hadoop:2.7.2
获取项目文件
从GitHub克隆项目仓库,包含启动脚本和配置文件:
bashgit clone https://github.com/kiwenlau/hadoop-cluster-docker.git cd hadoop-cluster-docker
启动集群
执行启动脚本创建并启动Hadoop集群容器(默认包含1个主节点和2个从节点):
bash./start-container.sh
初始化HDFS并启动集群服务
进入主节点容器,执行初始化和启动命令:
bash# 进入主节点容器 docker exec -it hadoop-master bash # 初始化HDFS文件系统 hdfs namenode -format # 启动Hadoop集群 ./start-hadoop.sh
访问集群
- HDFS Web界面:通过
http://<主机IP>:50070访问NameNode管理界面 - YARN Web界面:通过
http://<主机IP>:8088访问ResourceManager管理界面 - 容器内操作:通过
docker exec -it hadoop-master bash进入主节点容器,执行Hadoop命令(如hdfs dfs -ls /、yarn jar <jar包> <主类> <参数>)
停止集群
在主机执行停止脚本:
bash./stop-container.sh
Docker部署示例
docker-compose配置示例
项目中提供docker-compose.yml文件,可直接使用Docker Compose启动集群:
yamlversion: '2' services: master: image: docker.xuanyuan.run/kiwenlau/hadoop:2.7.2 container_name: hadoop-master ports: - "50070:50070" - "8088:8088" volumes: - ./hadoop-master:/root/hadoop-2.7.2 networks: - hadoop-network command: /root/start-master.sh slave1: image: docker.xuanyuan.run/kiwenlau/hadoop:2.7.2 container_name: hadoop-slave1 volumes: - ./hadoop-slave1:/root/hadoop-2.7.2 networks: - hadoop-network command: /root/start-slave.sh master slave2: image: docker.xuanyuan.run/kiwenlau/hadoop:2.7.2 container_name: hadoop-slave2 volumes: - ./hadoop-slave2:/root/hadoop-2.7.2 networks: - hadoop-network command: /root/start-slave.sh master networks: hadoop-network: driver: bridge
启动命令:
bashdocker-compose up -d
手动启动命令示例
手动创建网络并启动容器(以1主2从为例):
bash# 创建自定义网络 docker network create hadoop-network # 启动主节点 docker run -itd --name hadoop-master --network hadoop-network -p 50070:50070 -p 8088:8088 docker.xuanyuan.run/kiwenlau/hadoop:2.7.2 /bin/bash # 启动从节点1 docker run -itd --name hadoop-slave1 --network hadoop-network docker.xuanyuan.run/kiwenlau/hadoop:2.7.2 /bin/bash # 启动从节点2 docker run -itd --name hadoop-slave2 --network hadoop-network docker.xuanyuan.run/kiwenlau/hadoop:2.7.2 /bin/bash
配置参数说明
- 节点数量调整:修改
start-container.sh脚本中的N变量(默认值为2)可调整从节点数量 - Hadoop配置文件:通过挂载本地目录到容器内
/root/hadoop-2.7.2/etc/hadoop路径,自定义core-site.xml、hdfs-site.xml、yarn-site.xml等配置文件 - 资源限制:启动容器时可通过
-m参数限制内存使用(如-m 2g限制为2GB内存) - 端口映射:根据需要调整主机与容器的端口映射,避免端口冲突
更多详细配置和使用说明可参考项目GitHub文档或作者博客:Run Hadoop Cluster in Docker Update
更多相关 Docker 镜像与资源
以下是 kiwenlau/hadoop 相关的常用 Docker 镜像,适用于 不同场景 等不同场景:
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。
DockerHub 原生拉取命令
docker pull kiwenlau/hadoop:<标签>
用户好评
来自真实用户的反馈,见证轩辕镜像的优质服务