smallbird/hadoop

Hadoop镜像文档

镜像概述和主要用途

本镜像基于CentOS 7.5.1804操作系统构建，集成JDK 1.8.0_221和Hadoop 2.7.4，提供预配置的Hadoop分布式计算框架运行环境。主要用于快速部署Hadoop集群节点或搭建单节点Hadoop环境，支持大数据处理、分布式存储与计算任务的开发、测试及学习场景。

核心功能和特性

• 完整组件集成：预安装配置Hadoop 2.7.4，包含HDFS、MapReduce、YARN等核心组件
• Java环境内置：集成JDK 1.8.0_221，满足Hadoop运行的Java依赖需求
• 稳定基础系统：基于CentOS 7.5.1804，提供可靠的Linux运行环境
• 即开即用：简化环境配置流程，可快速启动Hadoop服务

使用场景和适用范围

• Hadoop集群节点部署与扩展
• 大数据处理任务的开发与测试环境搭建
• Hadoop框架学习与教学实践
• 单节点Hadoop服务快速部署

使用方法和配置说明

基本启动命令

单节点模式启动Hadoop服务：

bash
docker run -d --name hadoop-node -p 50070:50070 -p 8088:8088 hadoop-image:latest

参数说明：

• -d：后台运行容器
• --name hadoop-node：指定容器名称
• -p 50070:50070：映射HDFS Web管理界面端口
• -p 8088:8088：映射YARN ResourceManager Web界面端口

数据持久化配置

如需持久化存储HDFS数据，可挂载本地目录：

bash
docker run -d --name hadoop-node \
  -p 50070:50070 -p 8088:8088 \
  -v /local/hdfs/data:/usr/local/hadoop/hdfs/data \
  -v /local/hadoop/config:/usr/local/hadoop/etc/hadoop \
  hadoop-image:latest

容器交互操作

进入容器环境执行Hadoop命令：

bash
docker exec -it hadoop-node /bin/bash

服务状态验证

• Web界面访问：

  • HDFS管理界面：http://localhost:50070
  • YARN资源管理界面：http://localhost:8088

• 命令行验证：

  bash
  # 查看Hadoop版本
  hadoop version
  
  # 检查HDFS状态
  hdfs dfsadmin -report
  

配置修改

Hadoop配置文件默认路径：/usr/local/hadoop/etc/hadoop/，修改配置后需重启服务：

bash
# 进入容器
docker exec -it hadoop-node /bin/bash

# 重启Hadoop服务
/usr/local/hadoop/sbin/stop-all.sh
/usr/local/hadoop/sbin/start-all.sh