smizy/hadoop-base

docker-hadoop-base

![CircleCI]([***]

基于Alpine的Hadoop（Common/HDFS/YARN/MapReduce）Docker镜像。

核心功能

• NameNode支持多节点高可用模式
• 非安全模式运行
• 内置Alpine构建的原生Hadoop库（注：缺少原生netgroup映射功能）
• 尽可能实现每个容器一个进程
• 无sshd配置，无法使用start-dfs.sh、start-yarn.sh等工具脚本
• 通过mustache.sh应用配置模板
• 使用Docker内置DNS的FQDN替代编辑/etc/hosts，需确保DNS正向和反向解析正常

使用场景

适用于Hadoop分布式计算环境的容器化部署与测试，支持快速搭建包含HDFS、YARN等组件的轻量级Hadoop集群。

配置说明

需为容器设置--name和--net（容器名.网络名作为主机名）以支持其他容器的DNS正向解析，同时设置--hostname(-h)以支持容器自身的反向解析。

部署示例

小型集群搭建

bash
# 加载默认环境变量（按需）
eval $(docker-machine env default)

# 创建网络
docker network create vnet

# 生成docker-compose.yml文件
zookeeper=1 namenode=1 datanode=1 ./make_docker_compose_file.sh hdfs yarn > docker-compose.yml

# 验证配置
docker-compose config

# 启动Hadoop集群
docker-compose up -d

# 查看日志
docker-compose logs -f

# 查看容器状态
docker-compose ps

# 查看容器资源使用情况
docker ps --format {{.Names}} | xargs docker stats

# 运行示例任务（计算π值）
docker exec -it -u hdfs datanode-1 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar pi 10 100

# 访问任务历史Web UI（需替换为实际IP）
open [***] ip default):***

# 停止集群
docker-compose stop

# 清理容器
docker-compose rm -v