apcerademos/hadoop

Apcera平台三节点Hadoop集群镜像

镜像概述

本镜像用于在Apcera平台上部署三节点Hadoop集群，支持分布式数据存储与处理。集成Hadoop、Pig数据处理工具及Java运行环境，适用于在Apcera平台社区版进行分布式计算和数据分析测试。

核心功能与特性

• 组件版本：

  Hadoop 2.7.2
  Pig 0.16.0
  OpenJDK 8
  

• 支持三节点分布式集群部署
• 包含YARN资源管理器和HDFS分布式文件系统
• 集成Pig数据处理工具，支持日志分析等数据处理任务
• 提供Web控制台（DFS和YARN）及SSH访问

使用场景

适用于在Apcera平台上进行分布式计算框架测试、大数据处理任务验证、Hadoop集群功能演示等场景，尤其适合开发和测试环境。

使用方法

前提条件

已安装Apcera平台（推荐使用Apcera Platform Community Edition）

1. 创建虚拟网络

bash
apc network create hadoop --batch

2. 运行Docker镜像

分别创建三个Hadoop节点容器：

bash
# 主节点（hadoop1），开放端口50070(DFS)、8088(YARN)、22(SSH)
apc docker create hadoop1 -i apcerademos/hadoop -m 3g --port 50070 --port 8088 --port 22 -ae -e CONFIG=MASTER -e HADOOP_HOSTNAME="hadoop1.apcera.local"

# 从节点（hadoop2）
apc docker create hadoop2 -i apcerademos/hadoop -m 3g -e HADOOP_HOSTNAME="hadoop2.apcera.local" 

# 从节点（hadoop3）
apc docker create hadoop3 -i apcerademos/hadoop -m 3g -e HADOOP_HOSTNAME="hadoop3.apcera.local"

3. 将容器加入虚拟网络

指定发现地址（请勿修改-da名称，配置文件已硬编码）：

bash
apc network join hadoop -j hadoop1 -da hadoop1
apc network join hadoop -j hadoop2 -da hadoop2
apc network join hadoop -j hadoop3 -da hadoop3

4. 启动Hadoop容器

bash
apc app start hadoop1
apc app start hadoop2
apc app start hadoop3

5. 配置外部访问路由

5.1 SSH访问路由

获取Apcera集群中心主机IP（社区版可通过./apcera-setup status查看），添加SSH路由：

bash
# 将central_ip替换为实际中心主机IP，9999可改为自定义外部端口
apc route add central_ip:9999 --app hadoop1 --tcp --port 22 --batch

5.2 Web控制台路由

添加DFS和YARN Web控制台路由：

bash
apc route add http://dfs.my-cluster.apcera-platform.io --app hadoop1 --port 50070 --batch
apc route add http://yarn.my-cluster.apcera-platform.io --app hadoop1 --port 8088 --batch

6. SSH登录凭据

用户名：root
密码：training

7. 运行示例Pig作业

通过SSH登录主节点并执行测试脚本（解析日志文件中"Java"关键词）：

bash
ssh root@central_ip -p 9999
bash /tests.sh

测试脚本功能：将Debian软件包安装日志复制到Hadoop文件系统，并搜索包含"Java"的记录。