ibmcom/iop-hadoop

IBM Open Platform with Apache Hadoop 非生产环境Docker镜像文档（v4.2）

镜像概述

本镜像为IBM BigInsights® Quick Start Edition的Docker镜像，适用于非生产环境的多节点配置。旨在帮助开发者和数据科学家在云或虚拟环境中快速体验IBM BigInsights，支持通过添加节点模拟分布式集群，以并行方式处理大规模数据，缩短数据处理时间。

核心功能与特性

• 灵活部署模式：支持单节点或多节点配置，满足不同规模的数据处理需求。
• 分布式集群模拟：可通过向主节点添加多个节点，模拟分布式集群环境，适用于并行数据处理实验。
• 多产品支持：可安装IBM Open Platform with Apache Spark and Apache Hadoop（IOP）非生产版本，或结合BigInsights增值服务。
• 自动化与手动安装：提供基于Ambari向导的手动安装，以及针对5节点集群的自动化蓝图安装（支持IOP或IOP+BigInsights增值服务）。

适用场景

• 开发者进行Hadoop、Spark相关应用开发与测试。
• 数据科学家在非生产环境中进行大规模数据处理实验。
• 需要模拟分布式集群环境，验证并行数据处理逻辑。
• 学习和评估IBM BigInsights及Apache Hadoop、Spark生态系统功能。

系统要求

操作系统

• 主机操作系统：Red Hat Enterprise Linux (RHEL) 7.x - 64位（需安装Docker 1.10）

硬件要求

• 节点与CPU：至少5个节点，每个节点4核CPU；推荐8核CPU以获得最佳性能（CPU数量不足可能导致性能显著下降）。
• 内存：IOP及Docker镜像至少需16GB RAM，主机内存需超过此水平。
• 存储：主机硬盘至少50GB可用空间（Docker容器镜像大小为3.11GB）。

授权与网络

• 授权：需对集群所有节点拥有root访问权限。
• 网络访问：所有节点需连接互联网，以下载代码和Docker镜像。

集群环境准备

步骤1：指定管理节点

选择集群中的一个节点作为管理节点，使用其完全限定域名（如node1.domain.company.com）。

步骤2：创建hosts.txt文件

在管理节点创建hosts.txt文件，列出集群所有节点的主机名，格式如下（第一行为管理节点）：

node1.domain.company.com
node2.domain.company.com
node3.domain.company.com
node4.domain.company.com
node5.domain.company.com

IBM SoftLayer节点：若使用IBM SoftLayer提供的虚拟节点，直接使用其节点名。

步骤3：配置无密码SSH（非SoftLayer节点）

若节点非来自IBM SoftLayer（未预配置无密码SSH），需在Ambari服务器主机与其他所有集群主机间配置无密码SSH：

1. 以root或有root权限的用户登录Linux集群。
2. 在Ambari服务器主机生成SSH密钥：

   bash
   ssh-keygen
   

   生成时不设置密码（按Enter键留空），否则Ambari主机注册会失败。
3. 将公钥复制到所有目标主机的root账户：

   bash
   ssh-copy-id -i ~/.ssh/id_rsa.pub root@node1.domain.company.com
   ssh-copy-id -i ~/.ssh/id_rsa.pub root@node2.domain.company.com
   ...
   

4. 确保.ssh目录权限为700，authorized_keys文件权限为600或640。
5. 验证SSH连接：

   bash
   ssh root@node1.domain.company.com
   ssh root@node2.domain.company.com
   ...
   

安装步骤

步骤1：获取并解压镜像

1. 下载Docker镜像TAR文件至管理节点：
   IOP Docker下载地址
2. 解压TAR文件：

   bash
   tar -fxvz qse-docker-deployer-4.2.0.0.tar.gz
   

   解压后包含以下脚本：
   • cleanHosts.py：清理所有节点的现有容器、镜像及临时文件。
   • deploy.py：部署镜像、创建容器、启动Ambari服务。

步骤2：安装方式选择

手动安装（Ambari向导）

在管理节点运行：

bash
python deploy.py hosts.txt

脚本执行完成后，会输出节点列表及Ambari Web界面URL，通过该URL使用向导配置集群服务。

自动化安装（5节点集群，蓝图方式）

• 安装IOP（含Spark和Hadoop）：

  bash
  python deploy.py hosts.txt -i
  

• 安装IOP及BigInsights增值服务：

  bash
  python deploy.py hosts.txt -v
  

  完成后，通过以下URL访问BigInsights主页：
  https://management_node_hostname:8443/gateway/default/BigInsightsWeb/index.html

卸载方法

重新安装前需清理原有安装，在管理节点执行：

bash
python cleanHosts.py hosts.txt

该命令会停止并移除所有节点的容器、镜像及临时文件。

Docker部署示例

直接运行镜像（单节点模式）：

bash
docker run -d --name iop-hadoop --privileged=true \
  --net=host -p 8080:8080 -p 8670:8670 \
  -p 8440:8440 -p 8441:8441 -p 50010:50010 \
  -p 50020:50020 -p 50070:50070 -p 8188:8188 \
  -p 8190:8190 -p 10200:10200 -p 8020:8020 \
  -p 50075:50075 -p 60010:60010 -p 60020:60020 \
  -p 10000:10000 -p 8088:8088 -p 50060:50060 \
  -p 8032:8032 -p 2022:22 -p 80:80 \
  --ulimit nproc=65535 --ulimit nofile=65535 \
  --ulimit core=65535 ibmcom/iop-hadoop

# 启动Ambari服务
docker exec -it iop-hadoop ambari-server start

提示与故障排除

免费支持资源

• IBM信息管理支持门户：[***]
• Hadoop及BigInsights增值服务论坛：[***]

注意事项

• 无密码SSH配置错误会导致Ambari主机注册失败，错误提示：Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)。
• 自动化蓝图安装仅支持5节点集群，其他规模需使用手动安装。