cloudera/clusterdock

背景

为满足CDH用户对单Docker主机上多节点集群部署的测试和自学需求，我们基于Apache HBase的clusterdock框架创建了CDH拓扑。clusterdock是一个简单的Python库，用于在单主机上编排多节点集群部署。与擅长管理微服务架构的Docker Compose不同，它将多个容器协调成类似传统主机的模式（例如四节点Hadoop集群使用四个容器），在Cloudera内部被广泛用于测试和原型开发（不支持生产环境）。

入门指南

1. 安装Docker：确保运行Docker 1.11.0或更高版本（旧版本缺少嵌入式DNS服务器和反向主机名查找功能）。
2. 资源要求：2节点集群至少需16GB空闲内存，4节点集群至少24GB空闲内存。
3. 获取clusterdock脚本：

   bash
   source /dev/stdin <<< "$(curl -sL http://tiny.cloudera.com/clusterdock.sh)"
   

基础使用

启动集群

启动默认两节点CDH集群：

bash
clusterdock_run ./bin/start_cluster cdh

首次运行会下载镜像（可能耗时5分钟），后续会缓存。集群启动后，可通过输出的地址访问Cloudera Manager UI，或SSH到节点：

bash
clusterdock_ssh node-1.cluster

高级使用

查看帮助

bash
clusterdock_run ./bin/start_cluster --help
clusterdock_run ./bin/start_cluster cdh --help

部署更大集群

例如4节点集群（域名后缀为testing）：

bash
clusterdock_run ./bin/start_cluster -n testing cdh --primary-node=node-1 --secondary-nodes='node-{2..4}'

指定服务类型

• 包含特定服务：创建仅含HDFS、ZOOKEEPER、HBASE、YARN的两节点集群

  bash
  clusterdock_run ./bin/start_cluster cdh --include-service-types=HDFS,ZOOKEEPER,HBASE,YARN
  

• 排除特定服务：创建不含Impala的4节点集群

  bash
  clusterdock_run ./bin/start_cluster -n mycluster cdh --primary-node=machine-1 --secondary-nodes='machine-{2..4}' --exclude-service-types=IMPALA
  

获取帮助

• 反馈建议可发布到Cloudera社区论坛
• 更多信息参考Cloudera文档和许可协议