izone/hadoop

Hadoop 2.8.5 生态系统镜像

1. 镜像概述

本镜像基于Hadoop 2.8.5构建，提供完整的大数据处理与分析生态系统。支持多种Linux操作系统（Debian Jessie、CentOS 7、CentOS 6.8及轻量级Alpine Linux），集成了分布式计算、数据存储、ETL工具、机器学习库及开发环境，适用于大数据工程、数据分析、机器学习等场景。

2. 核心功能与特性

2.1 操作系统支持

• Debian Jessie
• CentOS 7
• CentOS 6.8
• Alpine Linux（轻量级，仅483 MB）

2.2 分布式模式

• 伪分布式模式：单节点模拟分布式环境
• 完全分布式模式：支持1-9个节点的集群部署（含 namenode 共10个节点）

2.3 ETL与数据湖工具

• 数据导入：Sqoop支持MariaDB、Oracle 11g数据库导入
• 数据处理：Hive（结构化数据）、Pig、HBase
• JDBC集成：预配置Sqoop和Spark的JDBC连接

2.4 机器学习

• Mahout库：支持Naive Bayes（朴素贝叶斯）、K-Means（K均值聚类）等算法

2.5 开发环境

• PySpark Jupyter Notebook：支持Python、R、Julia内核
• RStudio Server：浏览器访问的R开发环境
• Julia：支持线性回归等数据分析任务

3. 使用场景

• 大数据集群部署与测试
• ETL数据抽取、转换、加载（数据湖构建）
• 结构化/非结构化数据分析
• 机器学习模型训练（分类、聚类等）
• Spark/PySpark分布式计算任务开发

4. 使用方法与配置说明

4.1 完全分布式集群部署

4.1.1 集群管理脚本

bash
# 下载集群管理脚本
curl -L https://raw.githubusercontent.com/luvres/hadoop/master/zoneCluster.sh -o ~/zoneCluster.sh
alias zoneCluster="bash ~/zoneCluster.sh"

# 创建Notebook目录（用于挂载）
mkdir $HOME/notebooks

4.1.2 集群创建

• 单节点集群（含namenode共2节点）：

  bash
  zoneCluster
  

• 多节点集群（最多9个节点，含namenode共10节点）：

  bash
  zoneCluster 3  # 创建3个节点（总4节点）
  docker logs -f Hadoop  # 查看集群日志
  

4.1.3 集群管理选项

bash
zoneCluster { stop | start | remove | Stop | pseudo | cos6 | cos7 | alpine }

• stop/start：停止/启动集群
• remove：移除集群
• Stop：停止并移除集群
• pseudo：创建伪分布式实例
• cos6/cos7/alpine：指定操作系统版本

4.1.4 集群访问地址

• Hadoop管理界面：http://localhost:8088
• HDFS文件系统：http://localhost:50070
• HBase管理界面：http://localhost:60010
• Jupyter Notebook：http://localhost:8888/terminals/1（进入后输入bash启动终端）

4.2 ETL数据湖操作

4.2.1 数据库导入（MariaDB/Oracle）

• 启动含数据库的集群：

  bash
  zoneCluster 2 -db
  

• 从MariaDB导入数据：

  bash
  # 在Jupyter终端执行
  sqoop import \
    --connect jdbc:mysql://mariadb:3306/mysql \
    --username root \
    --password maria \
    --table user -m 1
  
  # 验证HDFS数据
  hdfs dfs -ls -R user
  

• 从Oracle导入数据：

  1. 进入Oracle容器准备数据：

     bash
     docker exec -ti OracleXE bash
     cd $HOME/data/
     curl -O http://files.grouplens.org/datasets/movielens/ml-20m.zip
     unzip ml-20m.zip
     cd ml-20m
     cat ratings.csv | tail -n $((`cat ratings.csv | wc -l` /100)) > ml_ratings.csv
     

  2. 在Oracle中创建表：

     sql
     sqlplus sys/oracle as sysdba
     CREATE USER aluno IDENTIFIED BY dsacademy;
     GRANT connect, resource, unlimited tablespace TO aluno;
     CONN aluno@xe/dsacademy
     CREATE TABLE cinema ( 
       ID NUMBER PRIMARY KEY, 
       USER_ID VARCHAR2(30), 
       MOVIE_ID VARCHAR2(30),
       RATING DECIMAL(30),
       TIMESTAMP VARCHAR2(256) 
     );
     

  3. 使用SQL*Loader加载数据：

     bash
     tee $HOME/data/loader.dat <<EOF
     load data
     INFILE '$HOME/data/ml-20m/ml_ratings.csv'
     INTO TABLE cinema
     APPEND
     FIELDS TERMINATED BY ','
     trailing nullcols
     (id SEQUENCE (MAX,1),
      user_id CHAR(30),
      movie_id CHAR(30),
      rating decimal external,
      timestamp char(256))
     EOF
     sqlldr userid=aluno/dsacademy control=$HOME/data/loader.dat log=$HOME/data/loader.log
     

  4. Sqoop导入Oracle数据：

     bash
     # 在Jupyter终端执行
     sqoop import \
     --connect jdbc:oracle:thin:@oraclexe:1521:XE \
     --username aluno \
     --password dsacademy \
     --query "select user_id, movie_id from cinema where rating = 1 and \$CONDITIONS" \
     --target-dir /user/oracle/output -m 1
     

####### 4.2.2 Hive结构化数据处理

1. 准备数据：

   bash
   # 下载数据集并上传至HDFS
   curl -O https://raw.githubusercontent.com/luvres/hadoop/master/datasets/empregados.csv
   hdfs dfs -mkdir /hive
   hdfs dfs -copyFromLocal empregados.csv /hive
   

2. 初始化Hive元数据：

   bash
   schematool -initSchema -dbType derby
   # 若初始化失败，清理元数据后重试
   rm metastore_db -fR
   

3. Hive表操作：

   sql
   hive  # 启动Hive
   
   -- 创建临时表
   CREATE TABLE temp_colab (texto String);
   
   -- 加载数据
   LOAD DATA INPATH '/hive/empregados.csv' OVERWRITE INTO TABLE temp_colab;
   
   -- 创建结构化表并提取数据
   CREATE TABLE IF NOT EXISTS colaboradores(
     id int,
     nome String,
     cargo String,
     salario double,
     cidade String
   );
   
   INSERT OVERWRITE TABLE colaboradores
   SELECT
     regexp_extract(texto, '^(?:([^,]*),?){1}', 1) ID,
     regexp_extract(texto, '^(?:([^,]*),?){2}', 1) nome,
     regexp_extract(texto, '^(?:([^,]*),?){3}', 1) cargo,
     regexp_extract(texto, '^(?:([^,]*),?){4}', 1) salario,
     regexp_extract(texto, '^(?:([^,]*),?){5}', 1) cidade
   FROM temp_colab;
   

4. HiveQL查询示例：

   sql
   SELECT * FROM colaboradores;
   SELECT * FROM colaboradores WHERE Id = 3002;
   SELECT sum(salario), cidade FROM colaboradores GROUP BY cidade;
   

4.3 机器学习模型构建

4.3.1 Naive Bayes（朴素贝叶斯）分类模型

1. 准备数据：

   bash
   # 创建HDFS目录
   hdfs dfs -mkdir -p /mahout/input/{ham,spam}
   
   # 下载并上传数据集
   curl https://raw.githubusercontent.com/luvres/hadoop/master/datasets/ham.tar.gz | tar -xzf -
   curl https://raw.githubusercontent.com/luvres/hadoop/master/datasets/spam.tar.gz | tar -xzf -
   hdfs dfs -copyFromLocal ham/* /mahout/input/ham
   hdfs dfs -copyFromLocal spam/* /mahout/input/spam
   

2. 数据转换与模型训练：

   bash
   # 转换为序列文件
   mahout seqdirectory -i /mahout/input -o /mahout/output/seqoutput
   
   # 转换为TF-IDF向量
   mahout seq2sparse -i /mahout/output/seqoutput -o /mahout/output/sparseoutput
   
   # 划分训练集和测试集
   mahout split -i /mahout/output/sparseoutput/tfidf-vectors --trainingOutput /mahout/nbTrain --testOutput /mahout/nbTest --randomSelectionPct 30 --overwrite --sequenceFiles -xm sequencial
   
   # 训练模型
   mahout trainnb -i /mahout/nbTrain -li /mahout/nbLabels -o /mahout/nbmodel -ow -c
   
   # 测试模型
   mahout testnb -i /mahout/nbTest -m /mahout/nbmodel -l /mahout/nbLabels -ow -o /mahout/nbpredictions -c
   

4.3.2 K-Means（K均值）聚类模型

1. 准备数据：

   bash
   # 创建HDFS目录
   hdfs dfs -mkdir -p /mahout/clustering/data
   
   # 下载并上传数据集
   curl https://raw.githubusercontent.com/luvres/hadoop/master/datasets/news.tar.gz | tar -xzf -
   hdfs dfs -copyFromLocal news/* /mahout/clustering/data
   

2. 数据转换与模型训练：

   bash
   # 转换为序列文件
   mahout seqdirectory -i /mahout/clustering/data -o /mahout/clustering/kmeansseq
   
   # 转换为TF-IDF向量
   mahout seq2sparse -i /mahout/clustering/kmeansseq -o /mahout/clustering/kmeanssparse
   
   # 训练K-Means模型（k=3，迭代10次）
   mahout kmeans -i /mahout/clustering/kmeanssparse/tfidf-vectors/ -c /mahout/clustering/kmeanscentroids  -cl -o /mahout/clustering/kmeansclusters -k 3 -ow -x 10 -dm org.apache.mahout.common.distance.CosineDistanceMeasure
   
   # 导出聚类结果
   mahout clusterdump -d /mahout/clustering/kmeanssparse/dictionary.file-0 -dt sequencefile -i /mahout/clustering/kmeansclusters/clusters-1-final -n 20 -b 100 -o clusterdump.txt -p /mahout/clustering/kmeansclusters/clusteredPoints/
   
   # 查看结果
   cat clusterdump.txt
   

4.4 开发环境使用

4.4.1 Jupyter Notebook

• 访问地址：http://localhost:8888
• Spark任务管理界面：http://localhost:4040

4.4.2 RStudio Server

• 访问地址：http://localhost:8787
• 登录凭据：用户名root，密码root

4.4.3 Julia（线性回归）

bash
# 在Jupyter终端执行
curl -O https://raw.githubusercontent.com/luvres/hadoop/master/julia/dataset/multilinreg.jl
curl -O https://raw.githubusercontent.com/luvres/hadoop/master/julia/dataset/data.txt
julia multilinreg.jl

5. 部署示例

5.1 伪分布式实例

bash
zoneCluster pseudo

或直接执行Docker命令：

bash
docker run --rm --name Hadoop -h hadoop \
  -p 8088:8088 -p 8042:8042 -p 50070:50070 -p 8888:8888 -p 4040:4040 \
  -v $HOME/notebooks:/root/notebooks \
  -ti izone/hadoop:ecosystem bash

5.2 Hadoop MapReduce示例

bash
# 创建HDFS目录
hdfs dfs -mkdir /bigdata

# 下载并上传文件
wget -c http://compras.dados.gov.br/contratos/v1/contratos.csv
hadoop fs -copyFromLocal contratos.csv /bigdata

# 运行WordCount任务
hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar wordcount /bigdata/contratos.csv /output

# 查看结果
hdfs dfs -cat /output/*

5.3 Spark MapReduce示例

在Jupyter Notebook中执行：

python
# 终端命令（以!开头）
!mkdir datasets
!curl -L http://www.gutenberg.org/files/11/11-0.txt -o datasets/book.txt
!hdfs dfs -mkdir -p /spark/input
!hdfs dfs -put datasets/book.txt /spark/input

# Spark代码
text_file = sc.textFile("hdfs://localhost:9000/spark/input/book.txt")
counts = text_file.flatMap(lambda line: line.split(" ")) \
             .map(lambda word: (word, 1)) \
             .reduceByKey(lambda a, b: a + b)
counts.saveAsTextFile("hdfs://localhost:9000/spark/output")

# 查看结果
!hdfs dfs -ls /spark/output
!hdfs dfs -cat /spark/output/part-00000

6. 镜像拉取与版本

6.1 基础版本（Debian 8）

bash
docker pull izone/hadoop
# 运行（可选-test参数执行PI测试）
docker run --rm --name Hadoop -h hadoop \
  -p 8088:8088 -p 8042:8042 -p 50070:50070 \
  -ti izone/hadoop -test bash

6.2 其他操作系统版本

• CentOS 7：docker pull izone/hadoop:cos7
• CentOS 6：docker pull izone/hadoop:cos6
• Alpine（轻量级）：docker pull izone/hadoop:alpine

6.3 功能增强版本

• Anaconda集成：

  bash
  docker run --rm --name Hadoop -h hadoop \
    -p 8088:8088 -p 8042:8042 -p 50070:50070 -p 8888:8888 -p 4040:4040 \
    -v $HOME/notebooks:/root/notebooks \
    -ti izone/hadoop:anaconda bash
  

• RStudio集成：

  bash
  docker run --rm --name Hadoop -h hadoop \
    -p 8088:8088 -p 8042:8042 -p 50070:50070 -p 8888:8888 -p 4040:4040 -p 8787:8787 \
    -v $HOME/notebooks:/root/notebooks \
    -ti izone/hadoop:rstudio bash
  

7. 镜像构建（高级）

7.1 Debian 8基础镜像

bash
git clone https://github.com/luvres/hadoop.git
cd hadoop
docker build -t izone/hadoop . && \
docker build -t izone/hadoop:anaconda ./anaconda/ && \
docker build -t izone/hadoop:rstudio ./rstudio/ && \
docker build -t izone/hadoop:julia ./julia/ && \
docker build -t izone/hadoop:ecosystem ./ecosystem/ && \
docker build -t izone/hadoop:cluster ./cluster/ && \
docker build -t izone/hadoop:datanode ./cluster/datanode/

7.2 Cent