anjun/hive

Apache Hive Docker镜像文档

镜像概述和主要用途

该镜像用于在Docker Swarm模式下快速部署支持Apache Hive的数据处理集群。通过该镜像可创建包含Hive的Hadoop分布式集群，适用于数据仓库构建、数据分析及相关开发测试场景。

核心功能和特性

• 支持Docker Swarm模式部署Hadoop集群
• 集成Apache Hive 2.1.1版本
• 依赖Hadoop 2.7.6镜像作为slave节点
• 需配合Mysql数据库存储Hive元数据
• 支持自定义主机名配置（要求Docker 1.13及以上版本）

使用场景和适用范围

• 快速搭建Hadoop+Hive测试环境
• 数据仓库开发与验证
• 分布式数据处理任务部署
• 学习和研究Hadoop生态系统

使用方法和配置说明

前置要求

• Docker 1.13及以上版本
• Docker Swarm环境
• 已创建名为swarm-net的网络（可通过docker network create --driver overlay swarm-net创建）

部署Hadoop集群

创建Hadoop Master节点（含Hive）

bash
docker service create \
--name hadoop-master \
--network swarm-net \
--hostname hadoop-master \
--replicas 1 \
--endpoint-mode dnsrr \
anjun/hive:2.1.1

创建Hadoop Slave节点

bash
# 第一个slave节点
docker service create \
--name hadoop-slave1 \
--network swarm-net \
--hostname hadoop-slave1 \
--replicas 1 \
--endpoint-mode dnsrr \
anjun/hadoop:2.7.6

# 第二个slave节点
docker service create \
--name hadoop-slave2 \
--network swarm-net \
--hostname hadoop-slave2 \
--replicas 1 \
--endpoint-mode dnsrr \
anjun/hadoop:2.7.6

# 第三个slave节点
docker service create \
--name hadoop-slave3 \
--network swarm-net \
--hostname hadoop-slave3 \
--replicas 1 \
--endpoint-mode dnsrr \
anjun/hadoop:2.7.6

初始化与测试

启动Hadoop集群

参考newnius/hadoop镜像文档了解Hadoop初始化方法

部署Mysql元数据库

bash
docker service create \
--name mysql \
--network swarm-net \
-e MYSQL_ROOT_PWDDWORD=123456 \
mysql:5.7

初始化Hive

进入hadoop-master容器执行初始化脚本：

bash
bash /etc/init_hive.sh