laithleo/hive

Apache Hive 2.3.9 Docker镜像文档

镜像概述

本镜像基于Ubuntu 20.04构建，集成了Apache Hive 2.3.9和Apache Hadoop 3.3.1，使用YARN作为任务执行器。Hive安装于/opt/hive-2.3.9目录，HDFS和YARN服务已配置就绪，可直接用于Hadoop生态系统的数据仓库操作和任务测试。

核心功能与特性

• 基础环境：基于Ubuntu 20.04操作系统
• 软件版本：集成Apache Hive 2.3.9和Apache Hadoop 3.3.1
• 命令支持：Hive和HDFS命令已添加至PATH，无需绝对路径即可执行
• 连接工具：支持beeline客户端连接Hive服务
• 服务就绪：HDFS和YARN服务预配置完成，可直接用于测试Hadoop相关工作

使用场景

• Hadoop生态系统开发与测试环境搭建
• Hive数据仓库查询与数据处理任务验证
• HDFS文件系统操作练习
• YARN任务调度与执行测试

使用方法

构建镜像

如需本地构建镜像，执行以下命令：

docker build -t laithleo/hive:2.3.9 .

拉取镜像

直接从仓库拉取预构建镜像：

docker pull laithleo/hive:2.3.9

启动容器

启动容器并映射必要端口（YARN Web UI: 8088，Hive JDBC: ***）：

docker run -p 8088:8088 -p 10000:10000 -it laithleo/hive:2.3.9 /tmp/bootstrap.sh -bash

测试示例

连接Hive服务

通过beeline客户端连接Hive：

beeline> !connect jdbc:hive2://localhost:10000/;
Connecting to jdbc:hive2://localhost:10000/;
Enter username for jdbc:hive2://localhost:10000/: user
Enter password for jdbc:hive2://localhost:10000/: ****
Connected to: Apache Hive (version 2.3.9)
Driver: Hive JDBC (version 2.3.9)
Transaction isolation: TRANSACTION_REPEATABLE_READ

基本操作示例

查看数据库

0: jdbc:hive2://localhost:10000/> show databases;
OK
+----------------+
| database_name  |
+----------------+
| default        |
+----------------+
1 row selected (1.813 seconds)

创建分区表并加载数据

0: jdbc:hive2://localhost:10000/> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);
OK
No rows affected (0.822 seconds)

0: jdbc:hive2://localhost:10000/> LOAD DATA LOCAL INPATH '/opt/hive-2.3.9/examples/files/kv2.txt' OVERWRITE INTO TABLE invites PARTITION (ds='2008-08-15');
Loading data to table default.invites partition (ds=2008-08-15)
OK
No rows affected (1.448 seconds)

查询数据

0: jdbc:hive2://localhost:***/> select * from invites LIMIT 10;
OK
+--------------+--------------+-------------+
| invites.foo  | invites.bar  | invites.ds  |
+--------------+--------------+-------------+
| 474          | val_475      | 2008-08-15  |
| 281          | val_282      | 2008-08-15  |
| 179          | val_180      | 2008-08-15  |
| 291          | val_292      | 2008-08-15  |
| 62           | val_63       | 2008-08-15  |
| 271          | val_272      | 2008-08-15  |
| 217          | val_218      | 2008-08-15  |
| 135          | val_136      | 2008-08-15  |
| 167          | val_168      | 2008-08-15  |
| 468          | val_469      | 2008-08-15  |
+--------------+--------------+-------------+
10 rows selected (0.257 seconds)