bde2020/hive

docker-hive

镜像概述和主要用途

这是Apache Hive 2.3.2的Docker容器，基于https://github.com/big-data-europe/docker-hadoop%E6%9E%84%E5%BB%BA%EF%BC%88Hadoop%E9%85%8D%E7%BD%AE%E5%8F%AF%E5%8F%82%E8%80%83%E8%AF%A5%E9%A1%B9%E7%9B%AE%EF%BC%89%E3%80%82%E5%AE%B9%E5%99%A8%E9%83%A8%E7%BD%B2Hive%E5%B9%B6%E5%90%AF%E5%8A%A8hiveserver2%E6%9C%8D%E5%8A%A1%EF%BC%88%E7%9B%91%E5%90%AC%E7%AB%AF%E5%8F%A3***%EF%BC%89%EF%BC%8C%E5%85%83%E6%95%B0%E6%8D%AE%E5%AD%98%E5%82%A8%E4%BD%BF%E7%94%A8PostgreSQL%E6%95%B0%E6%8D%AE%E5%BA%93%EF%BC%8C%E6%94%AF%E6%8C%81%E9%80%9A%E8%BF%87%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F%E9%85%8D%E7%BD%AEHive%E5%8F%82%E6%95%B0%E3%80%82

核心功能和特性

• 基于Apache Hive 2.3.2版本
• 内置hiveserver2服务，默认监听***端口
• 集成PostgreSQL作为元数据库
• 通过HIVE_SITE_CONF_前缀的环境变量配置Hive（示例见hadoop-hive.env）
• 支持与PrestoDB 0.181集成（含Hive连接器）

使用场景和适用范围

• 本地Hive开发与测试环境快速搭建
• 大数据分析场景中Hive服务的容器化部署
• 需要与PrestoDB集成的数据分析平台构建

使用方法和配置说明

部署方式

Docker Compose部署

使用PostgreSQL元数据库启动Hive：

bash
docker-compose up -d

Docker Swarm部署

在Docker Swarm集群中部署：

bash
docker stack deploy -c docker-compose.yml hive

部署包含PrestoDB的环境

启动Hive及PrestoDB协调器（Presto监听8080端口）：

bash
docker-compose up -d presto-coordinator

配置说明

Hive配置通过环境变量进行设置，变量名需以HIVE_SITE_CONF_为前缀，例如配置Hive元数据库连接参数等。具体配置示例可参考hadoop-hive.env文件。

测试步骤

向Hive加载测试数据

1. 进入hive-server容器：

bash
docker-compose exec hive-server bash

2. 使用beeline连接Hive并创建表：

bash
/opt/hive/bin/beeline -u jdbc:hive2://localhost:10000
> CREATE TABLE pokes (foo INT, bar STRING);
> LOAD DATA LOCAL INPATH '/opt/hive/examples/files/kv1.txt' OVERWRITE INTO TABLE pokes;

使用PrestoDB查询Hive数据

1. 下载Presto CLI（presto.jar）：

bash
wget https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.183/presto-cli-0.183-executable.jar
mv presto-cli-0.183-executable.jar presto.jar
chmod +x presto.jar

2. 连接Presto并查询Hive表：

bash
./presto.jar --server localhost:8080 --catalog hive --schema default
presto> select * from pokes;

贡献者

• Ivan Ermilov https://github.com/earthquakesan%EF%BC%88%E7%BB%B4%E6%8A%A4%E8%80%85%EF%BC%89
• Yiannis Mouchakis https://github.com/gmouchakis
• Ke Zhu https://github.com/shawnzhu