nvtienanh/hive

Docker镜像：Apache Hive

镜像概述和主要用途

这是Apache Hive 2.3.4的Docker容器，基于https://github.com/nvtienanh/docker-hadoop%E6%9E%84%E5%BB%BA%EF%BC%8CHadoop%E9%85%8D%E7%BD%AE%E5%8F%AF%E5%8F%82%E8%80%83%E8%AF%A5%E9%A1%B9%E7%9B%AE%E3%80%82%E6%AD%A4%E9%95%9C%E5%83%8F%E9%83%A8%E7%BD%B2Hive%E5%B9%B6%E5%90%AF%E5%8A%A8hiveserver2%EF%BC%88%E7%9B%91%E5%90%AC%E7%AB%AF%E5%8F%A3***%EF%BC%89%EF%BC%8C%E5%85%83%E6%95%B0%E6%8D%AE%E5%AD%98%E5%82%A8%E9%80%9A%E8%BF%87PostgreSQL%E6%95%B0%E6%8D%AE%E5%BA%93%E5%AE%9E%E7%8E%B0%E3%80%82Hive%E9%85%8D%E7%BD%AE%E5%8F%AF%E9%80%9A%E8%BF%87HIVE_SITE_CONF_%E5%89%8D%E7%BC%80%E7%9A%84%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F%E8%BF%9B%E8%A1%8C%EF%BC%88%E7%A4%BA%E4%BE%8B%E8%A7%81hadoop-hive.env%EF%BC%89%E3%80%82

核心功能和特性

• 基于Apache Hive 2.3.4版本
• 集成hiveserver2，提供JDBC访问接口（端口***）
• 使用PostgreSQL作为元数据存储，确保数据持久化
• 支持通过HIVE_SITE_CONF_环境变量自定义Hive配置
• 可与PrestoDB集成，提供高效查询能力

使用场景和适用范围

• 开发和测试环境中的Hive快速部署
• 大数据处理流程中的数据仓库构建
• 需要便捷搭建Hive服务的场景
• 与PrestoDB结合进行数据分析和查询

使用方法和配置说明

基本部署（使用Docker Compose）

bash
docker-compose up -d

Docker Swarm部署

bash
docker stack deploy -c docker-compose.yml hive

部署PrestoDB（带Hive连接器）

bash
docker-compose up -d presto-coordinator

此命令部署Presto服务器，监听端口8080。

测试

向Hive加载数据

bash
$ docker-compose exec hive-server bash
# /opt/hive/bin/beeline -u jdbc:hive2://localhost:10000
> CREATE TABLE pokes (foo INT, bar STRING);
> LOAD DATA LOCAL INPATH '/opt/hive/examples/files/kv1.txt' OVERWRITE INTO TABLE pokes;

通过PrestoDB查询数据

1. 从PrestoDB官网获取presto.jar（参考：[***]

bash
$ wget https://repo1.maven.org/maven2/io/prestosql/presto-cli/308/presto-cli-308-executable.jar
$ mv presto-cli-308-executable.jar presto.jar
$ chmod +x presto.jar

2. 连接Presto并查询：

bash
$ ./presto.jar --server localhost:8080 --catalog hive --schema default
presto> select * from pokes;

联系

• 阮氏英 Anh Nguyen https://github.com/nvtienanh

参考

• https://github.com/big-data-europe/