zabetak/postgres-tpcds-metastore

Hive metastores in Postgres Docker镜像

镜像概述和主要用途

该Docker镜像包含Hive metastore的数据库转储及相关脚本，旨在快速部署基于PostgreSQL的Docker容器，提供预配置的Hive metastore环境。当前转储包含多种TPC-DS规模因子的metastore数据，适用于Hive测试、功能验证及metastore相关开发工作。

核心功能和特性

• 提供多种TPC-DS规模因子的Hive metastore数据库转储
• 支持通过环境变量选择不同的metastore转储
• 快速构建和启动Docker化PostgreSQL实例
• 内置Hive metastore所需的数据库配置，可直接用于Hive集成
• 提供JDBC连接信息，方便外部工具访问metastore数据库

使用场景和适用范围

• Hive metastore测试环境快速搭建
• TPC-DS数据集相关的Hive功能测试与验证
• Hive metastore版本升级测试（结合Hive schematool）
• Hive相关应用开发中的metastore环境模拟

使用方法和配置说明

前提条件

• 安装Docker环境（参见Docker官方文档）

构建镜像

bash
docker build --tag postgres-tpcds-metastore:1.0 .

启动容器

bash
docker run --name postgres_metastore -p 5432:5432 -e POSTGRES_PASSWORD=postgres -d postgres-tpcds-metastore:1.0

容器管理

• 验证容器运行状态：

  bash
  docker ps
  

• 停止容器：

  bash
  docker stop postgres_metastore
  

• 删除容器：

  bash
  docker rm postgres_metastore
  

选择不同的metastore转储

默认使用tpcds30tb_metastore_3_1_3000转储初始化数据库。可通过METASTORE_DUMP环境变量指定其他转储：

bash
docker run --name postgres_metastore -p 5432:5432 -e POSTGRES_PASSWORD=postgres -e METASTORE_DUMP=<转储名称> -d postgres-tpcds-metastore:1.0

查看metastore内容

通过容器内psql工具访问数据库：

bash
docker exec -it postgres_metastore bash
su postgres
psql -U hive -d metastore

JDBC连接信息

容器默认将主机5432端口映射到数据库，可通过以下JDBC信息访问：

• URL: jdbc:postgresql://localhost:5432/metastore
• 驱动类: org.postgresql.Driver
• 用户名: hive
• 密码: hive

Hive集成配置

若需将Hive配置为使用此metastore，需在hive-site.xml中设置以下属性：

• javax.jdo.option.ConnectionURL
• javax.jdo.option.ConnectionDriverName
• javax.jdo.option.ConnectionUserName
• javax.jdo.option.ConnectionPassword

转储和metastore版本

转储位置

数据库转储位于镜像内的dbdumps目录，转储名称包含数据集信息及metastore版本。

转储与Hive数据库对应关系

注意：当前转储可能包含多个Hive数据库，上表列出主要用于测试和探索的数据库名称。

metastore版本升级

若需将现有转储用于较新版本的Hive，可在启动容器后使用Hive schematool升级metastore：

bash
schematool -dbType postgres -upgradeSchemaFrom 3.1.3000 -driver org.postgresql.Driver -url jdbc:postgresql://localhost:5432/metastore -userName hive -passWord hive