starburstdata/hive-metastore

Hive Metastore

https://github.com/starburstdata/docker-images/tree/master/hive-metastore

这是一个安装了OpenJDK 8的Hive Metastore Docker镜像，用于管理Hive数据仓库的元数据。

核心功能

• 提供Hive元数据存储与管理服务
• 支持Kerberos认证配置
• 可访问S3存储数据
• 支持独立部署与容器化运行

使用场景

• 大数据环境中Hive元数据的统一管理
• 与Starburst等查询引擎集成的元数据服务
• 需要容器化部署Hive Metastore的场景

配置说明

Kerberos配置（必选步骤）

1. 生成Hive Metastore的keytab文件和主体，将keytab文件命名为hive-metastore.keytab并放置在docker-compose.yml所在目录，同时导出主体：

   bash
   export HIVE_METASTORE_KERBEROS_PRINCIPAL=...
   

2. 将krb5.conf文件放置在docker-compose.yml所在目录。

MIT KDC示例

生成Kerberos主体和keytab（注意docker-compose集群中Hive Metastore节点名为metastore）：

bash
/usr/sbin/kadmin.local -q "addprinc -randkey hive-metastore/metastore@LABS.STARBURSTDATA.COM"
/usr/sbin/kadmin.local -q "xst -norandkey -k /tmp/hive-metastore.keytab hive-metastore/metastore"

复制hive-metastore.keytab文件并导出主体：

bash
export HIVE_METASTORE_KERBEROS_PRINCIPAL=hive-metastore/metastore@LABS.STARBURSTDATA.COM

krb5.conf示例内容：

ini
[logging]
 default = FILE:/var/log/krb5libs.log

[libdefaults]
 default_realm = LABS.STARBURSTDATA.COM
 dns_lookup_realm = false
 dns_lookup_kdc = false
 ticket_lifetime = 24h
 renew_lifetime = 7d
 forwardable = true

[realms]
 LABS.STARBURSTDATA.COM = {
  kdc = hadoop-master:88
  admin_server = hadoop-master
 }

运行独立Hive Metastore

bash
export HIVE_METASTORE_JDBC_URL=jdbc:postgresql://postgres.docker.starburstdata.com/hivemetastore
export HIVE_METASTORE_DRIVER="org.postgresql.Driver"
export HIVE_METASTORE_USER=hivemetastore
export HIVE_METASTORE_PASSWORD=hivemetastore
docker-compose up metastore postgres

Postgres数据存储在主机本地（容器外），删除数据需执行：

bash
docker-compose down --volumes

访问S3数据

若需从Hive Metastore访问S3数据（创建或删除含S3数据的表），需设置以下环境变量：

bash
export S3_ENDPOINT="???"
export S3_ACCESS_KEY="???"
export S3_SECRET_KEY="???"
export HIVE_METASTORE_JDBC_URL=...
export HIVE_METASTORE_DRIVER=...
export HIVE_METASTORE_USER=...
export HIVE_METASTORE_PASSWORD=...
docker-compose up metastore ...

停止Hive Metastore

bash
docker-compose down
# 若需删除数据卷
docker-compose down --volumes

OpenJDK许可证

使用本镜像即表示您接受Java SE的OpenJDK许可协议，详情请见：[***]