smartcitiesdata/metastore

Hive Metastore Docker镜像

概述

该镜像提供Hive元数据存储（metastore）服务，专为KDP环境设计。Hive metastore是Hive生态系统的核心组件，负责集中管理元数据信息，包括表结构定义、分区详情、存储位置及数据类型等，为数据查询和分析提供关键元数据支持。

核心功能与特性

• 独立容器化部署：作为独立服务运行，简化KDP环境中的部署流程
• KDP环境适配：针对KDP平台优化，确保与KDP生态组件的兼容性
• 元数据全生命周期管理：支持Hive表、分区、列等元数据的创建、查询、更新和删除
• 多数据库后端支持：兼容Derby、MySQL、PostgreSQL等主流元数据存储数据库
• 灵活配置机制：通过环境变量和配置文件实现自定义参数调整

使用场景与适用范围

• KDP平台中的Hive元数据集中管理
• 容器化大数据环境的Hive服务部署
• 数据仓库构建与维护过程中的元数据管理
• 开发测试环境中独立Hive metastore服务需求

使用方法与配置说明

基本运行命令

bash
docker run -d \
  --name hive-metastore \
  -p 9083:9083 \
  -e METASTORE_DB_TYPE=mysql \
  -e DB_HOST=mysql-host \
  -e DB_PORT=3306 \
  -e DB_NAME=hive_metastore \
  -e DB_USER=hiveuser \
  -e DB_PASSWORD=hivepass \
  hive-metastore:latest

环境变量配置

Docker Compose配置示例

yaml
version: '3'
services:
  hive-metastore:
    image: hive-metastore:latest
    container_name: hive-metastore
    ports:
      - "9083:9083"
    environment:
      - METASTORE_DB_TYPE=mysql
      - DB_HOST=mysql
      - DB_PORT=3306
      - DB_NAME=hive_metastore
      - DB_USER=hiveuser
      - DB_PASSWORD=hivepass
    depends_on:
      - mysql
  mysql:
    image: mysql:8.0
    container_name: hive-metastore-db
    environment:
      - MYSQL_ROOT_PASSWORD=rootpass
      - MYSQL_DATABASE=hive_metastore
      - MYSQL_USER=hiveuser
      - MYSQL_PASSWORD=hivepass
    volumes:
      - mysql-data:/var/lib/mysql

volumes:
  mysql-data:

服务验证

服务启动后，可通过以下方式验证运行状态：

• 检查端口监听：telnet localhost 9083
• Hive客户端连接：hive --service metastore
• 日志查看：docker logs hive-metastore