dimajix/hive

Docker Hive 镜像文档

概述

Docker Hive镜像是用于运行Hive元数据存储（metastore）的容器化解决方案。Hive是基于Hadoop的数据仓库工具，元数据存储（metastore）作为其核心组件，负责管理表结构、分区信息、数据位置等元数据，为Hadoop生态系统中的数据查询与分析提供基础支持。

核心功能与特性

• HDFS集成：支持配置HDFS连接参数，包括NameNode主机名、端口及默认文件系统
• 元数据存储灵活性：默认使用Derby嵌入式数据库，同时支持MySQL等外部数据库作为元数据存储
• S3存储支持：可配置S3服务端点、代理及AWS访问密钥，实现与S3存储的集成
• 容器化部署：简化Hive metastore的部署流程，适合多种环境快速搭建

使用场景

• 数据仓库搭建：作为Hive数据仓库的核心元数据服务组件
• 大数据分析平台：为基于Hive的数据分析任务提供元数据管理支持
• 开发测试环境：快速部署独立的Hive metastore服务，支持本地开发与测试
• 生产环境部署：通过配置外部数据库（如MySQL）实现元数据的持久化存储与高可用

配置说明

基础配置参数

元数据存储配置

默认Derby嵌入式数据库（适用于开发测试）

MySQL数据库（适用于生产环境）

S3存储集成配置

部署示例

基础部署（使用Derby数据库）

bash
docker run -d \
  -e HDFS_NAMENODE_HOSTNAME=hadoop-namenode \
  -e HDFS_NAMENODE_PORT=8020 \
  -p 9083:9083 \
  --name hive-metastore \
  hive-metastore:latest

使用MySQL数据库部署

bash
docker run -d \
  -e HDFS_NAMENODE_HOSTNAME=hadoop-namenode \
  -e HDFS_NAMENODE_PORT=8020 \
  -e HIVE_JDO_DRIVER=com.mysql.jdbc.Driver \
  -e HIVE_JDO_CONNECTION=jdbc:mysql://mariadb/hive?createDatabaseIfNotExist=true \
  -e HIVE_JDO_USERNAME=hive \
  -e HIVE_JDO_PASSWORD=hive \
  -p 9083:9083 \
  --name hive-metastore \
  hive-metastore:latest

Docker Compose配置示例

yaml
version: '3'
services:
  hive-metastore:
    image: hive-metastore:latest
    ports:
      - "9083:9083"
    environment:
      - HDFS_NAMENODE_HOSTNAME=hadoop-namenode
      - HDFS_NAMENODE_PORT=8020
      - HIVE_JDO_DRIVER=com.mysql.jdbc.Driver
      - HIVE_JDO_CONNECTION=jdbc:mysql://mariadb/hive?createDatabaseIfNotExist=true
      - HIVE_JDO_USERNAME=hive
      - HIVE_JDO_PASSWORD=hive
    depends_on:
      - mariadb
      - hadoop-namenode