dataplatform/hive

MZ数据平台Hive镜像文档

镜像概述

MZ数据平台Hive镜像为数据仓库操作提供Hive命令行工具（Hive CLI）和JDBC客户端（Beeline），支持HiveQL查询、外部表创建、分区管理等核心功能，适用于数据分析师和开发人员进行Hive数据仓库的日常操作与维护。

核心功能与特性

• Hive CLI工具：提供命令行界面，支持直接执行HiveQL命令
• Beeline客户端：基于JDBC的Hive连接工具，支持远程连接HiveServer2
• 数据格式支持：兼容Parquet等列式存储格式
• 分区表管理：支持分区表创建及分区修复操作

使用场景

• 数据分析师通过HiveQL查询数据仓库中的数据
• 开发人员创建和维护Hive外部表及分区
• 数据 pipeline 中集成Hive命令进行数据处理

使用方法

Hive CLI使用

通过以下命令启动Hive CLI，指定配置文件路径：

bash
bin/hive --config /projects/bi_discovery/vagrant/hive/conf

Beeline连接

使用Beeline客户端连接HiveServer2（无SASL认证）：

bash
bin/beeline -u 'jdbc:hive2://localhost:10000/default;auth=noSasl' -n root

表操作示例

创建外部Parquet分区表

sql
CREATE EXTERNAL TABLE ody_bi_event_raw (
  event_uid STRING, 
  utc_ts BIGINT, 
  data STRING
) 
PARTITIONED BY (dt STRING, hr STRING) 
STORED AS PARQUET 
LOCATION '/data/bievent/ody/raw';

修复分区

当新增分区数据后，通过以下命令修复表分区：

sql
MSCK REPAIR TABLE ody_bi_event_raw;