johannestang/hive Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

大数据栈镜像

镜像概述和主要用途

本镜像提供一个以伪分布式模式运行的大数据技术栈，集成了多个核心大数据组件，旨在为开发、测试和学习环境提供完整的大数据处理能力。通过该镜像，用户可以快速部署包含分布式存储、数据仓库、SQL查询引擎和数据可视化工具的完整大数据环境。

核心功能和特性

包含组件及版本

• Hadoop 2.8.5：分布式计算和存储框架
• Minio RELEASE.2019-10-12T01-39-57Z：兼容S3的对象存储服务
• Hive 2.3.6：数据仓库工具，支持SQL查询
• Presto 326：分布式SQL查询引擎
• Superset 0.35.1：数据可视化和探索平台
• Hue 4.5.0：Hadoop生态系统的Web UI

主要特性

• 基于Big Data Europe、shawnzhu和Cloudera的Docker镜像进行更新和修改
• Hadoop和Hive版本更新（分别至2.8.5和2.3.6）
• 新增S3支持
• Presto更新至326版本，并为Hue添加Presto JDBC驱动

使用场景和适用范围

• 大数据技术学习和实验环境
• 开发和测试大数据应用
• 小型数据集的数据分析和处理
• 构建本地大数据原型系统

使用方法和配置说明

快速启动

1. 克隆仓库并基于sample.env创建.env文件，确保DATADIR指向合适的目录（用于所有容器的持久化存储）

2. 启动基础栈：

bash
docker-compose up -d

3. 如需启动Superset和Hue，运行：

bash
docker-compose -f superset/docker-compose.yml up -d
docker-compose -f hue/docker-compose.yml up -d

4. 初始化Superset和Hue：

bash
./scripts/init-hue.sh
./scripts/init-superset.sh

服务访问地址

启动后，以下服务可用：

• Hadoop namenode: http://localhost:50070
• Minio: http://localhost:9000
• Presto: http://localhost:8080
• Superset: http://localhost:8088
• Hue: http://localhost:8888

镜像构建

所有必要镜像已发布到Docker Hub，如需自行构建更新/修改的镜像，可在各子目录中运行build-local.sh脚本。

辅助脚本说明

scripts目录包含以下辅助脚本：

• beeline.sh: 在Hive容器中启动Beeline（Hive CLI）
• hadoop-client.sh: 启动包含Hadoop工具的容器（主机文件系统挂载为/host），用于将文件移动到HDFS
• init-hue.sh: 在HDFS中创建管理员主目录，避免Hue文件浏览器出错
• init-superset.sh: 初始化Superset数据库并添加Presto作为数据源
• presto-cli.sh: 启动Presto CLI（必要时自动下载jar包）

更多信息

详见以下文章：大数据栈：运行SQL查询