ingomuellernet/presto

简易Docker化Presto

本项目旨在简化PrestoDB的上手流程，基于Docker和Docker Compose实现容器化部署。

核心功能

• 专用Presto调度节点与可变数量的worker节点
• 函数命名空间管理器（支持创建函数）
• 集成Hive连接器、Hive元数据存储及伪复制HDFS（无副本），数据节点数量可变
• EC2环境下配置实例配置文件后，无需额外设置即可读取S3数据

使用场景

适用于快速搭建Presto环境进行大数据分析、SQL查询的开发与测试场景，支持节点数量扩展和本地镜像构建。

配置说明

启动Presto

执行以下命令启动所有服务：

bash
docker-compose up

调整Worker与数据节点数量

使用--scale参数修改Presto worker节点或HDFS数据节点数量：

bash
docker-compose up --scale datanode=3 --scale presto-worker=3

本地构建镜像

若需本地构建镜像，执行：

bash
docker-compose --file docker-compose-local.yml up

若处于企业防火墙后，需先配置Maven代理：

bash
export MAVEN_OPTS="-Dhttp.proxyHost=your.proxy.com -Dhttp.proxyPort=3128 -Dhttps.proxyHost=your.proxy.com -Dhttps.proxyPort=3128"

上传数据到HDFS

data/文件夹已挂载到HDFS namenode容器，可通过以下命令上传数据（容器名可能不同，需用docker ps确认）：

bash
docker exec -it docker-presto_namenode_1 hadoop fs -mkdir /dataset
docker exec -it docker-presto_namenode_1 hadoop fs -put /data/file.parquet /dataset/
docker exec -it docker-presto_namenode_1 hadoop fs -ls /dataset

运行查询

使用容器内的Presto CLI（调整容器名）：

bash
docker exec -it docker-presto_presto_1 presto-cli --catalog hive --schema default

或下载Presto CLI后运行：

bash
./presto-cli --server localhost:8080 --catalog hive --schema default

创建外部表

假设存在test.json文件：

json
{"s": "hello world", "i": 42}

上传到HDFS的/test/目录后，在Presto CLI执行：

SQL
CREATE TABLE test (s VARCHAR, i INTEGER) WITH (EXTERNAL_LOCATION = 'hdfs://namenode/test/', FORMAT = 'JSON');

若从S3创建外部表，需在EC2实例中运行服务并配置实例配置文件，使用s3a://协议替代hdfs://。

管理MySQL数据库

若需手动修改或查看MySQL数据库，执行：

bash
docker exec -it docker-presto_mysql_1 mysql -ppassword