smizy/apache-drill

docker-apache-drill

![CircleCI]([***]

镜像概述

基于Alpine Linux的Apache Drill Docker镜像，Apache Drill是开源分布式SQL查询引擎，支持对HDFS、JSON、CSV等多种数据源进行高效即席查询，无需预定义数据模式。

核心功能

1. 多数据源支持：兼容HDFS、NoSQL数据库、本地文件系统等多种数据存储。
2. 分布式查询：可扩展集群部署，处理大规模数据集。
3. 即席查询：无需提前定义表结构即可直接查询数据。
4. 轻量高效：基于Alpine基础镜像，体积小、启动速度快。

使用场景

1. 大数据即席分析：快速查询HDFS或其他存储中的数据。
2. 多源数据整合：统一查询来自不同类型数据源的信息。
3. 开发测试环境：快速部署验证Apache Drill功能。

配置说明

通过make_docker_compose_yml.sh脚本生成docker-compose.yml，支持单节点（Zookeeper+Drill）和带HDFS的集群部署模式，可通过Web UI或Drill Shell进行查询操作。

部署示例

基础部署（Zookeeper+Drill单节点）

bash
# 创建网络
docker network create vnet

# 生成docker-compose.yml
zookeeper=1 drillbit=1 ./make_docker_compose_yml.sh drill > docker-compose.yml

# 验证配置
docker-compose config

# 启动容器
docker-compose up -d

# 查看容器状态
docker-compose ps

# Web UI查询（替换端口为实际暴露端口）
open http://$(docker-machine ip default):32773/query
# 提交查询：SELECT * FROM cp.`employee.json` LIMIT 20

# Drill Shell查询
docker exec -it drillbit-1 drill-conf
# 执行查询：SELECT employee_id, full_name, position_id, position_title FROM cp.`employee.json` LIMIT 5;

# 清理资源
docker-compose stop && docker-compose rm -v

带HDFS的部署

bash
# 生成含HDFS的docker-compose.yml
./make_docker_compose_yml.sh hdfs drill > docker-compose.yml

# 验证配置
docker-compose config

# 启动容器
docker-compose up -d

# 查看容器状态
docker-compose ps

# 上传测试数据到HDFS
docker exec -it -u hdfs datanode-1 bash
hdfs dfs -mkdir -p /user/hdfs/output
echo '{ a:1, b:2, c:3}' | hdfs dfs -put - /user/hdfs/output/test.json

# 配置HDFS存储（替换端口为实际暴露端口）
open http://$(docker-machine ip default):32774/storage/dfs
# 更新DFS连接为hdfs://namenode-1.vnet:8020/

# 查询HDFS数据
# Web UI：select * from dfs.root.`output/test.json`
# Drill Shell：docker exec -it drillbit-1 drill-conf，执行select * from dfs.root.`output/test.json`;

# 清理资源
docker-compose stop && docker-compose rm -v

mustache.sh LICENSE

• BSD License. See LICENSE.mustache.
• 来源：https://github.com/rcrowley/mustache.sh
• 版权所有 2011 Richard Crowley. 保留所有权利.