agirish/zookeeper

Apache Drill Docker镜像文档

镜像概述和主要用途

本Docker镜像用于部署Apache Drill，一款开源的分布式SQL查询引擎，支持对多种数据源进行高效查询。镜像提供两种部署模式：嵌入式模式（单节点快速试用）和分布式模式（大规模集群数据处理），并包含构建、启动相关脚本，简化部署流程。

核心功能和特性

• 嵌入式模式：单节点部署，启动Drill shell时自动启动本地Drillbit服务，退出时自动停止，适合快速试用和测试。
• 分布式模式：支持集群部署，通过Zookeeper实现节点协调，适用于大规模数据处理场景。
• 自定义构建：提供Zookeeper和Drill的Dockerfile及构建脚本，支持根据需求构建自定义版本镜像。

使用场景和适用范围

• 开发测试：通过嵌入式模式快速搭建Drill环境，验证查询功能。
• 小规模数据处理：单节点嵌入式模式满足简单数据查询需求。
• 大规模集群部署：分布式模式适用于企业级大数据处理，支持多节点协同工作。

使用方法和配置说明

嵌入式模式

用于单节点快速试用，无需额外依赖。

步骤1：启动Drill容器

bash
git clone git@github.com:agirish/drill-containers.git
cd drill-containers/docker/centos/drill
./launch.sh 1.13.0 

步骤2：启动Drillbit

容器启动后，执行以下命令启动嵌入式Drillbit：

bash
/opt/drill/bin/drill-embedded

退出shell时，Drillbit将自动停止。

分布式模式

适用于集群环境，需先部署Zookeeper（集群协调必备）。

步骤1：启动Zookeeper容器

bash
git clone git@github.com:agirish/drill-containers.git
cd drill-containers/docker/centos/zookeeper
./launch.sh

记录Zookeeper容器的IP地址（ZK_IP_ADDR）。

步骤2：启动Drill容器

bash
git clone git@github.com:agirish/drill-containers.git
cd drill-containers/docker/centos/drill
./launch.sh 1.13.0 

步骤3：配置Drillbit

编辑Drill配置文件/opt/drill/conf/drill-override.conf，更新zk.connect参数为Zookeeper的IP地址：

properties
drill.exec: {
  cluster-id: "drill-cluster",
  zk.connect: "ZK_IP_ADDR:2181"
}

步骤4：启动Drillbit并连接

bash
# 启动Drillbit服务
/opt/drill/bin/drillbit.sh start

# 通过JDBC连接Drill集群
/opt/drill/bin/sqlline -u jdbc:drill:zk=ZK_IP_ADDR:2181

构建自定义Docker镜像

项目提供Dockerfile及构建脚本，支持构建Zookeeper和Drill的自定义镜像。

构建Zookeeper镜像

脚本无需参数，直接执行：

bash
cd drill-containers/docker/centos/zookeeper
./build.sh

构建Drill镜像

脚本需传入Drill版本号作为参数：

bash
cd drill-containers/docker/centos/drill
./build.sh 1.14.0  # 示例版本号为1.14.0

启动脚本说明

• 启动Zookeeper：无需参数

  bash
  cd drill-containers/docker/centos/zookeeper
  ./launch.sh
  

• 启动Drill：需传入Drill版本号

  bash
  cd drill-containers/docker/centos/drill
  ./launch.sh 1.14.0  # 示例版本号为1.14.0