hz251/kylin

Kylin Docker镜像文档

镜像概述和主要用途

本仓库跟踪用于构建Apache Kylin Docker镜像的代码和文件。请注意：当前为主分支，不含脚本和Dockerfile；需切换到以Kylin版本和Hadoop发行版命名的特定分支。

Apache Kylin是一款开源分布式分析引擎，旨在为Hadoop上的超大规模数据集提供SQL接口和多维度分析（OLAP）能力。通常Kylin部署在专用Hadoop客户端节点，依赖已配置的Hadoop、HBase、Hive等客户端与集群通信，其元数据和Cube数据存储于HBase和HDFS，因此适合构建为Docker镜像以实现快速部署。

核心功能和特性

• 整合客户端组件：将Hadoop、HBase、Hive客户端与Kylin二进制包构建到同一镜像中
• 灵活配置：支持通过添加客户端配置文件（如core-site.xml、hbase-site.xml等）或启动时上传文件进行定制
• 版本适配：针对不同Kylin版本和Hadoop发行版提供特定分支支持
• 快速部署：简化Kylin在Hadoop集群中的部署流程，减少环境配置复杂度

使用场景和适用范围

• 需要在Hadoop集群上快速部署Kylin服务的场景
• 需频繁测试或验证不同Kylin版本功能的开发/测试环境
• 对Hadoop集群客户端配置有定制化需求的企业级部署
• 支持Kerberos安全认证的Hadoop集群（需额外配置）

使用方法和配置说明

前置准备

1. 版本兼容性检查：确认镜像中的客户端库与目标Hadoop集群版本兼容
2. 配置文件准备：准备Hadoop客户端配置文件（core-site.xml、hdfs-site.xml、yarn-site.xml、hbase-site.xml、hive-site.xml）
3. Kylin配置：准备kylin.properties文件，关键参数包括：
   • kylin.metadata.url：指向正确的元数据表
   • kylin.hdfs.working.dir：HDFS中已存在且有写入权限的工作目录
4. 安全配置：若Hadoop集群启用Kerberos，需在容器中运行额外组件

构建和运行步骤（以Hortonworks HDP 2.2集群为例）

1. 收集客户端配置文件

从正常工作的Hadoop客户端节点获取所有*-site.xml文件，保存到本地目录（如~/hadoop-conf/）

2. 准备kylin.properties

将kylin.properties文件放入~/hadoop-conf/目录，与其他配置文件一起，建议验证关键参数正确性

3. 克隆仓库并切换分支

bash
git clone https://github.com/Kyligence/kylin-docker  
cd kylin-docker  
git checkout kylin152-hdp22  # 替换为目标Kylin版本和Hadoop发行版对应的分支

4. 复制配置文件到镜像构建目录

bash
cp -rf ~/hadoop-conf/* conf/  # 覆盖模板文件

5. 构建Docker镜像

bash
docker build -t kyligence/kylin:152 .  # 镜像标签可自定义

构建完成后，可通过docker images命令查看：

bash
[root@ip-10-0-0-38 ~]# docker images  
REPOSITORY          TAG                 IMAGE ID            CREATED             VIRTUAL SIZE  
kyligence/kylin     152                 7ece32097fa3        About an hour ago   3.043 GB  

6. 运行容器

bash
docker run -i -t -p 7070:7070 docker.xuanyuan.run/kyligence/kylin:152 /etc/bootstrap.sh -bash

• -i -t：交互式终端模式，便于执行后续命令
• -p 7070:7070：端口映射，将容器7070端口映射到主机
• /etc/bootstrap.sh -bash：启动脚本，-bash参数保持bash会话（无需交互可使用-d参数后台运行）

启动输出示例：

Generating SSH1 RSA host key:                              [  OK  ]  
Starting sshd:                                             [  OK  ]  
KYLIN_HOME is set to /usr/local/kylin/bin/../  
kylin.security.profile is set to ldap  
16/06/30 04:50:31 WARN conf.HiveConf: HiveConf of name hive.optimize.mapjoin.mapreduce does not exist  
...  
Please visit http://<ip>:7070/kylin  
You can check the log at /usr/local/kylin/bin/..//logs/kylin.log  

7. 访问Kylin Web界面

启动约1分钟后，通过浏览器访问 http://<主机IP>:7070/kylin，其中<主机IP>为运行Docker的主机IP地址，端口可通过docker run命令的-p参数调整

8. 使用Kylin

按常规流程使用Kylin：导入Hive表、设计Cube、构建、查询等

致谢

感谢SequenceIQ的https://github.com/sequenceiq/hadoop-docker/%E5%8F%8A%E5%85%B6%E4%BB%96%E9%A1%B9%E7%9B%AE%E4%B8%BA%E6%9C%AC%E9%95%9C%E5%83%8F%E5%BC%80%E5%8F%91%E6%8F%90%E4%BE%9B%E7%9A%84%E7%81%B5%E6%84%9F%E3%80%82