scrapinghub/hbase-docker

HBase Docker镜像

镜像概述和主要用途

本配置构建了一个运行HBase（带有嵌入式Zookeeper）的Docker容器，数据存储在容器内部的文件中。该镜像适用于本地开发、测试HBase功能，或作为HBase学习和演示环境。

注意：此方式需要编辑本地服务器的/etc/hosts文件，添加容器主机名的条目。这是因为HBase使用主机名通过容器内部的Zookeeper传递连接数据。未来可能通过Docker的新网络功能改进此问题，但目前尚未解决。

核心功能和特性

• 内置HBase和嵌入式Zookeeper，无需额外配置Zookeeper
• 数据持久化存储在容器内文件系统
• 提供Web UI监控界面（Master、Thrift、REST、Zookeeper状态）
• 支持Thrift API和Java客户端连接
• 可通过数据卷挂载实现数据持久化到宿主机

使用场景和适用范围

• HBase本地开发环境搭建
• HBase功能测试和验证
• HBase学习和演示
• 小型HBase应用原型开发

使用方法和配置说明

构建镜像

bash
$ docker build -t dajobe/hbase .

拉取镜像

如需直接使用已构建的镜像，可执行：

bash
$ docker pull dajobe/hbase

更多详情请访问：https://hub.docker.com/r/dajobe/hbase/

运行HBase

手动运行

bash
$ mkdir data
$ id=$(docker run --name=hbase-docker -h hbase-docker -d -v $PWD/data:/data dajobe/hbase)

通过脚本运行（自动配置hosts）

运行以下脚本会自动编辑宿主机的/etc/hosts文件，将DNS主机名hbase-docker别名指向容器（需要sudo权限）：

bash
$ ./start-hbase.sh

查看HBase状态

当容器DNS名称为hbase-docker时，可通过以下URL访问状态页面：

• Master状态：[***]
• Thrift UI：[***]
• REST服务器UI：[***]
• 嵌入式Zookeeper状态：[***]

查看HBase日志

实时查看最新日志

bash
$ docker attach $id

按^C可退出但不停止容器。

查看所有日志

bash
$ docker logs $id

按^C可退出。

通过数据卷查看日志文件

若按上述方式挂载了数据卷，可直接查看宿主机的数据卷目录（如$PWD/data/logs）中的日志文件。

通过Python（Thrift）测试HBase

以下示例连接名称为hbase-docker的容器（如通过start-hbase.sh脚本创建），使用Happybase（基于Thrift API）与HBase交互：

bash
$ ipython
Python 2.7.9 (default, Mar  1 2015, 12:57:24)
Type "copyright", "credits" or "license" for more information.

IPython 2.3.0 -- An enhanced Interactive Python.
?         -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help      -> Python's own help system.
object?   -> Details about 'object', use 'object??' for extra details.

In [1]: import happybase

In [2]: connection = happybase.Connection('hbase-docker', 9090)

In [3]: connection.create_table('table-name', { 'family': dict() } )

In [4]: connection.tables()
Out[4]: ['table-name']

In [5]: table = connection.table('table-name')

In [6]: table.put('row-key', {'family:qual1': 'value1', 'family:qual2': 'value2'})

In [7]: for k, data in table.scan():
   ...:     print k, data
   ...:
row-key {'family:qual1': 'value1', 'family:qual2': 'value2'}

In [8]: exit

Happybase安装：sudo pip install happybase 或 pip install --user happybase（用户级安装）

通过Java测试HBase

使用容器内HBase Shell

bash
$ docker run --rm -it --link $id:hbase-docker dajobe/hbase hbase shell
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 0.94.11, r1513697, Wed Aug 14 04:54:46 UTC 2013

hbase(main):001:0> status
1 servers, 0 dead, 3.0000 average load

hbase(main):002:0> list
TABLE
table-name
1 row(s) in 0.0460 seconds

上述示例显示了在Happybase中创建的table-name表。

使用宿主机HBase Shell

若宿主机已安装HBase发行版，可通过配置hbase.zookeeper.quorum为hbase-docker（Zookeeper端口2181），然后使用bin/hbase shell连接。

本地代理HBase UI

若Docker运行在远程服务器，可通过SSH端口转发在本地浏览器访问HBase UI。在~/.ssh/config中添加以下配置：

Host my-docker-server
Hostname 1.2.3.4
    LocalForward 127.0.0.1:16010 127.0.0.1:16010
    LocalForward 127.0.0.1:9095 127.0.0.1:9095
    LocalForward 127.0.0.1:8085 127.0.0.1:8085

通过ssh my-docker-server连接后，可在本地使用以下URL访问：

• Master服务器：http://localhost:***/master-status
• Thrift UI：http://localhost:9095/thrift.jsp
• REST服务器UI：http://localhost:8085/rest.jsp
• 嵌入式Zookeeper：http://localhost:***/zk.jsp

参考链接

• Happybase文档
• https://github.com/wbolster/happybase