newnius/hbase

使用Docker运行分布式Apache HBase

镜像概述和主要用途

本镜像用于通过Docker Swarm以完全分布式模式搭建Apache HBase集群，提供稳定的分布式列式存储服务。使用前需先部署ZooKeeper集群和HDFS集群作为依赖组件，适用于需要分布式HBase环境的开发、测试及生产场景。

核心功能和特性

• 支持完全分布式HBase集群部署
• 集成HBase 1.2.6版本核心组件
• 可通过Web界面监控集群状态
• 支持Thrift服务对外提供访问接口
• 允许自定义配置文件覆盖默认设置

使用场景和适用范围

• 分布式数据存储与管理
• 大数据应用开发与测试环境
• 需要高可靠性和可扩展性的列式数据库场景
• 基于HBase的数据分析和处理平台搭建

使用方法和配置说明

前提条件

部署ZooKeeper集群

参考https://github.com/newnius/scripts/tree/master/zookeeper%E9%83%A8%E7%BD%B2ZooKeeper%E9%9B%86%E7%BE%A4%EF%BC%8C%E5%81%87%E8%AE%BE%E8%8A%82%E7%82%B9%E5%90%8D%E7%A7%B0%E4%B8%BA%60zookeeper-node1%60%E3%80%81%60zookeeper-node2%60%E3%80%81%60zookeeper-node3%60%E3%80%82

部署HDFS集群

参考https://github.com/newnius/scripts/tree/master/hadoop%E9%83%A8%E7%BD%B2HDFS%E9%9B%86%E7%BE%A4%EF%BC%8C%E5%81%87%E8%AE%BE%E8%8A%82%E7%82%B9%E5%90%8D%E7%A7%B0%E4%B8%BA%60hadoop-master%60%E3%80%81%60hadoop-slave1%60%E3%80%81%60hadoop-slave2%60%E3%80%81%60hadoop-slave3%60%E3%80%82

部署HBase集群

创建HBase Master节点

bash
docker service create \
	--name hbase-master \
	--hostname hbase-master \
	--network swarm-net \
	--endpoint-mode dnsrr \
	newnius/hbase:1.2.6

创建HBase Slave节点

bash
docker service create \
	--name hbase-slave1 \
	--hostname hbase-slave1 \
	--network swarm-net \
	--endpoint-mode dnsrr \
	newnius/hbase:1.2.6

bash
docker service create \
	--name hbase-slave2 \
	--hostname hbase-slave2 \
	--network swarm-net \
	--endpoint-mode dnsrr \
	newnius/hbase:1.2.6

bash
docker service create \
	--name hbase-slave3 \
	--hostname hbase-slave3 \
	--network swarm-net \
	--endpoint-mode dnsrr \
	newnius/hbase:1.2.6

初始化与测试

进入hbase-master容器执行初始化命令：

bash
# 在hbase-master容器内执行
bin/start-hbase.sh

集群监控

通过浏览器访问HBase集群管理界面：http://hbase-master:16010（需配合https://hub.docker.com/r/newnius/docker-proxy/%E4%BD%BF%E7%94%A8%EF%BC%89%E3%80%82

Swarm外部访问

启动Thrift服务

在hbase-master容器内启动Thrift服务：

bash
# 在hbase-master容器内执行
bin/hbase-daemon.sh start thrift

创建端口转发服务

bash
docker service create \
	--name hbase-forwarder \
	--network swarm-net \
	--replicas 1 \
	--detach=true \
	--env REMOTE_HOST=hbase-master \
	--env REMOTE_PORT=9090 \
	--env LOCAL_PORT=9090 \
	--publish mode=host,published=9090,target=9090 \
	newnius/port-forward

Python客户端示例

python
import happybase
def get_tables_name(host,port):
    conn = happybase.Connection(host=host,port=port,protocol='compact',transport='framed')
    return conn.tables()

注意：默认情况下，hbase.regionserver.thrift.framed和hbase.regionserver.thrift.compact已设置为true以确保安全性。

自定义配置

将自定义配置文件挂载到/config/hbase目录，启动脚本会自动替换默认配置：

bash
docker service create \
	--name hbase-master \
	--hostname hbase-master \
	--network swarm-net \
	--replicas 1 \
	--detach=true \
	--endpoint-mode dnsrr \
	--mount type=bind,source=/etc/localtime,target=/etc/localtime,readonly \
	--mount type=bind,source=/data/hbase/config,target=/config/hbase \
	--mount type=bind,source=/data/hbase/logs/master,target=/usr/local/hbase/logs \
	newnius/hbase:1.2.6

完整脚本可参考https://github.com/newnius/scripts/tree/master/hbase%E3%80%82