pilchard/hbase

Hbase 1.2.0 (CDH 5.11) 镜像文档

镜像概述和主要用途

本镜像基于 Cloudera CDH 5.11 发行版构建，包含 Hbase 1.2.0 和 openjdk-1.8 运行环境，提供分布式列式数据库服务。Hbase 作为 Hadoop 生态系统的关键组件，适用于存储和管理大规模结构化/半结构化数据，支持高并发随机读写和水平扩展。

核心功能和特性

• Hbase 1.2.0 核心能力：列式存储架构、强一致性数据访问、自动分区与负载均衡
• CDH 5.11 兼容性：与 Cloudera 生态组件（HDFS、YARN、Zookeeper）无缝集成
• 内置 Java 环境：集成 openjdk-1.8，无需额外配置 Java 运行时
• 高可靠性：支持数据多副本存储、故障自动恢复
• 灵活扩展：支持 RegionServer 动态增减，适应数据量增长需求

使用场景和适用范围

• 大规模数据存储（TB/PB 级）与实时随机查询
• 日志数据、时序数据、传感器数据的存储与分析
• 作为大数据平台的数据存储层（与 Spark、Flink 等计算框架集成）
• 企业级应用的高可用分布式数据库服务

使用方法和配置说明

基本使用（独立模式）

适用于开发测试环境，内置 Zookeeper 单节点：

bash
docker run -d \
  --name hbase-standalone \
  -p 2181:2181 \  # Zookeeper 端口
  -p 16010:16010 \ # Master Web UI 端口
  -p 16020:16020 \ # RegionServer 端口
  -p 16030:16030 \ # Backup Master 端口
  hbase:1.2.0-cdh5.11

分布式模式（生产环境）

需配合独立 Zookeeper 集群和 HDFS，以下为 docker-compose 配置示例：

yaml
version: '3'
services:
  # Zookeeper 集群（3节点）
  zk1:
    image: zookeeper:3.4.6
    ports: ["2181:2181"]
    environment:
      ZOO_MY_ID: 1
      ZOO_SERVERS: server.1=zk1:2888:3888;server.2=zk2:2888:3888;server.3=zk3:2888:3888
    volumes: [zk1-data:/data, zk1-datalog:/datalog]

  zk2:
    image: zookeeper:3.4.6
    environment:
      ZOO_MY_ID: 2
      ZOO_SERVERS: server.1=zk1:2888:3888;server.2=zk2:2888:3888;server.3=zk3:2888:3888
    volumes: [zk2-data:/data, zk2-datalog:/datalog]

  zk3:
    image: zookeeper:3.4.6
    environment:
      ZOO_MY_ID: 3
      ZOO_SERVERS: server.1=zk1:2888:3888;server.2=zk2:2888:3888;server.3=zk3:2888:3888
    volumes: [zk3-data:/data, zk3-datalog:/datalog]

  # Hbase Master
  hbase-master:
    image: hbase:1.2.0-cdh5.11
    depends_on: [zk1, zk2, zk3]
    ports: ["16010:16010"]
    environment:
      HBASE_MANAGES_ZK: "false"  # 使用外部Zookeeper
      HBASE_ZOOKEEPER_QUORUM: "zk1,zk2,zk3"
      HBASE_ROOTDIR: "hdfs://hdfs-nn:9000/hbase"  # HDFS路径
    volumes: [hbase-master-conf:/etc/hbase/conf]

  # Hbase RegionServer (可横向扩展多个实例)
  hbase-rs1:
    image: hbase:1.2.0-cdh5.11
    depends_on: [hbase-master]
    environment:
      HBASE_MANAGES_ZK: "false"
      HBASE_ZOOKEEPER_QUORUM: "zk1,zk2,zk3"
      HBASE_ROOTDIR: "hdfs://hdfs-nn:9000/hbase"
    volumes: [hbase-rs-conf:/etc/hbase/conf]

volumes:
  zk1-data:
  zk1-datalog:
  zk2-data:
  zk2-datalog:
  zk3-data:
  zk3-datalog:
  hbase-master-conf:
  hbase-rs-conf:

关键配置参数

通过环境变量或挂载配置文件（/etc/hbase/conf）进行自定义：

验证与访问

1. Web UI：访问 http://<master-ip>:16010 查看集群状态
2. Hbase Shell：进入容器执行 hbase shell 进行交互操作

   bash
   docker exec -it hbase-master hbase shell
   

3. 客户端连接：通过 Hbase Java API 或 Thrift/REST 接口连接，示例连接字符串：

   java
   Configuration conf = HBaseConfiguration.create();
   conf.set("hbase.zookeeper.quorum", "zk1,zk2,zk3");
   Connection connection = ConnectionFactory.createConnection(conf);
   

注意事项

• 生产环境需确保 HDFS 和 Zookeeper 集群高可用
• 数据卷挂载建议使用持久化存储，避免容器重启数据丢失
• 可通过调整 hbase-env.sh 中的 JVM 参数（如 -Xms、-Xmx）优化性能
• 集群规模扩展时，需同步更新 Zookeeper 配置和 RegionServer 列表