perrykim/zookeeper

Kubernetes ZooKeeper K8SZK

镜像概述和主要用途

该Docker镜像旨在通过Kubernetes的StatefulSets（有状态集）简化Apache ZooKeeper的部署。ZooKeeper是一个分布式协调服务，常用于分布式系统中的配置管理、服务发现和分布式锁等场景。本镜像提供了在K8s环境中部署ZooKeeper集群的完整解决方案。

限制条件

1. 不支持扩展：ZooKeeper 3.4.10（当前稳定版）无法安全更新集群成员，因此无法动态扩展集群规模。
2. 不支持观察者角色：目前不支持ZooKeeper观察者（Observers），欢迎社区贡献。
3. 必须使用持久卷：使用emptyDirs可能导致数据丢失，需通过Persistent Volumes提供持久化存储。

Docker镜像详情

• 基础镜像：Ubuntu 16.04，基于OpenJDK 8u111 JRE和ZooKeeper 3.4.10稳定版。选择Ubuntu而非BusyBox或Alpine，是为了确保基于glibc的JVM环境稳定性，避免因mucl/ulibc导致的兼容性问题。
• 运行用户：默认以非root用户zookeeper运行。
• 目录结构：
  • 安装路径：/opt/zookeeper
  • 配置文件：通过符号链接到/usr/etc/zookeeper/
  • 可执行文件：通过符号链接到/usr/bin
  • 数据目录：/var/lib/zookeeper（与RPM分发版结构一致）

配置说明

无头服务（Headless Service）

ZooKeeper有状态集需要无头服务来控制网络域。以下是示例配置：

yaml
apiVersion: v1
kind: Service
metadata:
  name: zk-svc
  labels:
    app: zk-svc
spec:
  ports:
  - port: 2888
    name: server
  - port: 3888
    name: leader-election
  clusterIP: None
  selector:
    app: zk-svc

说明：服务包含两个端口，server端口（2888）用于从节点同步主节点日志，leader-election端口（3888）用于集群选主。

有状态集（StatefulSet）

有状态集配置需与无头服务匹配，并指定副本数。示例配置创建3节点ZooKeeper集群：

yaml
apiVersion: apps/v1beta1
kind: StatefulSet
metadata:
  name: zk
spec:
  serviceName: zk-svc
  replicas: 3

重要：由于不支持加权仲裁，必须选择奇数副本数（推荐1、3、5或7）。更大的副本数可提升读性能，但会降低写性能，需谨慎选择。

容器配置

zkGenConfig.sh脚本会根据环境变量生成ZooKeeper配置（zoo.cfg）、Log4J配置（log4j.properties）和JVM配置（jvm.env），并写入/opt/zookeeper/conf目录。以下是容器配置示例：

yaml
containers:
  - name: k8szk
    imagePullPolicy: Always
    image: gcr.io/google_samples/k8szk:v3
    ports:
    - containerPort: 2181
      name: client
    - containerPort: 2888
      name: server
    - containerPort: 3888
      name: leader-election
    env:
    - name: ZK_ENSEMBLE
      value: "zk-0;zk-1;zk-2"
    - name: ZK_CLIENT_PORT
      value: "2181"
    - name: ZK_SERVER_PORT
      value: "2888"
    - name: ZK_ELECTION_PORT
      value: "3888"

集群成员配置

网络配置

说明：端口需与容器配置的containerPort及无头服务端口一致，使用默认值时可省略环境变量。

ZooKeeper时间配置

ZooKeeper会话配置

数据保留配置

注意：ZooKeeper默认不清理旧事务日志和快照，可能导致磁盘占满。可通过以下变量配置自动清理：

JVM配置

日志级别配置

存活和就绪探针

zkOk.sh脚本可用于检查ZooKeeper进程状态。以下是探针配置示例：

yaml
readinessProbe:
  exec:
    command:
    - sh
    - -c
    - "zkOk.sh"
  initialDelaySeconds: 15 
  timeoutSeconds: 5
livenessProbe:
  exec:
    command:
    - sh
    - -c
    - "zkOk.sh"
  initialDelaySeconds: 15
  timeoutSeconds: 5

卷挂载

容器卷挂载配置示例：

yaml
volumeMounts:
- name: datadir
  mountPath: /var/lib/zookeeper

存储配置

必须使用Persistent Volumes确保数据持久化。以下是动态供应20GiB存储的示例：

yaml
volumeClaimTemplates:
- metadata:
    name: datadir
    annotations:
      volume.alpha.kubernetes.io/storage-class: anything
  spec:
    accessModes: [ "ReadWriteOnce" ]
    resources:
      requests:
        storage: 20Gi

日志

日志输出位置不可修改，ZooKeeper进程前台运行，日志输出到stdout，符合容器化应用最佳实践，可利用K8s现有日志轮转和保留机制。

监控指标

zkMetrics.sh脚本可获取ZooKeeper指标并输出到stdout。可通过Kubernetes定时任务收集指标：

bash
kubectl exec zk-0 zkMetrics.sh

示例输出：

zk_version	3.4.9-***, built on 08/23/2016 06:50 GMT
zk_avg_latency	0
zk_max_latency	0
zk_min_latency	0
zk_packets_received	21
zk_packets_sent	20
zk_num_alive_connections	1
zk_outstanding_requests	0
zk_server_state	follower
zk_znode_count	4
zk_watch_count	0
zk_ephemerals_count	0
zk_approximate_data_size	27
zk_open_file_descriptor_count	39
zk_max_file_descriptor_count	***