pires/elasticsearch

kubernetes-elasticsearch-cluster

镜像概述和主要用途

该镜像提供了在Kubernetes上部署Elasticsearch 1.7.0集群的便捷方案。遵循Elasticsearch最佳实践，将节点分为三种角色：

• 主节点（Master）：仅负责集群管理，不存储数据，不提供HTTP API
• 负载均衡节点（Load-*）**：供客户端使用，不存储数据，提供HTTP API
• 数据节点（Data）：负责存储和索引数据，不提供HTTP API

通过这种角色分离，可根据需求灵活扩展集群规模，例如典型配置可为3个主节点、3个负载均衡节点和5个数据节点。

注意：目前Kubernetes Pod描述文件中，每个数据节点容器使用emptyDir存储数据，这仅为简化设置，实际部署时应根据存储需求调整。

核心功能和特性

• 角色分离：严格区分主节点、负载均衡节点和数据节点，符合Elasticsearch最佳实践
• 可扩展性：支持独立扩展每种节点类型的数量，满足不同负载需求
• Kubernetes集成：通过Kubernetes控制器和服务实现集群部署与管理
• 简化部署：提供完整的Kubernetes配置文件，简化集群搭建流程

前置条件

• Docker 1.5及以上版本
• Kubernetes集群（已在v1.0.1版本上测试，基于https://github.com/pires/kubernetes-vagrant-coreos-cluster%EF%BC%89
• 已配置kubectl以访问集群主API服务器

构建镜像（可选）

不支持使用自定义版本的https://registry.hub.docker.com/u/pires/elasticsearch%E3%80%82%E6%AD%A4%E6%AD%A5%E9%AA%A4%E4%B8%BA%E5%8F%AF%E9%80%89%E6%93%8D%E4%BD%9C%EF%BC%8C%E4%BD%BF%E7%94%A8%E8%87%AA%E5%AE%9A%E4%B9%89%E9%95%9C%E5%83%8F%E5%B0%86%E6%97%A0%E6%B3%95%E8%8E%B7%E5%BE%97%E6%94%AF%E6%8C%81%E3%80%82

使用方法和配置说明

部署集群

bash
kubectl create -f service-account.yaml
kubectl create -f elasticsearch-discovery-service.yaml
kubectl create -f elasticsearch-service.yaml
kubectl create -f elasticsearch-master-controller.yaml

等待elasticsearch-master-controller部署完成后：

bash
kubectl create -f elasticsearch-lb-controller.yaml

等待elasticsearch-lb-controller部署完成后：

bash
kubectl create -f elasticsearch-data-controller.yaml

验证集群状态

1. 等待所有容器处于RUNNING状态：

   bash
   kubectl get pods
   

   预期输出示例：

   $ kubectl get pods
   NAME                         READY     STATUS    RESTARTS   AGE
   elasticsearch-data-881wf     1/1       Running   0          47s
   elasticsearch-lb-tujlb       1/1       Running   0          1m
   elasticsearch-master-hh4gw   1/1       Running   0          2m
   

2. 检查主节点日志（替换实际Pod名称）：

   bash
   kubectl logs elasticsearch-master-hh4gw
   

   日志中应包含集群初始化和节点加入信息，例如：

   [2015-07-22 13:53:22,631][INFO ][cluster.service] [American Samurai] new_master [American Samurai][dlkCkOJaQ4SkfUPfAPNubQ][elasticsearch-master-hh4gw][inet[/10.244.78.4:9300]]{data=false, master=true}, reason: zen-disco-join (elected_as_master)
   [2015-07-22 13:54:24,682][INFO ][cluster.service] [American Samurai] added {[Warlock][zvGs3UQ8QE-uxBaqXF5Prw][elasticsearch-lb-tujlb][inet[/10.244.78.5:9300]]{data=false, master=false},}, reason: zen-disco-receive(join from node[[Warlock][zvGs3UQ8QE-uxBaqXF5Prw][elasticsearch-lb-tujlb][inet[/10.244.78.5:9300]]{data=false, master=false}])
   [2015-07-22 13:54:54,744][INFO ][cluster.service] [American Samurai] added {[Mastermind of the UK][fpkffLbzTTy0P4ox10xJxg][elasticsearch-data-881wf][inet[/10.244.78.6:9300]]{master=false},}, reason: zen-disco-receive(join from node[[Mastermind of the UK][fpkffLbzTTy0P4ox10xJxg][elasticsearch-data-data-881wf][inet[//10.244.78.6:9300]]{master=false}])
   

扩展集群

通过以下命令扩展不同类型节点的数量：

bash
# 扩展主节点至3个副本
kubectl scale --replicas=3 rc elasticsearch-master
# 扩展负载均衡节点至2个副本
kubectl scale --replicas=2 rc elasticsearch-lb
# 扩展数据节点至5个副本
kubectl scale --replicas=5 rc elasticsearch-data

访问服务

Kubernetes服务默认仅集群内容器可访问。如需外部访问，需配置外部负载均衡器（超出本文档范围）。

1. 获取Elasticsearch服务信息：

   bash
   kubectl get service elasticsearch
   

   预期输出示例：

   $ kubectl get service elasticsearch
   NAME            LABELS                                       SELECTOR                                     IP(S)           PORT(S)
   elasticsearch   component=elasticsearch,role=load-balancer   component=elasticsearch,role=load-balancer   10.100.251.16   9200/TCP
   

2. 从集群内任意运行kube-proxy的主机访问：

   bash
   curl http://10.100.251.16:9200
   

   预期返回Elasticsearch状态信息：

   json
   {
     "status" : 200,
     "name" : "Warlock",
     "cluster_name" : "elasticsearch-k8s",
     "version" : {
       "number" : "1.7.0",
       "build_hash" : "929b9739cae115e73c346cb5f9a6f24ba735a743",
       "build_timestamp" : "2015-07-16T14:31:07Z",
       "build_snapshot" : false,
       "lucene_version" : "4.10.4"
     },
     "tagline" : "You Know, for Search"
   }
   

3. 查看集群健康状态：

   bash
   curl http://10.100.251.16:9200/_cluster/health?pretty
   

   预期返回集群健康信息：

   json
   {
     "cluster_name" : "elasticsearch-k8s",
     "status" : "green",
     "timed_out" : false,
     "number_of_nodes" : 3,
     "number_of_data_nodes" : 1,
     "active_primary_shards" : 0,
     "active_shards" : 0,
     "relocating_shards" : 0,
     "initializing_shards" : 0,
     "unassigned_shards" : 0,
     "delayed_unassigned_shards" : 0,
     "number_of_pending_tasks" : 0,
     "number_of_in_flight_fetch" : 0
   }
   

使用场景和适用范围

适用于需要在Kubernetes环境中部署Elasticsearch集群的场景，包括但不限于：

• 日志集中存储与分析
• 全文搜索服务
• 应用性能监控数据存储
• 需要弹性扩展的搜索与分析平台

尤其适合对集群稳定性和可扩展性有较高要求的企业级应用。