infinilabs/gateway

INFINI Gateway

概述

INFINI Gateway 是一款高性能、功能丰富的 Elasticsearch 网关。作为代理服务，它通常部署在 Elasticsearch 集群前方，所有 Elasticsearch 请求先发送至网关，而非直接发送到 Elasticsearch。网关可根据需求对每个请求执行过滤、限流、缓存、操作转换等多种功能，提升集群的稳定性、安全性和性能。

核心功能与特性

• 索引时自动处理上游故障，实现不间断索引
• 自动检测上游故障并在搜索时重试
• 多种写入机制，支持将索引请求映射到多个 Elasticsearch 集群
• 支持 TLS/HTTPS，自动生成证书文件
• 支持以守护进程模式后台运行（仅在 Linux 和 macOS 可用）
• 自动合并索引操作至单个批量操作
• 负载均衡（索引和搜索请求），算法可配置
• 可控的查询缓存层，加速热点查询
• 基于桶窗口大小的索引级请求限流
• 并发限流，限制到上游的连接数
• 内置浮动 IP，支持无缝故障转移和滚动升级（仅本地部署可用）
• 请求日志与可观测性，提供定制化 Kibana 仪表盘
• 多 Elasticsearch 集群数据复制与流量控制

使用场景

INFINI Gateway 适用于以下场景：

• 需要提升 Elasticsearch 集群性能，通过缓存热点查询加速响应
• 需实现请求过滤、限流，保护集群免受流量冲击
• 多 Elasticsearch 集群部署，需实现数据复制、流量分发与负载均衡
• 生产环境中需保障高可用性，实现故障转移和无缝升级
• 需对 Elasticsearch 请求进行监控、日志记录与可观测性分析

使用方法

拉取镜像（指定标签）

bash
# 重要：使用特定标签（如 1.29.0）而非 'tag'。请查看 Docker Hub 获取可用标签。
docker pull infinilabs/gateway:tag

创建 gateway.yml 配置文件

yaml
path.data: data
path.logs: log

entry:
  - name: my_es_entry
    enabled: true
    router: my_router
    max_concurrency: 200000
    network:
      binding: 0.0.0.0:8000
flow:
  - name: simple_flow
    filter: # 如需禁用缓存或限流等功能，可注释掉相应过滤部分
      - elasticsearch:
          elasticsearch: dev  # Elasticsearch 配置引用名称
router:
  - name: my_router
    default_flow: simple_flow

elasticsearch:
- name: dev
  enabled: true
  endpoint: http://localhost:9200
  basic_auth:
    username: test
    password: testtest

!注意! 务必配置 elasticsearch 部分以连接您自己的 Elasticsearch 集群。

启动 INFINI Gateway

bash
docker run -p 8000:8000 -p 2900:2900 -v=$(pwd)/gateway.yml:/gateway.yml infinilabs/gateway:1.29.0

若启动无异常，您将看到类似以下输出：

➜  /tmp docker run -p 8000:8000 -v=$(pwd)/gateway.yml:/gateway.yml infinilabs/gateway:1.29.0
   ___   _   _____  __  __    __  _       
  / _ \ /_\ /__   \/__\/ / /\ \ \/_\ /\_/\
 / /_\///_\\  / /\/_\  \ \/  \/ //_\\\_ _/
/ /_\\/  _  \/ / //__   \  /\  /  _  \/ \ 
\____/\_/ \_/\/  \__/    \/  \/\_/ \_/\_/ 

[GATEWAY] A light-weight, powerful and high-performance elasticsearch gateway.
[GATEWAY] 1.0.0_SNAPSHOT, b61758c, Mon Dec 28 14:32:02 2020 +0800, medcl, no panic by default
[12-30 05:26:41] [INF] [instance.go:24] workspace: data/gateway/nodes/0
[12-30 05:26:41] [INF] [runner.go:59] pipeline: primary started with 1 instances
[12-30 05:26:41] [INF] [entry.go:257] entry [es_gateway] listen at: http://0.0.0.0:8000
[12-30 05:26:41] [INF] [app.go:247] gateway now started.
[12-30 05:26:45] [INF] [reverseproxy.go:196] elasticsearch [prod] endpoints: [] => [192.168.3.201:9200]
[12-30 05:26:51] [INF] [reverseproxy.go:196] elasticsearch [prod] endpoints: [192.168.3.201:9200] => [192.168.3.202:9200, 192.168.3.203:9200, 192.168.3.201:9200]

验证网关运行

访问代理端点 http://localhost:8000/，例如：

bash
➜  /tmp curl -v http://localhost:8000/
*   Trying ::1...
* TCP_NODELAY set
* Connected to localhost (::1) port 8000 (#0)
> GET / HTTP/1.1
> Host: localhost:8000
> User-Agent: curl/7.64.1
> Accept: */*
> 
< HTTP/1.1 200 OK
< Server: INFINI
< Date: Wed, 30 Dec 2020 05:12:39 GMT
< Content-Type: application/json; charset=UTF-8
< Content-Length: 480
< UPSTREAM: 192.168.3.201:9200
< 
{
  "name" : "node1",
  "cluster_name" : "pi",
  "cluster_uuid" : "Z_HcN_6ESKWicV-eLsyU4g",
  "version" : {
    "number" : "6.4.2",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "04711c2",
    "build_date" : "2018-09-26T13:34:09.098244Z",
    "build_snapshot" : false,
    "lucene_version" : "7.4.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}
* Connection #0 to host localhost left intact
* Closing connection 0