vixns/marathon-lb

marathon-lb

marathon-lb是一款通过消费https://github.com/mesosphere/marathon应用状态来管理HAProxy的工具。HAProxy是一款快速、高效、经过实战检验的高可用负载均衡器，具备诸多高级功能，为众多高流量网站提供支持。

核心功能和特性

• 无状态设计：不直接依赖任何第三方状态存储（如ZooKeeper或etcd），仅通过Marathon获取状态
• 幂等且确定性：支持水平扩展
• 高可扩展性：http://www.haproxy.org/10g.html，多实例可提供容错能力和更高吞吐量
• 实时负载均衡更新：通过https://mesosphere.github.io/marathon/docs/event-bus.html实现
• 支持Marathon的健康检查
• 多证书TLS/SSL支持
• 零停机部署
• 按服务HAProxy模板
• DC/OS集成
• 自动化Docker镜像构建（https://hub.docker.com/r/mesosphere/marathon-lb）
• 可在启动时提供全局HAProxy模板
• 支持每任务IP集成，如https://github.com/projectcalico/calico-containers
• 包含https://github.com/krallin/tini僵尸进程回收器

使用场景和适用范围

marathon-lb适用于基于Marathon或DC/OS的容器编排环境，需实现高可用、可扩展负载均衡的场景，尤其适合需要实时更新负载均衡配置、支持多证书TLS/SSL、零停机部署及HTTP认证的生产环境。

使用方法和配置说明

快速开始

• https://github.com/mesosphere/marathon-lb/wiki/Using-Marathon-LB
• 使用TLS/SSL保护服务（博客文章）

更多示例用法、模板等内容，请查看https://github.com/mesosphere/marathon-lb/wiki。

架构

marathon-lb脚本marathon_lb.py连接Marathon API获取所有运行中的应用，生成HAProxy配置并重新加载HAProxy。默认情况下，marathon-lb绑定到每个应用的服务端口，并将传入请求发送到应用实例。

服务通过Marathon定义中指定的服务端口暴露（参考https://mesosphere.github.io/marathon/docs/service-discovery-load-balancing）。此外，应用仅在具有与Marathon应用标签中定义的相同LB标签（或组）的LB上暴露（使用`HAPROXY_GROUP`标签）。可通过在应用中指定标签来调整HAProxy参数。

要创建虚拟主机，需在应用上设置HAPROXY_{n}_VHOST标签。设置虚拟主机的应用除服务端口外，还会在8080和4443端口暴露。HAPROXY_{n}_VHOST中可使用逗号分隔多个主机名指定多个虚拟主机。

所有应用还通过9091端口暴露，使用X-Marathon-App-IdHTTP头。有关HAPROXY_HTTP_FRONTEND_APPID_HEAD的详细说明，请参见模板部分。

可通过:9090/haproxy?stats访问HAProxy统计信息，通过:9090/_haproxy_getconfig端点获取当前HAProxy配置。

部署

该包当前可从https://github.com/mesosphere/universe获取。要在DC/OS集群的公共从节点上部署marathon-lb，只需运行：

dcos package install marathon-lb

要配置自定义SSL证书，将DC/OS CLI选项ssl-cert设置为PEM格式的证书和私钥的串联文件。更多详情参见https://cbonte.github.io/haproxy-dconv/configuration-1.7.html#crt (Bind options)。

如需进一步自定义，可通过将DC/OS CLI选项template-url指向包含templates/目录的tarball来添加模板。有关命名方式，请参见脚本注释。

Docker部署

语法：docker run -e PORTS=$portnumber --net=host mesosphere/marathon-lb sse|poll ...

必须设置PORTS环境变量以允许HAProxy绑定到该端口。示例：docker run -e PORTS=9090 mesosphere/marathon-lb sse [其他参数]

可通过设置HAPROXY_SSL_CERT环境变量传入SSL前端的证书。如需多个证书，可设置HAPROXY_SSL_CERT0至HAPROXY_SSL_CERT100指定额外证书。

sse模式

在SSE模式下，脚本连接Marathon事件端点以获取状态变化通知。仅支持Marathon 0.11.0及更高版本。

语法：docker run mesosphere/marathon-lb sse [其他参数]

poll模式

如无法使用HTTP回调，脚本可定期轮询API获取调度器状态。

语法：docker run mesosphere/marathon-lb poll [其他参数]

要更改轮询间隔（默认60秒），可设置POLL_INTERVAL环境变量。

直接调用

也可直接运行更新脚本。要从运行在localhost:8080的Marathon生成HAProxy配置，使用marathon_lb.py脚本运行：

console
$ ./marathon_lb.py --marathon http://localhost:8080 --group external --strict-mode --health-check

如Marathon需要认证，可传递--auth-credentials=选项：

console
$ ./marathon_lb.py --marathon http://localhost:8080 --auth-credentials=admin:password

如需要从VAULT获取认证凭据（用户名和密码），可在运行marathon-lb前定义以下环境变量：VAULT_TOKEN、VAULT_HOST、VAULT_PORT、VAULT_PATH（VAULT_PATH是存储用户名和密码的根路径）。

这将刷新haproxy.cfg，如有更改，将自动重新加载HAProxy。仅带有HAPROXY_GROUP=external标签的应用会在此LB上暴露。

marathon_lb.py具有许多附加功能，如粘性会话、HTTP到HTTPS重定向、SSL卸载、虚拟主机支持和模板功能。

要获取完整文档，运行：

console
$ ./marathon_lb.py --help

提供SSL证书

可通过--ssl-certs指定SSL前端的证书路径。

console
$ ./marathon_lb.py --marathon http://localhost:8080 --group external --ssl-certs /etc/ssl/site1.co,/etc/ssl/site2.co --health-check --strict-mode

如直接使用脚本，有两种选择：

• 不提供任何参数，配置将使用/tmp/cert.pem作为证书路径。将证书放入此路径或编辑文件指定正确路径。
• 提供--ssl-certs命令行参数，配置将使用这些路径。

如使用提供的run脚本或Docker镜像，有三种选择：

• 在HAPROXY_SSL_CERT环境变量中提供证书文本。内容将写入/tmp/cert.pem。除非指定额外证书路径，否则配置将使用此路径。
• 通过--ssl-certs命令行参数提供SSL证书路径。配置将使用这些证书路径。
• 不提供任何参数，将在/tmp/cert.pem上创建自签名证书，配置将使用它。

跳过配置验证

如未安装HAProxy，可跳过配置文件验证（通过调用HAProxy服务）。这在Docker容器中运行HAProxy时特别有用。

console
$ ./marathon_lb.py --marathon http://localhost:8080 --group external --skip-validation

使用HAProxy映射进行后端查找

可使用HAProxy映射加速Web应用（虚拟主机）到后端的查找。这在大型安装中非常有用，传统虚拟主机到后端规则比较需要顺序比较每个规则，耗时较长。HAProxy映射创建基于哈希的查找表，因此速度更快，marathon-lb中通过--haproxy-map标志支持此功能。

console
$ ./marathon_lb.py --marathon http://localhost:8080 --group external --haproxy-map

当前仅为主机头（HTTP和HTTPS）和X-Marathon-App-Id头创建查找字典。但对于基于路径的路由和认证，仍使用常规后端规则比较。

API端点

marathon-lb默认在9090端口暴露以下端点：

* 当marathon-lb处于poll模式时，这些端点不生效，因为在此模式下没有marathon-lb进程可被信号通知（marathon-lb在每次轮询后退出）。

HAProxy配置

应用标签

应用标签在Marathon应用定义中指定，可用于覆盖HAProxy行为。例如，为应用指定external组和虚拟主机service.mesosphere.com：

json
{
  "id": "http-service",
  "labels": {
    "HAPROXY_GROUP":"external",
    "HAPROXY_0_VHOST":"service.mesosphere.com"
  }
}

某些标签按服务端口指定，标签键中包含{n}参数，{n}对应服务端口索引，从0开始。

完整标签列表参见配置文档。

模板

marathon-lb全局模板（如Longhelp中所列）可通过两种方式覆盖：

• 在marathon-lb容器中创建环境变量
• 将配置文件放在脚本运行目录的templates/目录中

例如，要将HAPROXY_HTTPS_FRONTEND_HEAD替换为以下内容：

frontend new_frontend_label
  bind *:4443 ssl crt /tmp/cert.pem
  mode http

可在Marathon-LB配置中添加以下环境变量：

"HAPROXY_HTTPS_FRONTEND_HEAD": "\\nfrontend new_frontend_label\\n  bind *:443 ssl {sslCerts}\\n  mode http"

或者，通过工件URI将名为HAPROXY_HTTPS_FRONTEND_HEAD的文件放在templates/目录中。

此外，某些模板还可按应用服务端口覆盖。可将自定义模板添加到Docker镜像，或在启动时提供。

完整模板列表参见配置文档。

可覆盖模板

部分模板可使用应用标签覆盖（如标签部分所述）。字符串被解释为文字HAProxy配置参数，支持替换（如模板部分所述）。HAProxy配置在重新加载前会验证正确性。注意：由于HAProxy配置在重新加载前检查，如应用的HAProxy标签语法不正确，HAProxy将不会重新加载，可能导致配置过时。

以下是需要禁用http-keep-alive的http-service服务示例：

json
{
  "id": "http-service",
  "labels":{
    "HAPROXY_GROUP":"external",
    "HAPROXY_0_BACKEND_HTTP_OPTIONS":"  option forwardfor\n  no option http-keep-alive\n  http-request set-header X-Forwarded-Port %[dst_port]\n  http-request add-header X-Forwarded-Proto https if { ssl_fc }\n"
  }
}

可指定的按服务端口模板完整列表参见文档。

HAProxy全局默认选项

作为添加HAProxy全局默认选项（无需覆盖全局模板）的快捷方式，可通过HAPROXY_GLOBAL_DEFAULT_OPTIONS环境变量指定逗号分隔的选项列表。未指定时默认值为redispatch,http-server-close,dontlognull；例如，要添加httplog选项（并保留现有默认值），应指定HAPROXY_GLOBAL_DEFAULT_OPTIONS=redispatch,http-server-close,dontlognull,httplog。

• 注意：当HAPROXY_HEAD模板被覆盖时，此设置无效。

操作最佳实践

• 使用保留端口范围内的服务端口（默认至）。这将防止端口冲突，并确保重新加载不会导致连接错误。
• 避免使用HAPROXY_{n}_PORT标签；优先定义服务端口。
• 考虑运行多个marathon-lb实例。实际中，生产环境应使用3个或更多实例以提供高可用性。绝不建议运行1个实例，除非负载很大，否则运行超过5个实例可能不会增加价值。marathon-lb实例数量取决于工作负载和所需的故障容忍度。注意：不要在集群的每个节点上运行marathon-lb。这被视为反模式，因为会导致Marathon API被频繁请求和过多健康检查。
• 考虑在marathon-lb前使用专用负载均衡器以允许升级/更改。常见选择包括AWS上的ELB或本地部署的硬件负载均衡器。
• 为内部和外部负载均衡使用单独的marathon-lb组（通过--group指定）。在DC/OS上，默认组为external。内部负载均衡器的简单options.json示例：

json
{
  "marathon-lb": {
    "name": "marathon-lb-internal",
    "haproxy-group": "internal",
    "bind-http-https": false,
    "role": ""
  }
}

• 对于HTTP服务，考虑设置虚拟主机（可选路径）以在80和443端口访问服务。或者，可使用X-Marathon-App-Id头在9091端口访问服务。例如，访问ID为tweeter的应用：

$ curl -vH "X-Marathon-App-Id: /tweeter" marathon-lb.marathon.mesos:9091/
*   Trying 10.0.4.74...
* Connected to marathon-lb.marathon.mesos (10.0.4.74) port 9091 (#0)
> GET / HTTP/1.1
> Host: marathon-lb.marathon.mesos:9091
> User-Agent: curl/7.48.0
> Accept: */*
> X-Marathon-App-Id: /tweeter
>
< HTTP/1.1 200 OK

• marathon-lb的某些功能假设其在PID命名空间中是唯一实例，即运行在容器中。如/_mlb_signal端点和/_haproxy_getpids端点（以及零停机部署）在同一PID命名空间中运行多个marathon-lb实例或其他HAProxy进程时可能行为异常。
• 有时需要详细的容器和HAProxy日志