Pulsar Heartbeat是一款云原生应用,用于监控Pulsar集群的可用性,跟踪消息发布订阅延迟,并报告集群故障。它通过生成合成工作负载来测量端到端消息发布订阅延迟,支持在Kubernetes集群中通过Helm安装,适用于Pulsar集群的运维监控和性能评估。
适用于需要对Pulsar集群进行实时监控的场景,包括:
Pulsar Heartbeat通过YAML或JSON配置文件驱动,配置文件优先级顺序为:
PULSAR_OPS_MONITOR_CFG./pulsar-heartbeat -config /path/to/config.yml../config/runtime.yml配置文件模板可参考 https://github.com/datastax/pulsar-heartbeat/blob/master/config/runtime-template.yml%E3%80%82
工具在 /metrics 端点暴露符合Prometheus规范的指标,可供采集,指标如下:
| 名称 | 类型 | 描述 |
|---|---|---|
| pulsar_pubsub_latency_ms | gauge | 端到端消息发布订阅延迟(毫秒) |
| pulsar_pubsub_latency_ms_hst | summary | 端到端消息延迟直方图摘要(50%、90%、99%分位数) |
| pulsar_websocket_latency_ms | gauge | WebSocket接口的端到端消息发布订阅延迟(毫秒) |
| pulsar_k8s_bookkeeper_offline_counter | gauge | Kubernetes集群中BookKeeper离线实例数 |
| pulsar_k8s_broker_offline_counter | gauge | Kubernetes集群中Broker离线实例数 |
| pulsar_k8s_proxy_offline_counter | gauge | Kubernetes集群中Proxy离线实例数 |
| pulsar_k8s_bookkeeper_zookeeper_counter | gauge | Kubernetes集群中ZooKeeper离线实例数 |
| pulsar_monitor_counter | counter | 心跳总数计数器 |
| pulsar_tenant_size | gauge | 租户数量(作为admin接口健康指标) |
Pulsar Heartbeat可部署在同一Pulsar Kubernetes集群内,仅在此部署模式下支持Kubernetes监控和单个Broker监控。
官方镜像
官方Docker镜像可从 https://hub.docker.com/repository/docker/datastax/pulsar-heartbeat 获取。
Docker Compose
bash$ docker-compose up
Docker运行示例
需将配置文件挂载到默认路径 /config/runtime.yml,以下命令启动容器并暴露Prometheus指标端口:
bash$ docker run -d -it -v $HOME/go/src/github.com/datastax/pulsar-heartbeat/config/runtime-astra.yml:/config/runtime.yml -p 8080:8080 --name=pulsar-heartbeat datastax/pulsar-heartbeat:latest
支持Helm 3版本,可通过以下方式安装:
作为Pulsar集群一部分安装
可在 https://github.com/datastax/pulsar-helm-chart/blob/master/helm-chart-sources/pulsar/values.yaml#L273 中配置启用。
作为DataStax Pulsar集群一部分安装
可直接在 https://github.com/datastax/pulsar-helm-chart/blob/master/helm-chart-sources/pulsar/values.yaml#L1571 中启用。
运行以下脚本构建应用、执行静态分析、单元测试,并生成二进制文件:
bash$ ./scripts/ci.sh
通过多阶段构建生成Docker镜像:
bash$ make
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。
探索更多轩辕镜像的使用方法,找到最适合您系统的配置方式
通过 Docker 登录认证访问私有仓库
无需登录使用专属域名
Kubernetes 集群配置 Containerd
K3s 轻量级 Kubernetes 镜像加速
VS Code Dev Containers 配置
Podman 容器引擎配置
HPC 科学计算容器配置
ghcr、Quay、nvcr 等镜像仓库
Harbor Proxy Repository 对接专属域名
Portainer Registries 加速拉取
Nexus3 Docker Proxy 内网缓存
需要其他帮助?请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
docker search 限制
站内搜不到镜像
离线 save/load
插件要用 plugin install
WSL 拉取慢
安全与 digest
新手拉取配置
镜像合规机制
manifest unknown
no matching manifest(架构)
invalid tar header(解压)
TLS 证书失败
DNS 超时
域名连通性排查
410 Gone 排查
402 与流量用尽
401 认证失败
429 限流
D-Bus 凭证提示
413 与超大单层
来自真实用户的反馈,见证轩辕镜像的优质服务