monasca/agent-collector

monasca-agent-collector Docker镜像文档

镜像概述

本镜像包含Monasca agent collector的容器化版本。有关Monasca项目的更多信息，请参见Wiki。它基于monasca-docker中构建的agent-base镜像。

源码：[monasca-agent][2] · [monasca-docker][3] · [Dockerfile][4]

标签说明

本仓库中的镜像标签如下：

• latest：指向最新稳定点发布版，例如1.6.0
• 1.6.0、1.6、1：标准语义化版本标签，基于[官方仓库][2]中的git标签
• mitaka、newton等：遵循OpenStack版本名称的命名版本，从仓库中stable/版本名称分支的尖端构建
• master、master-时间戳：来自master分支的不稳定测试构建，可能包含稳定版本中未提供的功能或增强，但不适用于生产环境

注意，此Dockerfile中的功能（特别是与Docker和Kubernetes监控相关的功能）需要尚未正式发布或合并的插件。在此情况改变之前，可能仅提供master镜像。

使用方法

agent collector至少需要一个可访问的[monasca-forwarder][5]。如果要监控其他服务（如Kubernetes API），还需要访问这些服务。

在类似官方[docker-compose][3]或[Kubernetes][6]的环境中，该镜像不需要额外的配置参数，可最小化运行如下：

bash
docker run -it monasca/agent-collector:latest

然而，默认配置下未启用任何插件，agent将不会收集任何指标。此agent容器支持多种“监控场景”，可通过容器启动时传递的环境变量启用：

• Docker容器监控：在纯Docker主机上，收集每个运行中容器的标准系统级指标（如CPU、内存等）。需设置DOCKER=true。
• Kubernetes容器监控：从cAdvisor收集特定节点的容器指标。旨在作为DaemonSet在每个节点上运行。需设置KUBERNETES=true。
• Kubernetes API监控：收集Kubernetes集群的指标，包括健康状态、节点磁盘/内存压力、容量等。需设置KUBERNETES_API=true。
• cAdvisor监控：从cAdvisor实例（如嵌入Kubernetes API服务器的实例）收集主机指标。需设置CADVISOR=true。
• Prometheus监控：从暴露Prometheus端点的应用中抓取指标。在Kubernetes环境中，与Kubernetes插件一起运行时可自动检测这些端点。需设置PROMETHEUS=true。

注意，在Kubernetes环境中运行时，必须通过[Downward API][7]设置额外变量：

• AGENT_POD_NAME：设置fieldRef为fieldPath: metadata.name
• AGENT_POD_NAMESPACE：设置fieldRef为fieldPath: metadata.namespace

如果从外部监控Kubernetes环境的部分内容，则必须设置其他变量，详情见下文。

配置说明

环境变量

注意，还可指定其他变量，完整列表见[配置模板][8]。

自动重启功能可在agent collector存在未检查的内存增长时启用。如果启用此功能，必须在Docker或Kubernetes中配置适当的重启行为。

Docker插件

当DOCKER=true时启用此插件。它有以下选项：

• DOCKER_ROOT：挂载的主机根文件系统卷。默认：/host
• DOCKER_SOCKET：挂载的Docker套接字。默认：/var/run/docker.sock

此插件直接监控Docker容器。仅应在纯Docker环境（即非Kubernetes）中使用，且需要从主机挂载两个卷：

• 主机/挂载到/host（路径可通过DOCKER_ROOT配置）
• 主机/var/run/docker.sock挂载到/var/run/docker.sock（路径可通过DOCKER_SOCKET配置）

Kubernetes插件

当KUBERNETES=true时启用此插件。它有以下选项：

• KUBERNETES_TIMEOUT：K8s API连接超时时间。默认：3
• KUBERNETES_NAMESPACE_ANNOTATIONS：如果设置，将从命名空间获取注解作为该命名空间下指标的维度。格式为“annotation1,annotation2,annotation3”。默认：未设置
• KUBERNETES_MINIMUM_WHITELIST：为Kubernetes插件设置指标白名单，包括pod.cpu.total_time_sec、pod.mem.cache_bytes等，以减轻Monasca的负载。默认：未设置

Kubernetes插件旨在作为守护进程集在每个Kubernetes节点上运行。为正确检测API端点，必须通过上述[Downward API][7]设置AGENT_POD_NAME和AGENT_POD_NAMESPACE。

Kubernetes API插件

当KUBERNETES_API=true时启用此插件。它有以下选项：

• KUBERNETES_API_HOST：如果设置，手动指定Kubernetes API主机地址。默认：未设置
• KUBERNETES_API_PORT：如果设置，手动指定Kubernetes API端口，仅在设置KUBERNETES_API_HOST时使用。默认：8080
• KUBERNETES_API_CUSTOM_LABELS：如果设置，提供要作为维度包含在收集指标中的Kubernetes标签键列表，标签以逗号分隔（如label1,label2,label3）。app标签始终包含，与该值无关。默认：未设置
• KUBERNETES_NAMESPACE_ANNOTATIONS：如果设置，将从命名空间获取注解作为该命名空间下指标的维度。格式为“annotation1,annotation2,annotation3”。默认：未设置
• REPORT_PERSISTENT_STORAGE：如果设置，将按存储类收集绑定的PVC，并按命名空间和集群范围报告。默认：true
• STORAGE_PARAMETERS_DIMENSIONS：如果设置且report_persistent_storage为true，将存储类参数作为维度包含在持久化存储报告中。格式为“parameter1,parameter2”。默认：未设置

Kubernetes API插件旨在作为独立部署运行，收集集群级指标。

Prometheus插件

当PROMETHEUS=true时启用此插件。它有以下选项：

• PROMETHEUS_TIMEOUT：连接超时时间。默认：3
• PROMETHEUS_ENDPOINTS：要抓取的端点列表。如果未设置，将通过Kubernetes API自动确定。语法见下文。默认：未设置
• PROMETHEUS_DETECT_METHOD：自动确定端点时，指定要扫描的资源类型，可选：pod、service。默认：pod
• PROMETHEUS_KUBERNETES_LABELS：自动确定端点时，此逗号分隔的标签列表将作为维度（按名称）包含。默认：app

如需提供静态Prometheus端点列表，可设置PROMETHEUS_ENDPOINTS。列表项以逗号分隔，每个项可指定一组维度，格式如下：

http://host-a/metrics,http://host-b/metrics|prop=value&prop2=value2,http://host-c

注意，设置PROMETHEUS_ENDPOINTS将禁用自动检测。

启用自动检测时，此插件将自动抓取agent运行节点上所有带注解的Prometheus端点。理想情况下，应与Kubernetes插件一起作为守护进程集在每个节点上运行。

cAdvisor_host插件

当CADVISOR=true时启用此插件。它有以下选项：

• CADVISOR_TIMEOUT：cAdvisor API的连接超时时间。默认：3
• CADVISOR_URL：如果设置，指定访问cAdvisor的URL。如果未设置（默认），将通过Kubernetes API自动确定cAdvisor主机。
• CADVISOR_MINIMUM_WHITELIST：为cAdvisor主机插件设置指标白名单，包括cpu.total_time_sec、mem.cache_bytes等，以减轻Monasca的负载。默认：未设置

此插件从运行的cAdvisor实例收集主机级指标。在Kubernetes环境中，cAdvisor包含在kubelet中，是获取主机级指标所必需的。与Kubernetes插件一样，必须设置AGENT_POD_NAME和AGENT_POD_NAMESPACE以自动确定URL。

cAdvisor可在[标准Docker环境][9]或直接在主机系统上运行。在这些情况下，必须通过CADVISOR_URL手动提供URL。

Monasca监控

指标管道

monasca-monitoring启用HTTP端点检查、进程插件，以及Kafka、MySQL、Zookeeper的详细指标插件。当MONASCA_MONITORING=true时启用。组件使用默认配置，用户可在docker-compose文件中通过环境变量自定义：

Kafka

• KAFKA_CONNECT_STR：Kafka连接字符串。默认：kafka:9092

Zookeeper

• ZOOKEEPER_HOST：Zookeeper主机名。默认：zookeeper
• ZOOKEEPER_PORT：客户端连接端口。默认：2181

MySQL

• MYSQL_SERVER：MySQL服务器名。默认：mysql
• MYSQL_USER、MYSQL_PASSWORD：用于指定用户名和密码。默认：root和secretmysql
• MYSQL_PORT：客户端连接端口。默认：3306

日志管道

日志管道可启用HTTP端点检查、进程和Elasticsearch插件。当MONASCA_LOG_MONITORING=true时启用。可通过环境变量调整组件配置：

Elasticsearch

• ELASTIC_URL：Elasticsearch连接字符串。默认：http://elasticsearch:9200

Monasca-statsd

要监控monasca-notification和monasca-log-api，请使用statsd。通过在这些项目中设置STATSD_HOST和STATSD_PORT环境变量启用statsd监控。

自定义插件

可通过将自定义插件配置文件挂载到/plugins.d/*.yaml来提供给容器。如果文件扩展名为.j2，将作为Jinja2模板处理，并可访问所有环境变量。

构建方法

可使用dbuild和build.yml文件构建和推送容器。

使用Docker命令从头构建容器：

bash
docker build -t youruser/agent-collector:latest .

可设置以下构建参数：

• REBULID：用于使Docker镜像缓存失效的简单方法。设置--build-arg REBUILD="$(date)"强制完全重建镜像。
• HTTP_PROXY和HTTPS_PROXY：根据环境需求设置代理。

如需基于本地未提交的工作树构建镜像，可考虑使用[git-sync][11]将本地树镜像到临时git仓库。