Prometheus 监控 RabbitMQ 实战Sidecar Exporter 部署与 Kubernetes Pod 服务发现配置详解【免费下载链接】prometheusThe Prometheus monitoring system and time series database.项目地址: https://gitcode.com/GitHub_Trending/pr/prometheus本文基于 Prometheus 仓库中的官方示例 RabbitMQ 抓取指南完整讲解如何在 Kubernetes 集群中部署 RabbitMQ 与 kbudde/rabbitmq-exporter第三方导出器以 sidecar 方式与 RabbitMQ 共享 Pod 网络并通过kubernetes_sd_configs的role: pod发现机制加relabel_configs过滤让 Prometheus 自动发现并抓取 exporter 指标。读完后你将掌握一套可直接部署的 RabbitMQ exporter Pod/Service 清单一段可直接写入prometheus.yml的抓取配置以及该配置背后 meta 标签生成与目标地址构建的源码级原理。一、整体设计思路为什么让 exporter 与 RabbitMQ 同 Pod 部署该示例的出发点在于一个关键依赖RabbitMQ exporter 需要抓取 RabbitMQ 的 management API 才能导出数据而它默认连接的是 localhost。因此示例采用 sidecar 模式——把kbudde/rabbitmq-exporter容器直接嵌入 RabbitMQ 所在的 Pod 中两者共享同一网络命名空间exporter 天然可以通过localhost:15672访问 management API无需处理跨 Pod 的服务名解析、服务发现或凭据共享问题。需要注意示例文档中的一个重要事实仅仅把该 Pod 跑起来exporter 虽然已经在采集 RabbitMQ 数据但 Prometheus 此时并不知道 exporter 的存在并不会抓取它。Prometheus 的抓取目标由服务发现机制驱动因此第二步必须配置 Kubernetes 服务发现。官方配置文档中关于 Kubernetes SD 的完整说明见 configuration.md仓库内还有更多示例位于 documentation/examples 目录下。二、Kubernetes 部署清单Pod 与 Service示例目录提供了两份清单文件。2.1 rc.ymlRabbitMQ exporter 双容器apiVersion: v1 kind: ReplicationController metadata: name: rabbitmq spec: replicas: 1 selector: app: rabbitmq template: metadata: name: rabbitmq labels: app: rabbitmq # 关键后续 relabel 过滤正是基于这个标签 spec: containers: - image: rabbitmq:3.5.4-management name: rabbitmq ports: - containerPort: 5672 name: service - containerPort: 15672 name: management - image: kbudde/rabbitmq-exporter name: rabbitmq-exporter ports: - containerPort: 9090 name: exporter要点解析app: rabbitmq标签是整个方案的钩子。Pod role 发现会把 Pod 的每个标签转成__meta_kubernetes_pod_label_标签名形式的 meta 标签机制见第四节抓取配置中的relabel_configs正是用这个标签做keep过滤RabbitMQ 容器暴露 5672AMQP 服务端口和 15672management API 端口exporter 的数据来源exporter 容器仅暴露 9090 端口即 Prometheus 最终抓取指标的端点。2.2 svc.yml把 exporter 端口发布为 ServiceapiVersion: v1 kind: Service metadata: name: rabbitmq labels: name: rabbitmq spec: ports: - port: 9090 name: exporter targetPort: exporter protocol: TCP selector: app: rabbitmq该 Service 通过selector: app: rabbitmq选中 Pod并把集群内流量转发到 Pod 内名为exporter的 9090 端口。它提供了除直接抓 Pod IP之外的另一条访问路径。三、Prometheus 抓取配置pod role 发现 relabel 过滤当 Kubernetes 服务发现就绪后在prometheus.yml中加入如下scrape_configs即示例文档给出的完整配置scrape_configs: - job_name: RabbitMQ kubernetes_sd_configs: - role: pod relabel_configs: - source_labels: - __meta_kubernetes_pod_label_app regex: rabbitmq action: keep配置解读配置项取值作用kubernetes_sd_configs.rolepod对集群内每个 Pod 的每个容器端口生成一个抓取目标source_labels__meta_kubernetes_pod_label_app读取由 Pod 标签app生成的 meta 标签regex/actionrabbitmq/keep只保留apprabbitmq的 Pod其余目标全部丢弃配置生效后该 Pod 内的 RabbitMQ 容器5672、15672与 exporter 容器9090都会生成目标其中9090端口对应的目标即 RabbitMQ exporter会出现在 Prometheus 状态页/targets中。网络可达性前提由于抓取目标地址是Pod IPKubernetes overlay 网络地址运行 Prometheus 的节点必须能够访问该 overlay 网络——无论是 flannel、Weave 还是 AWS VPC CNI 等方案Prometheus 所在主机到 Pod IP 的路由必须可达否则抓取会持续超时失败。四、源码深潜role: pod是如何产出目标地址与 meta 标签的下面结合 Prometheus 源码印证上述配置的行为细节。4.1 Pod 发现器的事件驱动流程Pod role 的发现器实现在 discovery/kubernetes/pod.go。NewPod构造函数pod.go#L63-L105向 Pod 的 SharedIndexInformer 注册了 Add/Update/Delete 事件处理器事件经 workqueue 去重后由process循环取出pod.go#L189-L249最终调用buildPod构建目标组。这意味着新 Pod 创建后无需重载配置目标会自动出现Pod 被删除后目标自动消失。4.2 目标地址 Pod IP 容器端口buildPodpod.go#L366-L440的核心逻辑// If no ports are defined for the container, create an anonymous // target per container. if len(c.Ports) 0 { // We dont have a port so we just set the address label to the pod IP. ... } // Otherwise create one target for each container/port combination. for _, port : range c.Ports { ports : strconv.FormatUint(uint64(port.ContainerPort), 10) addr : net.JoinHostPort(pod.Status.PodIP, ports) ... }可以看到只要容器声明了端口Prometheus 就会为每个容器 × 每个端口的组合生成一个目标地址为PodIP:容器端口。对应到本示例rabbitmq-exporter容器声明了 9090因此会产生rabbitmq-pod-ip:9090这个抓取地址——这正是示例文档强调必须能访问 overlay 网络的原因。此外源码中还有两处防御性细节值得注意Pod IP 尚未分配时Pod 启动中直接返回空目标组若配置了node元数据落在被过滤 Node 上的 Pod 也会被跳过。4.3 relabel 所依赖的__meta_kubernetes_pod_label_app从哪来meta 标签在 discovery/kubernetes/kubernetes.go 中生成func addObjectAnnotationsAndLabels(labelSet model.LabelSet, objectMeta metav1.ObjectMeta, resource string) { for k, v : range objectMeta.Labels { ln : strutil.SanitizeLabelName(k) labelSet[model.LabelName(metaLabelPrefixresource_label_ln)] lv(v) labelSet[model.LabelName(metaLabelPrefixresource_labelpresent_ln)] presentValue } ... } func addObjectMetaLabels(labelSet model.LabelSet, objectMeta metav1.ObjectMeta, role Role) { labelSet[model.LabelName(metaLabelPrefixstring(role)_name)] lv(objectMeta.Name) addObjectAnnotationsAndLabels(labelSet, objectMeta, string(role)) }其中metaLabelPrefix为__meta_kubernetes_kubernetes.go#L54-L60。podLabelspod.go#L292-L346对每个 Pod 调用addObjectMetaLabels于是 rc.yml 中 Pod 的标签app: rabbitmq被转换成__meta_kubernetes_pod_label_apprabbitmq__meta_kubernetes_pod_labelpresent_apptrue这与 relabel 规则中的source_labels: [__meta_kubernetes_pod_label_app]精确对应keep动作使只有该标签值匹配rabbitmq的目标存活。测试用例 pod_test.go 也断言了这一标签命名约定如__meta_kubernetes_pod_label_test_label。4.4kubernetes_sd_config的其他可选字段完整字段定义见 docs/configuration/configuration.md。除role外还可以启用元数据附加选项均为布尔型、默认false且需要 Prometheus 拥有对应的 list/watch 权限node: true— 附加 Node 元数据namespace: true— 附加 Namespace 元数据对 pod、endpoints、endpointslice、service、ingress role 有效deployment: true/job: true/cronjob: true— 仅对role: pod有效分别启用__meta_kubernetes_pod_deployment_name、__meta_kubernetes_pod_job_name、__meta_kubernetes_pod_cronjob_name标签。对应实现位于 pod.go 的podLabels中它通过 ReplicaSet/Job informer 回溯 Pod 的控制器链pod.go#L304-L343。对于本示例默认配置不附加额外元数据已经足够。五、验证与注意事项验证顺序先确认 Pod 运行exporter 已在采集再配置 SD最后到 Prometheus 状态页确认RabbitMQjob 下出现rabbitmq-exporter目标且处于 UP抓取端口由于role: pod会为每个声明端口生成目标RabbitMQ 容器的 5672/15672 端口同样会产生目标但必然抓取失败。若不希望看到这些噪音目标可以按源码提供的__meta_kubernetes_pod_container_name或__meta_kubernetes_pod_container_port_numberpod.go#L260-L279 定义的容器级 meta 标签再做一层keep/drop过滤只保留 exporter 容器的 9090 目标网络前提再次强调抓取地址是 Pod IPPrometheus 所在节点必须路由可达集群 overlay 网络flannel、Weave、AWS VPC 等示例时效性rc.yml 使用的是ReplicationController与rabbitmq:3.5.4-management镜像属于较早期的部署风格在现行集群中清单结构双容器 sidecar app标签 exporter 9090 端口才是本示例真正可迁移的设计具体 workload 类型与镜像版本可按集群现状替换。参考路径示例文档与清单documentation/examples/kubernetes-rabbitmq/README.md、rc.yml、svc.ymlPod 发现实现discovery/kubernetes/pod.gometa 标签生成discovery/kubernetes/kubernetes.go发现器测试discovery/kubernetes/pod_test.goKubernetes SD 配置参考docs/configuration/configuration.md其他服务发现示例documentation/examples【免费下载链接】prometheusThe Prometheus monitoring system and time series database.项目地址: https://gitcode.com/GitHub_Trending/pr/prometheus创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考