1. 从一次磁盘告警风暴说起为什么必须分清Counter和Gauge最近在排查一个线上监控告警时遇到了一个典型的“狼来了”场景。我们的Prometheus磁盘空间告警规则在某个磁盘使用率超过85%的瞬间不是触发一次告警而是像放鞭炮一样在告警平台里噼里啪啦弹出了十几条内容几乎相同、但时间戳略有差异的告警信息。运维同学被瞬间刷屏手忙脚乱反而延误了真正的处理时机。事后复盘根因并不复杂告警规则里用错了指标类型。我们错误地对一个本应是Gauge类型的磁盘使用率指标使用了针对Counter类型指标的告警函数导致在阈值被触发的短时间内Prometheus的每次抓取都被判定为一次新的“增长事件”从而连续触发告警。这个看似低级的错误恰恰点出了Prometheus监控体系中一个最基础也最核心的认知Counter和Gauge这两种根本性的数据指标类型决定了你如何理解数据、如何编写查询、如何设计告警。混淆它们轻则告警不准、视图失真重则可能基于错误的数据趋势做出完全背离事实的决策。网上很多关于“Prometheus磁盘空间告警重复”的搜索其本质大多源于此。今天我们就抛开那些复杂的函数和架构回归最本质的问题Counter和Gauge到底有什么区别我将会用一张核心对比图作为骨架然后结合大量实际监控场景比如CPU、内存、流量、错误计数深入拆解它们的行为模式、查询特性和使用禁区。无论你是刚开始搭建Prometheus的新手还是想重新夯实基础的老兵理解这个区别都是你构建可靠监控告警体系的第一个也是最重要的基石。2. 一图胜千言Counter与Gauge的核心特征对比在深入细节之前我们先通过下面这张对比图从最宏观的层面把握两者的核心差异。这张图涵盖了它们从数据本质、变化趋势到查询告警的方方面面建议你把它存下来在后续设计指标时随时参考。特征维度Counter计数器Gauge仪表盘数据本质单调递增的累计值偶尔可重置为0可增可减的瞬时值变化趋势随着时间流逝总值理论上只增不减或重置后从0重新开始任意上下波动反映当前状态典型示例HTTP请求总数、任务完成数、发送字节总数、错误发生总次数CPU使用率、内存占用、磁盘空间、当前连接数、队列长度、温度查询关注点变化速率rate, irate, increase当前值、最大值、最小值、平均值、分位数告警场景速率异常如错误率突增、QPS暴跌阈值异常如CPU80%、磁盘10%可视化常见形态折线图展示速率仪表盘、单值图、区间填充图底层存储与函数适合rate(),increase()等处理计数器重置的函数适合avg_over_time(),max_over_time(),delta()等注意Counter的“单调递增”是逻辑上的。在实践中由于进程重启、实例重新拉取等原因Counter可能会重置归零。Prometheus的rate()等函数已经内置了对此类重置的逻辑处理这是使用Counter时必须理解的关键。这张图已经揭示了80%的区别。接下来我们分别深入这两种类型的“内心世界”看看它们在实际的监控数据流中是如何表现的以及如何正确地“问”它们问题。3. Counter只关心“变化有多快”的累计器你可以把Counter想象成一个汽车上的里程表。从车子出厂开始它记录的数字就只会不断增加忽略更换仪表盘这种“重置”操作。你永远不会关心“当前这一刻里程表的绝对数值是25483公里”这个状态本身因为这对判断车辆状况毫无意义。你真正关心的是“最近一小时这辆车跑了多少公里” 或者 “上周和这周的平均时速有什么变化” —— 也就是里程变化的速率。3.1 Counter的典型应用场景与数据形态在IT监控里Counter无处不在业务指标http_requests_totalHTTP请求总数、orders_processed_total订单处理总数。系统指标node_cpu_seconds_totalCPU在各种模式下花费的总时间、node_network_receive_bytes_total网络接收总字节数。应用指标errors_total应用错误总次数、messages_published_total消息发布总数。这些指标在Prometheus中存储的原始数据就是一个个不断变大的数字。如果你直接用http_requests_total绘图会得到一条不断向上攀升、几乎永不回头的曲线这条曲线本身信息量很低。3.2 如何正确查询Counterrate(), irate() 与 increase() 详解要让Counter开口说话你必须使用PromQL中的速率函数。这是理解Counter最关键的实操步骤。1. rate(http_requests_total[5m])这是最常用、最稳健的速率计算函数。它的含义是计算指定时间范围如5分钟内该Counter的每秒平均增长率并自动处理Counter可能发生的重置归零。计算逻辑(区间结束点的值 - 区间开始点的值) / 区间秒数。如果中间发现数值比特前一个点还小说明发生了重置函数会智能地假设Counter从0开始重新累计。为何需要时间窗口由于数据抓取是离散的默认15秒一次单个数据点的差分受噪声影响大。一个5分钟的窗口大约包含20个样本点能平滑短期波动反映出更稳定的趋势。这非常适合用于告警和观察长期趋势。示例rate(http_requests_total{job“api-server”}[5m])返回的是API服务器最近5分钟的平均每秒请求数QPS。2. irate(http_requests_total[5m])irate是“瞬时速率”函数。它只使用时间窗口内最后两个数据点来计算速率。计算逻辑(最后一个样本值 - 倒数第二个样本值) / 两个样本的时间差。特点与用途irate对变化更敏感能捕捉到非常短促的流量尖峰。但正因为敏感它的图形看起来会更“毛刺”且更容易受到抓取间隔偶然波动的影响。它通常用于调试和观察快速变化的场景而不是用于稳定的告警规则。因为如果一次抓取偶然延迟irate计算出的瞬时速率可能会产生一个异常高的假象。3. increase(http_requests_total[1h])increase函数计算的是在指定时间窗口内Counter的绝对增长量而不是每秒速率。计算逻辑区间结束点的值 - 区间开始点的值同样处理了重置。用途当你关心“过去一小时发生了多少次请求”而不是“每秒多少次”时使用。例如increase(errors_total[1h]) 100可以用于告警“一小时内错误数超过100次”。实操心得对于生产环境的告警规则我几乎总是使用rate()因为它更稳定、抗干扰能力强。irate()我仅用在Grafana看图用于诊断一些突发的高频问题。记住一个原则告警用rate看图用irate需谨慎。3.3 Counter的陷阱重置与计数器大战Counter并非永远单调递增。当监控的进程重启时内存中的计数器会从0开始。这时Prometheus会看到一个新的时间序列因为pid、start_time等标签可能变了或者看到同一个序列的值突然变小。这就是“计数器重置”。幸运的是rate()和increase()函数已经优雅地处理了这种情况。它们假设在重置点Counter的值从0开始重新累计。所以即使底层计数器重启了你计算出的速率依然是正确的。但是这里有一个经典的“计数器大战”陷阱。想象一下你有一个服务有多个副本实例每个副本都有自己的http_requests_total计数器。如果你直接对所有实例的计数器求和sum(http_requests_total)然后对这个总和取rate()这在数学上是错误的。因为rate()应该在每个实例的单个时间序列上计算然后再将速率相加。正确的写法是sum(rate(http_requests_total[5m]))而不是rate(sum(http_requests_total)[5m])。 前者先计算每个实例的QPS再求和得到集群总QPS。后者先对所有实例的计数器绝对值求和再计算这个“总和计数器”的速率这在实例重启或增减时会得到错误的结果。4. Gauge反映“当前状态”的瞬时仪表如果说Counter是里程表那么Gauge就是汽车仪表盘上的速度表、油量表和水温表。它们表示的是某个特定时刻的瞬时状态。这个状态可以上升可以下降可以来回波动。你关心的是它“现在是多少”以及“它是否超过了某个安全阈值”。4.1 Gauge的典型应用场景与数据形态Gauge指标同样遍布监控的各个角落资源利用率node_memory_MemFree_bytes空闲内存、node_filesystem_free_bytes磁盘剩余空间、process_cpu_seconds_total注意这个虽然是_total结尾但进程CPU时间是Gauge因为进程终止后它会归零并消失不是永远递增。业务状态queue_messages队列中当前消息数、app_active_connections当前活跃连接数、cache_hit_ratio缓存命中率一个0-1之间的Gauge。合成指标rate(http_requests_total[5m])计算出来的QPS本身也是一个Gauge因为它表示的是“当前”的每秒请求数这个值是可变的。Gauge的值直接可读、可理解。在Grafana上你可以直接用node_memory_MemFree_bytes来展示当前空闲内存的字节数。4.2 如何正确查询与聚合Gaugeavg_over_time, max_over_time 与聚合操作对于Gauge我们通常关心它在一段时间内的统计特征或者它的当前值是否越界。1. 时间区间函数这些函数返回一个Gauge在指定时间窗口内的聚合值。avg_over_time(node_filesystem_free_bytes[1h])计算过去一小时内磁盘空闲空间的平均值。这可以用来观察磁盘消耗的长期趋势平滑掉短期的删除文件等操作带来的波动。max_over_time(node_cpu_usage[5m])计算过去五分钟内CPU使用率的峰值。这对于容量规划和发现突发负载非常有用。min_over_time(...)和quantile_over_time(...)同理。2. 瞬时值告警这是Gauge最直接的告警方式。例如node_filesystem_free_bytes{mountpoint“/”} / node_filesystem_size_bytes{mountpoint“/”} * 100 10这个表达式先计算根分区磁盘使用率这是一个Gauge然后判断其是否低于10%即空闲率小于10%如果为真则触发告警。这就是文章开头提到的那个告警规则本应该有的样子。3. 聚合操作sum, avg, max, min与Counter不同对Gauge在多个维度上进行聚合通常是有意义的并且顺序不那么严格。avg(node_memory_MemFree_bytes)计算所有节点当前空闲内存的平均值。sum(queue_messages) by (queue_name)按队列名分组汇总所有实例上每个队列的当前总消息数。4.3 Gauge使用的常见误区与优化误区一误将Gauge当作Counter取rate这是最致命的错误也是开篇告警风暴的根源。对一个像磁盘使用率这样的Gauge取rate()Prometheus会忠实地计算其“每秒的增长速率”。如果磁盘使用率从84%跳到85%rate(...[5m])会计算出一个很小的正速率。当使用率在85%附近波动时每次抓取都可能产生一个正的“速率”导致告警规则rate(disk_usage[5m]) 0错误地用于判断“是否在增长”被反复触发。永远不要对Gauge使用rate()或irate()除非你明确知道自己在计算一个“速率之速率”这通常很罕见且需要谨慎。误区二忽略Gauge的“瞬时性”带来的抖动由于Gauge反映瞬时状态它的值可能因为短暂的垃圾回收GC、一个大型文件的瞬间写入或读取而剧烈波动。直接对这样的值做阈值告警可能会导致“闪烁告警”告警在触发和恢复间快速切换。常见的做法是引入告警持续期for。例如- alert: HighCPUUsage expr: avg_over_time(node_cpu_usage[2m]) 80 for: 5m这个规则要求CPU使用率先做2分钟平均以平滑瞬时尖峰连续5分钟超过80%才触发告警有效避免了因短期抖动产生的误报。优化使用delta()函数观察Gauge的变化量虽然不对Gauge取rate但有时我们关心Gauge在一段时间内的变化量。例如“过去一小时队列长度增加了多少”这时可以使用delta()函数。delta(queue_messages[1h])会计算队列消息数在过去一小时内的净变化量结束值 - 开始值。这对于观察队列堆积或消减的速度很有帮助。它与Counter的increase()类似但应用在可增可减的Gauge上。5. 实战演练从零设计一套微服务监控指标理论说再多不如亲手设计一遍。假设我们要为一个用户订单处理微服务order-service设计Prometheus指标你会如何定义5.1 识别场景并定义指标类型场景监控服务吞吐量处理能力需求了解每秒能处理多少订单。指标设计order_service_orders_processed_total(Counter)理由订单处理总数是只增不减的累计值。我们关心的是其处理速率。关键查询总QPSsum(rate(order_service_orders_processed_total[5m]))按状态码分类的QPSsum by (status) (rate(order_service_orders_processed_total[5m]))场景监控服务当前负载繁忙程度需求了解当前正在并发处理的订单数防止过载。指标设计order_service_orders_in_flight(Gauge)理由正在处理的订单数是一个瞬时状态会随着请求到来和完成而增减。关键查询与告警当前值order_service_orders_in_flight告警负载过高order_service_orders_in_flight 100场景监控订单处理延迟性能需求了解订单处理的耗时情况特别是慢请求比例。指标设计这里通常使用Histogram或Summary类型它们是更复杂的指标类型由多个内部Counter和Gauge组成。但我们可以拆解order_service_request_duration_seconds_count(Counter): 请求总数。order_service_request_duration_seconds_sum(Counter): 请求耗时总和。order_service_request_duration_seconds_bucket{le“0.1”}(Counter): 耗时小于0.1秒的请求数。平均延迟可以通过rate(sum)/rate(count)计算出来这本身是一个Gauge。关键查询平均延迟rate(order_service_request_duration_seconds_sum[5m]) / rate(order_service_request_duration_seconds_count[5m])P99延迟利用Histogramhistogram_quantile(0.99, rate(order_service_request_duration_seconds_bucket[5m]))场景监控服务资源使用健康度需求了解服务容器的内存和CPU使用情况。指标设计通常由cAdvisor或node-exporter提供如container_memory_working_set_bytes(Gauge),container_cpu_usage_seconds_total(Counter)。关键查询与告警内存使用率container_memory_working_set_bytes / container_spec_memory_limit_bytes * 100 90CPU使用率rate(container_cpu_usage_seconds_total[5m]) * 100 80注意这里是对一个Counter取rate得到使用率百分比通过这个设计过程你可以清晰地看到业务逻辑的“计数”倾向使用Counter系统资源的“状态”倾向使用Gauge。而像延迟这种复杂度量则依赖于更高级的指标类型但其底层依然由Counter和Gauge构成。5.2 在Grafana中为不同指标类型选择合适的面板正确的可视化能事半功倍。Counter速率使用Graph折线图来展示rate(metric[5m])随时间的变化趋势。这是观察流量、错误率波动的最佳方式。Gauge当前值/阈值使用Stat单值统计或Gauge仪表盘面板来显示当前值并配上颜色阈值如绿色50%黄色50%-80%红色80%。使用Graph折线图并开启填充来展示如内存使用量、队列长度等随时间变化的区域图。对于像磁盘空间这种有明确上限的指标可以使用Bar gauge条形仪表。6. 高级话题与排坑指南6.1 Counter重置的边界情况处理虽然rate()能处理重置但在一些极端边缘情况下仍需注意。例如如果一个Counter序列因为实例永久下线而消失然后一个新实例带着相同的服务名但不同的instance标签出现这对Prometheus来说是两个完全不同的时间序列。你的sum(rate(...))查询会自动包含新的序列但历史数据会断开。在规划服务发现和标签体系时要确保标识实例的标签如instance,pod在实例重生时能保持稳定或能被合理聚合。6.2 Gauge的“窗口函数”与预测告警对于像磁盘空间这种持续变化的Gauge简单的阈值告警可能不够 proactive。我们可以利用时间区间函数进行预测性告警。- alert: DiskWillFillIn4Hours expr: predict_linear(node_filesystem_free_bytes{mountpoint“/”}[1h], 4 * 3600) 0predict_linear函数基于过去一小时的磁盘空闲空间变化趋势线性回归预测4小时后的值。如果预测值小于0即磁盘将满则提前触发告警。这比“磁盘已满95%”的告警更有行动价值。6.3 标签Label在两种指标类型中的影响标签是Prometheus的强大功能但对Counter和Gauge的使用有共同的影响高基数问题。无论哪种类型如果你为一个指标添加了一个取值非常多如用户ID、请求ID的标签都会导致Prometheus创建海量的时间序列严重消耗存储和内存。对于Counter如请求计数通常按维度状态码、接口路径、方法打标签而不是按具体请求。对于Gauge如当前连接数按资源维度节点、实例、数据库名打标签。设计标签时始终要问这个标签的取值是有限的、可枚举的吗我是否需要基于这个标签进行聚合sum by,avg by如果答案是否定的就要慎重。回到文章开头那个告警风暴的问题其解决方案现在一目了然将错误的rate(disk_usage[5m]) 0告警表达式更正为基于Gauge阈值的表达式例如disk_usage 85并合理设置for持续期以消除抖动。理解Counter和Gauge的根本区别就是避免此类问题构建清晰、准确、可行动的监控系统的第一步。这张对比图和你脑中的场景化认知将成为你使用Prometheus最可靠的导航。
