结论先行:长假前把变更冻住是常规动作,但同一段时间里很少人管监测阈值。业务量掉到平时的两成,绝对值阈值会成片上报,值班的人撑不到次日就把告警静音——真出事的时候反而看不见。可行的做法是四件事:封网前把这几天的日历写进基线、把关键链路的阈值从绝对值换成对比口径、把计划内的停服登记成带过期时间的静默规则、节后头一天补一次复盘。

本文只谈变更冻结期内监测侧的阈值与告警怎么调,不谈封网制度本身该怎么定,也不谈假期值班的排班与补偿安排。

为什么这几天告警会变得不可用

三个原因叠在一起,而且都在同一时间发生。

其一,绝对值阈值和「常态」基线同时失效。工作日早上九点到十点,登录量、下单量、接口调用量都有一条稳定的曲线。长假里这条曲线整体塌下去,可能只剩两成。用固定数值卡出来的阈值,从假期头一天上午就开始报「交易量异常下降」;用动态学习的基线,如果按前一周的数据推算,也会把这几天判成异常。

其二,计划内动作集中发生。封网不等于什么都不动。恰恰相反,很多单位把平时不敢动的活排进假期:版本上线、批处理补跑、存储扩容、网络割接。这些动作本身会带来一批本该发生的变化——服务重启、连接数归零、队列堆积后回落。在监测侧它们和故障长得一模一样。

其三,值班人手少,判断链条断得最厉害。平时一条告警有三个人能相互确认,假期可能只有一个人盯着手机。这个时候告警条数每多一成,误判的概率就往上走一截。

这几天监测的目的变了

平时监测是为了「尽快发现异常」,假期监测要同时满足三件事,而且后两件常被忽略。

  • 区分「计划内的静默」和「真的坏了」。这两件事在数据上极度相似,差别只在于前者有工单、有执行人、有预期结束时间。
  • 让值班的人拿到能直接判断的信息。不是一条「接口错误率超过阈值」,而是「这个接口背后的业务是什么、开始多久了、有没有人在改」。
  • 留下节后能复盘的记录。假期出的问题往往在节后才处理,节后要能还原:什么时候开始的、当时判断成什么、为什么没有升级。

三类信号必须分开对待

信号类型典型表现正确处理方式
计划内停服维护窗口内主动停机、批处理未跑、服务重启登记为静默规则,带明确结束时间,到期自动恢复
业务量自然下降登录量、下单量、调用量整体走低,错误率不变阈值换成对比口径(同比、同等时段环比),不报绝对值
真实劣化错误率上升、耗时拉长、下游依赖失败、资源打满正常上报,并带上受影响业务与起始时间

这张表的用法是:封网前先把能预见的计划内动作填进头一行,剩下的再按后两行分流。填不进去的动作,说明它本来就是一次变更,应该走变更流程,而不是靠「到时候看一眼」。

动态基线在长假里要做的两件事

动态基线的好处是不依赖人工设固定值,它会自己学业务在工作日、周末、节假日的不同规律。但在长假这种一年只有一两次的时段,它需要人帮两把。

其一,把日历告诉它。明确哪几天算节假日、哪几天算调休上班。不告诉它,它会把节中的低水位当成新的常态学进去,节后上班头一天的正常业务量反而被判成暴涨。

其二,把基线窗口挪开。节后头两天做异常判断时,参考窗口不要取节中那几天,而应该取节前同类型的正常工作日。窗口取错,节后一周的告警都会偏。

封网前要落实的四件事

  1. 假期日历写进基线配置。包括调休上班的那几天,否则会出现「该降不降、该报不报」的错位。
  2. 关键链路阈值换成对比口径。对交易量、成功率、单笔耗时这类指标,用同等时段环比或同比,不要用绝对值。
  3. 计划内动作登记成静默规则。每条都要有执行人、影响对象、预期结束时间,并设置过期时间——不带过期时间的静默规则,假期结束三个月后还在生效的情况并不少见。
  4. 升级路径写清值班的人。谁在最前一层、多久没响应往上走、上层是谁。假期里最怕的是告警发出去了,落在一个已经休假的人手上。

值班的人需要看到什么

一条告警至少带四样信息,缺一样这条告警的价值就减半:受影响的业务名称(不是接口名)、异常开始的时刻、是否属于计划内动作、当前有没有关联的变更记录。

告警收敛在这几天尤其重要。同一次故障会在多个层面冒头:主机资源、接口耗时、下游依赖、业务指标,一层一条。事件降噪把同一对象的同类异常合并,根因收敛再按服务拓扑把关联告警收成一条核心问题——值班的人看到的应该是「一条问题」,而不是「三十条告警各自成立」。

节后头一天要看的三个数字

  • 误报占比。假期总告警条数里,事后判定为计划内或正常波动的占多少。这个数高于一半,说明阈值口径没调,下一轮还得调。
  • 静默规则的回收情况。到期的静默有没有真的收回。没收回的条目要逐个处理,否则它们会变成下一季度的盲区。
  • 真实故障的发现时长。从异常发生到有人确认的间隔。这个数字比告警条数有意义得多。

边界与前提

三点说明。其一,文中提到的「两成」「一半」这类量级只是描述常见情形,具体比例与阈值要以本项目的实际业务曲线和 PoC 实测为准,不属于承诺值。其二,动态基线、告警收敛的具体能力边界取决于所采用的监测平台版本与配置,本文讨论的是配置与流程层面的做法。其三,封网制度的范围、静默规则是否需要审批,应按本单位变更管理制度与所属行业监管要求确定。

深圳市奇摩计算机有限公司在做这类项目时,习惯把节前配置单独列成一张清单交出去,而不是等假期里出事再回头改——顺序反过来,往往要连着补两周的告警。

如果你手上正好有一个长假前的窗口要准备,预约咨询,可以把这份清单按你的链路结构过一遍。