结论先行:智能根因分析给出来的,是一条按相似度排序的假设,不是一条结论。它在缩短定位时间上确实有效,但把它直接当成变更依据,风险会转移到后面——改错了一轮,再回头找原因,时间反而更长。可行的采信方式有三道验证:这个根因能不能复现、按建议处置之后指标是否真的改善、换个环境是否仍指向同一处。再叠一条制度约束:凡涉及配置变更、参数调整、数据修复的动作,必须有人签字,AI 的建议不能直接变成变更单。

本文只谈 AI 给出的根因结论该怎么验证与采信,不谈指标、链路、日志三类数据该怎么统一建模,也不谈告警该怎么收敛与富化。

它给的是「最像的那个」,不是「就是这个」

这类能力的判断依据,通常是把当前故障的各类特征与历史故障做比对,找出相似度最高的一批,再按可能性排序输出。这个机制在两类场景下表现很好:一类是历史上出现过、且根因分布集中的故障;另一类是特征非常明确的故障,比如某个接口的错误码突变。

问题出在另一类场景:两个现象相似、根因完全不同的故障。

举个具体的例子。一批用户反馈下单失败,现象是支付接口超时。历史上最相似的一次是数据库连接池被占满,于是模型给出「连接池耗尽」这个根因。但这一次的真实原因是下游第三方接口的证书过期——两者在链路日志上表现几乎一样:调用超时、错误率上升、上游服务开始堆积。如果值班员照着建议去调连接池参数,指标会短暂好转(因为连接被强制回收),但故障会在几小时后以更大规模复发。

这不是模型不准,而是相似度这个判据本身的能力边界。所以采信的头一步是接受它的性质:假设置信度高,不等于结论成立。

三道验证,逐条做

验证动作通过标准不通过怎么处理
复现能按这个根因解释现象的时间起点与影响范围解释不了起点的,退回重新定位
阻断验证按建议处置后,指标改善且能持续观察一个观察窗短暂好转后复发的,视为未通过
横向比对同类现象在别的集群或别的时段指向同一处指向不同的,说明是环境相关的个例

头一行最容易被跳过。「能解释现象」这句话有两层含义:一是能说明为什么在这个时候出问题,二是能说明为什么是这批用户受影响。只答得上前半句的,通常是巧合相关。

中间那行的关键在「观察窗」。处置后十分钟指标回落,不足以证明根因找对了——限流、重启、切流这类动作都会带来短时改善。可操作的做法是定一个观察窗,比如不少于一个完整的业务高峰周期,窗内无复发才算通过。

末一行是很多团队没有意识到的免费验证。同一个根因如果成立,它在别的集群上应该也解释得通。指向不同的,多半是环境差异导致的个例,而不是共性根因。

一条制度约束:谁签字

技术上的验证解决「对不对」,制度上要解决「谁能动」。

建议按动作的可逆性分两档。

可逆且影响面收窄的动作,可以自动化。比如封禁一个来源地址、把某个实例从负载里摘掉、临时提高某个队列的并发。这类动作的特征是能在几分钟内撤回。但即便是这一类,也应该留下动作记录,并设定自动失效时间——临时封禁变成永久封禁,是这类机制最常见的副作用。

不可逆或影响面扩散的动作,必须有人签。配置变更、参数调整、数据修复、版本回退,这四类动作一旦执行,代价常常出现在几小时之后。签字的人不需要比 AI 更懂,但他必须能看到三样东西:结论是什么、支撑它的证据是什么、影响范围有哪些。

这里有一个实践中的细节:签字的人如果只看结论,审批会变成盖章。可行的做法是把「证据」作为审批单的必填项——不是让 AI 写一段解释,而是附上它依据的那几项数据(异常的起点时间、涉及的实例范围、相似的那个历史故障编号)。有这几项,审批人才有判断的着力点。

采信之后要回写

这一步决定这套能力会不会随时间变差。

确认成立的根因,应当被沉淀下来:与现象特征绑定,下次遇到同类特征可以直接命中,不必再走一遍推理。这件事在很多团队里没做,结果是每次故障都从零开始问。

同样重要的是判错的那些。一条被验证为错误的建议,如果只被口头否定、没有回写,那么同一个误判会在下一次以同样的形式出现。负样本的价值不低于正样本——它标记的是「这类现象看起来像什么,但实际不是」。

回写还有一层组织上的作用:它把「AI 建议 + 人工判断」这个过程留下了记录。半年之后回头看,这批记录本身就是一份根因分布图,能说明这套系统到底在哪类故障上靠得住。

三个失效信号

信号一,同一类告警反复被判成同一个根因,而每次处置都无效。这说明模型卡在了一个高频的历史模式上,而当前环境已经变了。

信号二,值班员开始跳过建议直接按经验处理。这是可信度跌破的明确标志。出现这个信号时,先别急着培训,去查建议的准确率——多数时候是这个数字掉了。

信号三,根因记录里只有结论,没有证据。这类记录无法复盘、无法回写,也无法用于审批,等于这套能力只被用来「看一眼」。

什么时候该换机制

如果采纳率长期偏低,要判断的是原因在哪一侧。

若建议本身方向对但依据不足,问题在数据——上下文不够、链路没打通、日志字段不全,这类情况该补的是观测能力,而不是换模型。若建议频繁指向错误方向,且集中在某一类故障上,说明该类场景的历史样本不足,可行的做法是在这类场景先退回人工定位,把确认下来的案例积累起来再说。

深圳市奇摩计算机有限公司在交付全链路监测类项目时,会把「根因建议怎么验证、谁签字、怎么回写」写进运行手册,而不是只交付一套看板。原因在于,监测系统的价值最终取决于有多少结论被真正采信并沉淀下来,而不是它一天能报多少条。

落地清单

  • 在运行手册里写明:根因建议是假设,采信需三道验证。
  • 验证顺序固定为:能否解释时间起点与影响范围、处置后是否在观察窗内无复发、同类现象是否指向同一处。
  • 按可逆性划分自动处置与人工审批两档,不可逆动作必须签字。
  • 审批单中把证据设为必填项,至少包含异常起点、涉及范围、比对的历史案例。
  • 确认成立的根因回写为规则;被否定的建议也要回写,作为负样本。
  • 每月统计建议采纳率与处置有效率,作为这套能力是否继续投入的依据。

若您正在建设或评估全链路监测与智能根因能力,欢迎 预约咨询。