结论先行:日志平台的季度巡检不是看仪表盘,而是四件要动手的事:解析规则有没有跟着日志源变化、采集覆盖有没有掉、存储分层有没有失衡、行为基线的误报率有没有升。四件事都查完,才能得出一个可用的结论。只报「各项指标正常」的巡检,等于没做。

本文只谈日志平台上线之后每年那几次巡检具体查什么、怎么判断查得有效,不谈巡检报告该怎么写,也不谈变更窗口内告警静默怎么处理。

为什么巡检会退化成「看一眼仪表盘」

原因很现实:仪表盘上的东西最好取。CPU、内存、磁盘、入库速率、检索响应,这些数字导得出来,填进模板就是一页。而上面四件事都需要打开配置逐条比对,做起来慢,做完了也不好看。

于是巡检报告变成了一份运行状态快照,甲方看完仍然不知道这套平台比上季度好在哪里、差在哪里。更麻烦的是,平台退化通常是静默发生的:解析规则失效不会报警,采集掉一台也不会报警,等到有人查不到日志才发现。

其一:解析规则有没有跟着日志源变

平台的解析规则是按日志源写的,日志源一升级,格式就可能变。变了之后的表现不是报错,而是字段抽不出来——日志还在入库,只是某个字段变成空的。

查法很具体:挑出过去一个季度里改动过的日志源,逐个比对解析后字段的填充率。填充率明显下降的那个,就是规则没跟上。数据治理层通常内置了大量通用解析规则,但规则多不等于都命中,命中率要实际算。

其二:采集覆盖有没有掉

资产在变,采集清单不会自动跟着变。新增的服务器没人接、下线的机器还在清单里、某台设备的采集端因为系统升级停了,这三类都会让覆盖率下降。

判断方式是把平台里实际有数据上报的资产,与资产台账逐台对齐。两边差出来的部分,要么补采,要么写清为什么不采。这一栏留着不填,下一个季度就会变成「某类日志一直查不到」的投诉。

其三:存储分层有没有失衡

冷热分层的设计默认按时间与访问频率分布,实际使用中这两个前提经常被打破。某个业务上线之后查询集中在三个月前,热数据区被挤满;或者某个报表任务每天扫全量,冷数据反复被唤醒。两种情况都会让存储成本上升、查询变慢。

查法看两个比例:热数据区实际占用与设计容量的比,以及冷数据的查询占比。前者超过设计容量要扩,后者明显偏高说明访问模式变了,分层策略该调。索引压缩与冷热比是这套设计的核心参数,参数不动而数据分布变了,等于设计失效。

其四:行为基线的误报率有没有升

基于历史行为建模的检测能力,误报率会随着业务变化悄悄上升:组织架构调整、岗位职责变化、系统上线,都会让原来的基线不再代表「正常」。误报一多,处理的人就开始忽略告警,这条检测线实际上就废了。

查法是把一个季度里按该规则产生的告警抽一批出来,人工判断其中有多少是误报。误报比例超过一定程度的规则,要么重训基线,要么直接下掉——挂着不处理的规则比没有规则更糟,因为它会持续消耗信任。

项怎么查什么算该处理
解析规则改动过的日志源,逐项比字段填充率填充率明显下降
采集覆盖有数据的资产与台账逐台对齐差额没有写原因
存储分层热区占用比例、冷数据查询占比占用超设计值,或访问模式已变
基线误报抽样判断告警真假误报比例偏高且未处置

每次巡检要留三样东西

  • 其一,改了什么。这一季调整过的规则、容量、阈值,逐条记。下次巡检先做的一件事是回头看这些改动有没有带来副作用。
  • 其二,结论是什么。不是「运行正常」,而是「哪一项在退化、原因是什么、下次要看什么」。结论要能被下一次巡检接上。
  • 其三,下次要复核哪几项。把这一季没结论的事挂到下一季,形成连续记录。一份连续四次的巡检记录,比任何单次报告都有说服力。

三个能判断巡检有没有真做的信号

其一,能不能说出这一季哪条解析规则失效过。说不出,说明只看了状态页。

其二,采集清单与资产台账的差额有没有解释。差额存在但没解释,覆盖率这一项等于没查。

其三,有没有下掉过规则。连续几次巡检一条规则都没调整过,要么是这套检测已经极其稳定,要么是根本没人看它。前者少见。

深圳市奇摩计算机有限公司在这类服务里做的是服务端的持续运维:平台的季度巡检是年度运维服务里的固定动作,与日常的告警响应分开计。做这件事的前提是平台侧配置可读可改,只做监控不碰配置的角色做不了巡检——这一点在服务范围划分时就要写清。

边界与前提

其一,四项内容的深度取决于服务等级。只做远程监控的服务,通常覆盖前两项;包含配置调整与规则优化的服务,才能做到四项。

其二,误报率的抽样判断需要业务背景,纯技术视角容易把「不常见但真实」的行为判成误报,抽样时最好有安全或业务方参与。

其三,文中提到的规则数量、容量比例为通用参考,具体以平台实际配置与项目实测为准。

落地清单

  • 把巡检从「看状态」改成四项动手检查:解析、覆盖、存储、基线。
  • 每季挑改动过的日志源,比字段填充率。
  • 采集清单与资产台账逐台对齐,差额写原因。
  • 盯热区占用与冷数据查询两个比例,参数要跟着数据分布调。
  • 抽样核基线误报,该重训的重训,该下掉的下掉。
  • 每次留三样:改了什么、结论是什么、下次核什么。

一套日志平台买回来那天,还不是它能用的时候;能不能用下去,取决于后面每个季度有没有人真的动过它。如果你正在定这类巡检的范围,预约咨询,我们按四项给你出一份可执行的检查表。