结论先行:日志平台的接入方案,多数是按「装个采集端」起步的。但真要全覆盖就会发现,总有一批设备既装不了采集端,也没法在系统里改配置:网络设备、跑着老系统的服务器、贴着业务跑的专用终端、以及那些只有数据库连接可用的老旧系统。这批设备的日志要么走推送,要么走旁路,要么只能用插件去取。接入设计先要做的不是选平台,而是把资产按四类通道分开,再逐类确认能不能覆盖。否则平台上线那天,缺口就已经存在,只是还没人发现。

本文只谈接入方案怎么按资产类型分通道、各类通道的天花板在哪,不谈采集停掉之后怎么发现,也不谈日志留存该定多久。

四类通道,对应四类资产

行业里成熟的日志平台通常同时提供四种接入方式,它们不是备选关系,而是覆盖不同资产的手段。

通道适合什么资产能取到什么天花板
本地采集端Windows、Linux、AIX 等可安装软件的服务器与终端系统日志、应用日志、文件日志、性能指标、进程操作依赖系统的权限与稳定性,安装本身需要窗口
网络推送防火墙、入侵检测、Web 防护、交换机、路由器、堡垒机、VPN、域控、邮件服务器设备自身产生的日志与审计记录只能拿到设备愿意发的部分,格式由厂商定
专用插件数据库、全流量抓包、打卡与门禁、数据防泄露、工单系统、云平台库表变更、流量会话、人员与设备记录插件要有、版本要匹配,改一次就可能失效
既有可观测数据对接已有调用链与指标平台的系统链路、性能指标只有指标与链路,没有原始日志

四列的对比里,第三列最值得先看:这四类通道拿到的不是同一层级的东西。本地采集端能拿到原始文件,网络推送只能拿到设备整理过的摘要,专用插件拿到的是结构化的记录,可观测对接拿到的是聚合过的数字。同样叫「有日志」,可查的东西差得很远。

装不上的三类资产

其一,网络设备。交换机、防火墙、负载均衡这类设备没有通用操作系统,装不了采集端。它们只能通过推送把日志发出来:Syslog 是常见方式,部分设备支持把日志写到文件再由外部读取。这里的实际问题是——设备默认往往只记很少的内容,会话、策略命中、配置变更这些关键项通常要单独开启,而开关分散在不同的配置层级里。

这一类的失效信号很清楚:某台设备的日志量长期只有个位数每天。这个数字不是「它很安静」,是「它没在记」。设备日志量应当与它的会话数、策略命中数有一个大致对应关系,差得太远就是没开。

其二,老系统与专有系统。跑着十几年没动过的业务系统,可能用的是已经停止支持的运行环境,装不上新的采集端;也可能因为厂商限制,不允许在系统里装第三方软件。这类资产的日志通常留在本地文件里,可行的做法是从文件侧外部读取,或者从它的上游设备侧间接拿到痕迹。

间接拿到的痕迹有限,这一点要提前说清。比如从防火墙侧看到这个系统对外发了多少请求、从数据库侧看到它做了多少查询,但看不到它自己内部发生了什么。这类资产在追查时的作用是「缩小范围」,不是「还原过程」。

其三,专用终端。门禁、打卡、工控上位机、检验设备、行业专用手持机,这类设备往往有自己的系统与封闭的通讯方式。可行的取法有三种:一是设备本身支持推送或导出;二是通过厂商提供的接口按周期取;三是从它挂靠的服务器或网关侧取记录。

三种取法里,第三种最不依赖厂商配合,但粒度最粗。选择哪一种,取决于这类记录在事后追查里的用途:如果是为了回答「谁在什么时间进了哪道门」,从门禁服务器取就够;如果是为了回答「这台设备的参数被谁改过」,那就必须从设备本身取,取不到就要接受这个缺口,并把它写进记录。

覆盖率这张表怎么建

接入方案做完,应该产出一张表,而不是一份方案说明。表里至少四列。

  • 资产名称与用途:谁在用、承载什么业务
  • 接入通道:四类中的哪一类
  • 取到的内容:能查到什么、查不到什么
  • 负责人与变更通知方式:设备退役、系统重装、账号改密时通知谁

四列里,第四列最常空着。空着的后果在半年后显形:某台设备被替换,新设备的日志没接进来,旧设备的源一直挂在那里收不到数据,两件事都没人发现。

这张表的用处不止于接入验收。等到需要做合规自证、或者要回答「我们的日志有没有覆盖全部重要资产」时,能被拿出来核对的只有这张表;口头说明在这一类场合没有分量。

每类通道各自的失效方式

四类通道不是接上就完了,它们各自会以不同方式退化。知道退化长什么样,才好安排巡检。

本地采集端的退化通常与系统变更绑在一起:重装、升级、改密、换了主机名,采集端的服务就起不来了。表现为日志量归零,或者只剩系统启动那几条。

网络推送的退化与网络配置绑在一起:换了地址、改了路由、调整了访问控制,推送就到不了。表现为某一台设备的日志在某一天之后消失。这类退化最容易被误判成「设备最近没出事」。

专用插件的退化与被采集对象绑在一起:数据库版本升级、表结构变更、接口改版,插件取到的字段就变了或者取不到了。表现为数据还在进来,但某些字段是空的。

可观测对接的退化最少见,但一旦发生就是整段的:对接的地址与凭据变更,链路数据整条断掉。因为这类数据本身就有独立的平台界面,断了之后往往先在别处被发现。

四类退化的共同点是:都不会报错到人眼前。它们只表现为数据变少,而「变少」这件事在几十路源里不显眼。

接入阶段就该定的三件事

先定「必须要有的」和「有了更好」。不是所有资产的日志都同等重要。涉密数据访问、特权账号操作、对外服务的入口,这几类必须有;打印记录、外设插拔属于有了更好。分完这两档,覆盖率才有判定标准——是按关键资产算,还是按全部资产算,结论完全不同。

再定缺口怎么登记。注定拿不到的那部分,写进记录:哪台设备、为什么拿不到、只能用哪种替代手段观察。这份登记在事后追查时的价值很高,它能避免「查不到就以为没发生」这种误判。

最后定谁维护这张表。接入方案是一次性的,资产是持续变化的。没有人负责的表,半年后就过期了。

深圳市奇摩计算机有限公司在接入环节的做法

深圳市奇摩计算机有限公司在日志平台类项目里,接入设计阶段会与客户一起把资产按四类通道过一遍,把「取得到、取不全、取不到」三种情况分别标出来,取不到的写进缺口记录。这样安排的原因很实际——接入阶段是最容易拿到完整资产清单的时刻,等平台上线之后再补,清单已经变了。

这家服务商在交付时还会把「变更通知」写成一条约定:设备退役、系统重装、账号改密这三类动作,由对应责任人同步通知平台侧。这条约定堵住的是一类很普通的缺口——设备还在,源还在,数据没了。

落地清单

  • 把资产按四类通道分:可装采集端、可推送、需专用插件、只能对接既有可观测数据。
  • 网络设备先核两件事:日志开关是否打开、日志量与会话数是否匹配。
  • 老系统与专有系统接受「只能间接观察」,并把粒度限制写清楚。
  • 专用终端按用途选通道:人员与时间用服务器侧记录,参数变更必须设备侧取。
  • 接入完成产出一张表:资产、通道、取到什么、取不到什么、负责人。
  • 覆盖率分两档判定:关键资产全有,非关键资产尽力。
  • 取不到的资产登记进缺口清单,写明替代观察手段。
  • 把设备退役、系统重装、账号改密三类变更纳入通知范围。

若您正在设计日志接入方案,或想先弄清哪些资产的日志其实拿不到,欢迎 预约咨询。