结论先行:故障一旦升级到服务商那边,很多甲方单位会进入一种被动等待的状态——等对方排查、等对方给时间点。这个窗口其实不是空窗。同一段时间里,甲方侧有四件事必须并行:指定一个对接人、把影响面翻译成业务语言、留下原始证据、以及压住「先自己动手试试」的冲动。这四件事和服务商的止损同时进行,决定的是后面定责清不清楚、恢复快不快。

本文只谈甲方在故障发生后头两小时的组织动作,不谈服务商内部的排障流程与技术支持分级,也不谈赔偿与合同责任。

为什么这两小时特别关键

行业里通行的客诉处理节奏是:前两小时做信息采集与安抚,前四小时与采集并行做紧急止损。这两个动作在服务商侧是并行的,但在甲方侧常常只发生了一半——信息被采集了,安抚也接受了,但没有人替甲方自己整理一份现场记录。

等到业务恢复、双方坐下来复盘,问题就出来了:故障起始时间各说各的、影响范围说不清、谁在什么时候改过什么没人确认。这时候再回头补证据,能补到的往往只是聊天记录里的只言片语。

动作一:指定一个对接人,只留一条通道

故障通报通常是往群里一发,然后所有人都开始问。技术问进展、业务问什么时候好、领导问原因,三条线并行,服务商那边接到的是三种口径的追问,回复也就散了。

可行的做法是立刻定一个人——通常是值班主管或运维负责人——由他统一对外,其余人只向他问。这个人手上要有一张纸(或一个文档),记录四栏:时间、现象、谁做的判断、下一步计划在谁那里。

这一条听起来是管理动作,实际收益很直接:服务商那边的技术负责人只需要对一个人说话,重复解释的成本消失了,腾出来的时间就是排障时间。

动作二:把影响面翻译成业务语言

技术侧描述故障的习惯是「某台数据库连接数满了」「某个接口超时」。这个描述对排障有用,对决策没用。领导要判断的是要不要停业务、要不要发公告、要不要通知客户,他需要的是业务语言。

一个可用的翻译方式是三句话:哪些业务完全不可用、哪些业务能用但变慢、哪些业务看起来正常但数据可能不准。第三类最容易被漏掉,也最容易在事后变成投诉——用户以为提交成功了,其实没有。

这三句话最好在故障发生后半小时内就给出初版,哪怕后面要修订。初版的价值不在于准确,而在于它让业务侧能同时开始准备替代方案,而不是等技术结论。

动作三:留原始证据,而不是留结论

留证这件事的常见错误是留结论——截图配一句「数据库挂了」。半年后翻出来,这个截图说明不了什么。

有效的留证是留原始层:报错原文、告警触发的时间点、当时的配置快照、操作日志的时间区间。不必整理成报告,先原样存下来,标注采集时间。整理是复盘阶段的事。

有一类证据特别值得留:故障前最后一次变更的时间和内容。多数故障都能追到一次变更上,而变更记录往往散在工单、聊天、邮件三个地方。如果能在头两小时就把这条记录捞出来,复盘会省掉大量争论。

动作四:压住「先自己动手试试」

这是四条里最难执行的一条。现场的人看着系统不通,最容易做的事就是重启、回滚、改配置——而且往往能立刻见效,业务恢复了,皆大欢喜。

问题在于,这一动手把现场改掉了。等复盘要查根因,日志已经被重启刷过、配置已经回退、内存里的现场没了。于是结论只能停在「可能是某个服务卡住了」,同样的故障过几个月再来一次。

可行的约定不是「一律不准动」,而是「动之前先留」。要重启,先导一份日志;要回滚,先存一份当前配置;要改参数,先记下改之前的值。三个动作加起来不到五分钟,换来的是事后能查。

这条约定最好在平时就写进协同规则里,而不是等故障时现场讨论。人在着急的时候不会接受新规则,只会按习惯做事。

两个容易做反的地方

其一是在群里公开定责。故障初期信息最少,判断最容易错。这时候如果在有业务方、有领导、甚至有客户在的群里说「这次是某某的问题」,无论事后证明对错,都会让后面的协同变形——被点的一方开始自我保护,信息就不再流通了。定责是复盘阶段的事,前两小时只谈现象和下一步。

其二是频繁要时间点。「什么时候能好」这个问题,在根因未明时任何答案都是猜的。更有效的问法是「下一个判断节点在什么时候」——比如半小时后是继续排查还是启动降级方案。前者要的是一个承诺,后者要的是一个节奏,服务商更愿意给后者,也更容易给准。

落地清单

  • 值班表上明确故障期间的对外对接人,写名字不写岗位。
  • 准备一张故障记录模板:时间、现象、判断、责任人、下一步节点。
  • 约定影响面用三句话表述:完全不可用、降级可用、看似正常但可能不准。
  • 留证清单固定四项:报错原文、告警时间点、配置快照、变更记录。
  • 把「动之前先留」写进协同规则,日常演练一次,别等故障时才提。
  • 故障期间群里不谈定责,复盘会上再谈。

边界与前提

三点说明。其一,文中所述的处理节奏为行业典型情形的一般梳理,不指涉任何具体事件或具体企业,各家实际流程须以自身应急预案与服务合同为准。其二,是否自行处置取决于故障性质与授权范围,涉及生产数据的操作应严格按变更流程执行,本文的「先留再动」不构成对任何操作的建议。其三,两小时与四小时这两个时间节点来自常见的服务分级约定,实际时限以合同中的响应条款为准。

深圳市奇摩计算机有限公司作为一家 IT 解决方案服务商,在运维服务中会与客户一起把故障期的对接人、留证清单与信息口径提前约定好,避免事发时才临时商量。预约咨询,可以把现有的应急协同规则过一遍。