生产事故不可避免。测试你在压力下的沉着、结构化问题解决和从失败中学习的能力。
描述你的事故分级和升级框架。
走过响应流程:检测、分诊、止损、解决。
讨论事故期间的沟通。
覆盖事后复盘和改进。
我的故障响应分四个阶段。检测:自动告警捕获错误率、延迟或可用性异常。分诊:值班工程师5分钟内评估严重程度并开启专用事故频道。止损:优先恢复服务——回滚、特性开关、流量切换——再做根因调查。解决:稳定后用正确分析调查根因。每次SEV1/2后48小时内做无责复盘:时间线、贡献因素、行动项。一次API依赖凌晨2点宕机,我8分钟内通过启用熔断器优雅降级,15分钟内向利益方通报状态,早上前完全解决。复盘后我们增加了三个新的降级机制。
强调"先止损后调试"——恢复服务是首要任务。
提到无责复盘——学习文化很重要。
展示你在事故期间主动沟通。
聚焦系统性改进而非个人责怪的事后审查。目标是理解发生了什么、现有保障为何失效、如何防止再次发生。
先恢复服务,其次沟通,第三调试。分配明确角色:事故指挥官、沟通负责人、技术负责人。避免太多人同时排查。
通过复盘行动项:补充监控盲区、改进测试、实施熔断器、添加运维手册、进行混沌工程演练。