故障响应 Runbook

分级

等级定义响应目标
P0生产核心流程不可用,严重影响客户业务立即响应
P1重要功能异常,有替代方案但影响明显30 分钟内响应
P2局部问题或低频异常1 个工作日内响应

响应流程

  1. 确认故障现象。
  2. 判定级别。
  3. 指定 incident owner。
  4. 建立沟通频道。
  5. 收集日志、指标、最近变更。
  6. 决定修复、降级或回滚。
  7. 持续同步客户。
  8. 恢复后完成复盘。

信息收集

  • 发生时间:
  • 影响范围:
  • 受影响用户:
  • 最近变更:
  • 错误日志:
  • 指标异常:
  • 临时绕行方案:

客户沟通模板

我们已确认问题,当前等级为 [P0/P1/P2]。
影响范围:[影响范围]
当前动作:[排查/修复/回滚]
下一次同步时间:[时间]
负责人:[姓名]

恢复后复盘

  • 根因是什么?
  • 哪个监控应该更早发现?
  • 哪个 runbook 步骤需要更新?
  • 是否需要新增自动化或告警?
  • 是否需要客户侧培训?

相关链接