06-于双羽-像Google SRE 一样OnCall-Flashduty 方法与工具剖析.pdf

1、像 Google SRE 一样 OnCall-Flashduty 方法与工具剖析于双羽快猫星云，Flashduty 产品研发大纲1Google SRE 如何OnCall探讨 Google SRE 团队的OnCall 实践和方法。2借助 Flashduty 降低运维负载介绍 Flashduty 如何帮助减轻运维团队的工作负担。3借助 Flashduty 加速告警响应讲解 Flashduty 如何提高告警响应速度和效率。4Flashduty 产品路线展望 Flashduty 的未来发展方向和潜在改进。大厂 OnCall 体验比拼Google SRE 运维解密软件工程思维通过软件工程思维解决运维问题

2、，将技术创新应用于日常运维。关注研发工作长期关注研发工作，将琐事占比控制在 50%以下，保持团队创新力。琐事过多的影响团队生产力与创新力下降员工士气低落，人才流失系统可靠性与稳定性下降如何消除琐事？中断性工作（一般告警）-基于 SLO 配置告警-告警降噪，将根本原因一致的告警聚合为故障OnCall（紧急告警）-实施值班轮换，同时负责一般告警的处理-一个月 OnCall 时间不超过 25%Google OnCall 方法文化强调 OnCall 工作的平衡对 OnCall 工程师进行补贴鼓励事后总结与分享机制建立主备 OnCall 值班及时对问题进行响应（SLO）建立清晰的问题升级路线建立明确的故

3、障处置步骤工具-Outalator接收公司所有告警将告警降噪为故障对故障打标，数据分析生成故障报告无指责，对事不对人的氛围Flashduty，你的Outalator！降低运维负载对告警进行降噪建立值班机制数据分析，减少长期中断提升 OnCall 效率明确的故障升级路线故障信息丰富IM协同增强自定义操作扩展集成，一个平台处理所有告警30+常见监控工具（开箱即用）+1 套标准 HTTP 协议+邮件解析（覆盖自研监控）降噪，显著降低告警数量对相似告警进行聚合-事件=L1 告警=L2 故障-减少通知，避免告警风暴-至多降噪 99%对频发告警进行收敛-避免狼来了效应-避免频繁被打断值班，避免整个团队被中

4、断1满足各类场景日常、节假日、调班、限时、公平轮换2建立主备值班机制支持多人同时，按角色值班3分派告警到值班人不要随机分派，更不要分派到整个团队保持住流状态：如果你的目标只是做中断性工作，那么中断性工作就不再是中断。数据分析，驱动长期改进运维负载本周处理了多少告警？周告警数量处于什么趋势？TopK 告警哪些告警频繁产生？哪些主机频繁告警？SLO指标紧急告警的 MTTA 是多少？是否满足 SLO？可操作性分析团队对告警的响应比和降噪比如何？升级，正确时间通知正确的人1制定升级路线为故障制定清晰的升级路线2A：确保问题得到响应不被漏处理导致更大资损3B：从容应对紧急情况发生紧急情况不慌张，有后盾数

5、据增强，丰富故障上下文CMDB 元数据资产关系依赖映射历史变更事件70%的故障由变更导致知识库和 SOP在故障信息中展示 SOP历史故障记录参考相似故障的解决办法IM集成，随时随地处理故障1实时通知将故障的任何变化及时投递到 IM2多端操作在 IM 内查看、处理故障，操作多端同步3加强协作一键拉起作战室，关键信息回传到平台自定义操作，集成工作流API 集成以 按钮 形式集成到控制台、IM 消息卡片自动化流程集成任何自动化、SOP 流程典型场景-重启主机-回滚变更-AI 根因分析-一键拉群-发布 Status PageFlashduty 产品路线图1故障复盘报告基于模板和 AI 生成故障报告2智能故障分析智能聚合、相似故障、相关故障发现3移动端支持提供客户端app4前往 Roadmap 了解更多http:/roadmap.flashcat.cloud感谢聆听Thank you for listening