从SRE的角度看LinkedIn宕机事件：教训和最佳实践

作为一个在LinkedIn工作了3年的SRE，我亲身经历了一次重大技术事故，导致LinkedIn网站瘫痪超过1小时。事故发生后，我花了很多时间反省，试图找出我们本可以采取哪些不同的措施来防止这种事件发生。在这篇文章中，我将分享我从这次经历中学到的教训和最佳实践，希望它们能帮助其他SRE避免或应对类似的技术故障。

故障的经过

事故的起因是一次应用部署，该部署并不需要回滚。然而，由于一种罕见的错误，该命令被错误地触发了。这导致了一系列级联故障，最终导致LinkedIn网站宕机。

在故障发生后的数小时内，我们团队一直在夜以继日地努力恢复服务。我们发现，导致故障的原因是一个设计缺陷，该缺陷允许在不需要时触发回滚命令。我们还发现，我们的监控系统不够完善，无法检测到这种类型的故障。

教训

从这次经历中，我吸取了几条重要的教训：

• 自动化可以是一把双刃剑。 虽然自动化可以帮助我们提高效率和减少错误，但它也可能引入新的风险。在自动化任何任务之前，务必仔细考虑潜在的风险，并采取适当的措施来减轻这些风险。
• 监控至关重要。 监控系统对于检测和诊断故障至关重要。确保您的监控系统全面，能够检测所有类型的故障，包括罕见或意想不到的故障。
• 制定应急计划。 对于任何类型的重大技术故障，制定应急计划至关重要。应急计划应包括恢复服务所需的步骤，以及与利益相关者沟通的计划。
• 沟通是关键。 在重大技术故障期间，与利益相关者保持清晰、及时的沟通非常重要。这有助于管理期望值并防止恐慌。
• 从错误中学习。 重大技术故障可能是痛苦的经历，但它们也是学习宝贵教训的机会。确保花时间反省故障，找出可以采取哪些不同的措施来防止其再次发生。

最佳实践

基于我从这次经历中学到的教训，以下是技术故障后需要考虑的一些最佳实践：

• 对自动化进行彻底的测试。 在将自动化应用于任何任务之前，对自动化进行彻底的测试非常重要。这有助于识别和解决任何潜在的缺陷。
• 使用监控工具主动监控系统。 使用监控工具主动监控系统可以帮助您及早检测到问题并防止其发展成重大故障。
• 制定和定期演练应急计划。 制定和定期演练应急计划可以帮助您在发生重大技术故障时快速有效地做出反应。
• 与利益相关者建立良好的沟通渠道。 与利益相关者建立良好的沟通渠道可以帮助您在发生重大技术故障时快速有效地提供信息。
• 从错误中吸取教训并改进流程。 重大技术故障可能是学习宝贵教训的机会。确保花时间反省故障，找出可以采取哪些不同的措施来防止其再次发生。

结论

重大技术故障可能具有破坏性，但它们也是宝贵的学习机会。通过了解这些故障，我们可以在未来采取措施来防止或应对它们。我鼓励所有SRE从这次经历中吸取教训，并采取适当的措施来加强自己的系统和流程。通过共同努力，我们可以帮助提高技术系统的可靠性和可用性。