11 月 12 日,微软 365 挂了一批。先是 Outlook 和 Exchange Online 报不可用,接着 Teams、SharePoint Online、Copilot、Defender XDR 一个个跟着进来,前后大概十个小时。
第一反应都在猜"被打了流量的?"。微软最早的说法也偏这个方向。后来改口了——流量没涨,是能干活儿的后端机器变少了。
拐点:健康检查成了放大器
微软放出来的解释是:一批服务器在自动健康检查里失败,被判定不健康、退出了服务池;剩下的机器得扛全部流量,负载顶上去,更多机器跟着检查失败。
链条就这么转起来:
- 检查器误判一台 → 它下线;
- 流量压到剩下的机器 → 单机负载升高;
- 负载一高,健康检查又超时或失败 → 又下线一台。
同一个用来保命的东西,这次成了纵火犯。 健康检查本来防雪崩,前提是它的判断得独立、可靠;它自己一旦误判,就成了这个正反馈回路里最狠的那一环。
11 月 13 日凌晨一点多,微软把范围收窄到"负责建立安全连接的那个进程被打爆",同时开始回滚一个和故障起点时间对得上的网络配置变更(注意,官方没说这就是根因)。恢复阶段还冒出路由服务对后端异常高的出站调用,又拖慢了一截。
恢复比故障本身还难
这段最值得抄下来。机器重启回来,不等于能干活:一接真实流量,又被压垮。所以微软后面是"分阶段放流量 + 临时限流 + 扩 VM"一起上,不是一次性把容量放回去。
"重启就好了"是运维里最贵的一句谎话,尤其在雪崩场景下——一次性放量,就是二次故障。
顺带一个现实提醒:故障刚出,钓鱼就跟上了。微软威胁情报过了几天发通告,说有一批冒充"365 服务健康通知"的邮件,用的就是这次真实的工单号(Exchange Online 的 EX1550543),话术是"你的邮件在故障期间被扣下了,24 小时内不点链接就删"。核实过的工单号反倒成了钓鱼的信任背书,这个套路最近挺常见——服务商一出事,先收几封蹭热度的钓鱼。
能带走的几条
不算教条,是我们自己复盘时记在文档里的:
- 健康检查的判断路径要独立于被检查的系统。检查器自己也被拖慢的时候,不能把正常机器一起判死。
- 恢复是"分阶段放量 + 熔断",不是"容量回到 100%"。一次放完,第二次雪崩。
- 爆炸半径靠 headroom 和 canary 压,不靠"我们的机器很稳"这句信仰。
到发稿时正式根因还没公布,现有线索只到"一个早先的网络容量升级引入了问题";微软说初步报告两个工作日内出、终版五个工作日内出。这种"扩容/自动化引发的事故"我们写过两回:一次是伦敦一个可用区掉电,38 项服务跟着倒,一次是 AWS us-east-1 挂了 28 小时。共同点都一样——不是哪个组件太难,是耦合的那两三个地方平时没人翻出来测。
微软这次不算被打,但它提醒了另一件事:大规模可用性问题,往往出在"用来保命"和"用来扩容"的那层自动化上,不在业务代码里。 而这两样,恰恰是最少有人专门演练的。
评论