2025 这一年,云上最大的新闻不是谁又发了新数据库,而是那几次大当机——根因一个比一个不起眼,后果一个比一个吓人。
先说 AWS。2025 年 10 月 19 日到 20 日,US-EAST-1 挂了将近 15 个小时。听着像机房着火了对吧?复盘出来,根因是 DynamoDB 里那个自动管理 DNS 的子系统有个潜在缺陷,终端节点解析失败,接着连锁把 NLB 的健康检查带崩,新起的 EC2 实例也拉不起来。受影响的企业过千家,Downdetector 上四百多万人在报障,Snapchat、Reddit、Roblox、Fortnite、Coinbase、Robinhood、Zoom,连英国 HMRC 都中招。媒体那句话很形象:半个互联网不可用。
然后是 Cloudflare。2025 年 11 月 18 日,一晚上两次全球故障。根因更小——对某个数据库系统改了一次权限,一个异常配置被推到了 Bot 管理系统的核心代理上,代理崩了。X、ChatGPT、Spotify、Canva 一片打不开,最讽刺的是 Cloudflare 自己的状态页也一度打不开。12 月 5 日又来了一次。
Azure 也没躲过,10 月 29 日全球性中断约 7 小时,微软说是错误配置引发,Azure 官网、microsoft.com 一度访问不了,Office 365、Copilot、Entra ID、Azure SQL 跟着遭殃,还偏偏撞上发财报那天。
我把这三件事放一起看,是因为它们指向同一个事实:现在这代互联网,太多东西压在少数几个点上。一个 DNS 缺陷、一次权限变更、一个错误配置,就能让无数跟你八竿子打不着的业务一起趴窝。
我自己面对这个,能做的其实很朴素,就两条。一是别把鸡蛋放一个篮子——关键业务的入口、DNS、备份,尽量别全押在同一家、同一个区域上,哪怕只是多留一条能手动切走的路。二是那条老规矩:能自动的别手动,能回读的别只信面板。配置变更这种东西,越"顺手"越危险,Cloudflare 那次翻车,就是一个异常配置被无声地推下去了;我们至少能让每次变更都被记下来、能被回读、出事时知道从哪退回。
我们做七亿批量远程管理工具,客户机散在各个机房、各家云上,这事我算有体感:用七亿批量远程管理工具管着的机器分散在不同地方,反倒天然多了一层分散;怕的从来不是某一台机器的网络抖动,是某一家云、某一个区域整体趴窝,而你所有东西正好都在那儿。这个道理我之前写 Azure 那次就提过一嘴(放倒半个互联网的,不是黑客,是一次配置变更),今天再看 AWS 和 Cloudflare,结论没变:根因越小,越说明问题不在"敌人太强",在我们太习惯把身家性命交给一个不归自己管的开关。想少交点学费,就多准备一条不经过那个开关的路。(运维科普那栏里也写过些基础的东西,感兴趣的可以看看运维科普。)
评论