告警从 200 条降到 5 条,我只干了一件事:关掉没用的告警
上个月接手一套跑了三年的老系统,第一周我差点被告警逼疯。手机平均每五分钟响一次,凌晨两点到五点最密集,全是同一批东西在反复报。有一回我半夜爬起来看,发现一条磁盘告警从下午四点就开始刷,每...
当前分类下共有 5 篇文章。
上个月接手一套跑了三年的老系统,第一周我差点被告警逼疯。手机平均每五分钟响一次,凌晨两点到五点最密集,全是同一批东西在反复报。有一回我半夜爬起来看,发现一条磁盘告警从下午四点就开始刷,每...
前两天跟一个做机房运维的朋友喝酒,他说了句话让我记到现在:机房里最贵的设备不是那几百万的存储阵列,是那个半夜两点接到电话还能心平气和爬起来的人。他说这话是有原因的。他们机房去年进了几台新...
上个月组里有个同事离职,交接文档写了三页 Word,其中两页是目录和标题。人走了之后,他负责的那套 CI 部署流程出了个问题,我们三个人对着他留下的"文档"研究了一下午,最后是靠翻聊天记...
凌晨两点四十,手机响。我接起来之前还在做梦,梦里正吃泡面。「库被清了,你们备份有吧?」客户声音很急。有,我当时是这么想的。这套托管服务卖的时候就带备份,客户还加钱买了异地同步,合同里白纸...
昨天跟一个刚入行的师弟吃饭,他问我:哥,你们老师傅是不是看到监控全绿就特别安心?我愣了一下,说:恰恰相反。看到监控全绿,我第一反应是去查是不是采集端挂了。他明显没听懂。我给他讲了三个事。...