很多人觉得机房巡检就是拿着表去转一圈,看看灯亮不亮,拍几张照片,回来填个表,纯走过场。我以前也这么想,直到有一次巡检真捡回一条命。

那是去年夏天,机房例行巡检,我负责 B 区。按流程走,看温度、看湿度、看设备指示灯,一切正常。走到 B12 机柜的时候,我闻到一股淡淡的糊味,说不清是塑料还是电路板烧了的味道。

我停下来仔细闻了闻,又凑近机柜门缝闻了一下,味道就是从这台机器里出来的。我打开柜门,用手背贴了一下电源模块,烫得我赶紧缩手——不是正常发热那种烫,是那种明显过热的烫。

我把这台上架的应用查了一下,是个不重要的缓存服务,二话不说先关机断电。拆开一看,电源模块的电容已经鼓包了,旁边还有一小片焦黑的痕迹。再晚几天,可能就是冒烟甚至起火。

后来设备厂商的人来看,说这个电源模块确实到寿命了,鼓包是老化,能闻到糊味说明内部已经在轻微烧蚀。要不是巡检时那一下,机柜里一堆设备,真烧起来,一个柜子的业务全得完。

这事之后,我对巡检的态度完全变了。以前巡检,我都是走到机柜前,看一眼指示灯,记录一下温湿度,然后走人。现在我学会了:

第一,用鼻子。烧焦味、塑料味、臭氧味(电器打火会有),都是设备在向你求救。这个没法用传感器替代,只能靠人走一圈。

第二,用手背摸。电源模块、交换机散热口,手背贴一下,如果明显烫得受不了,那就是过热预警。为什么用手背?手指对烫更敏感,容易误判,手背耐热一些,也方便快速缩手。

第三,看灰尘。机柜进风口积灰严重的话,散热效率直线下降,夏天最容易出问题。看到灰多的,顺手记下来,安排清灰。

还有一次,巡检时发现一台交换机的一个风扇不转。指示灯正常,业务正常,但风扇就是停着。我记了工单,第二天换了风扇。这种问题如果不巡检,可能一直没人发现,等到夏天温度一上来,交换机过热重启,那才是大事。

其实巡检的价值,不在那本填满的表格里,而在你每次多看一眼、多闻一下、多摸一下的那些瞬间。设备不会说话,但它会发热、会发臭、会发出异响。你巡得细一点,它就能多活一阵子。

现在我带新人巡检,都会跟他们说:别光看灯,灯是给监控看的;你要看的,是监控看不到的东西。