客户系统每天凌晨三点准时出错，查了一周，问题出在服务器时间上
客户的业务系统有个规矩：每天凌晨三点跑批，把前一天的数据汇总、对账、生成报表。这个跑批跑了两年多，一直挺稳，结果上个月开始，隔三差五就失败一次，报错时间还特别固定——都是凌晨三点前后。客...
分类 · IDC运维
当前分类下共有 42 篇文章。
SSH 连服务器每次都要等 30 秒，一直以为网络慢，结果是这个
有个客户反映，他们运维连服务器 SSH 特别慢：输完 ssh 命令，要等差不多半分钟才出 password 提示，但连上之后操作一切正常，一点不卡。我第一反应是网络问题。客户服务器在我们...
磁盘还剩 100G，却报 No space left on device，同事差点重装系统
上周客户报障，说他们的文件服务器传不上文件了，报错 disk quota exceeded，但又说磁盘空间应该是够的。我把 df -h 一拉，确实，/ 分区还剩 100 多 G，怎么看都...
CPU 频率只剩 0.8GHz，机器卡成 PPT，风扇倒是转得挺欢
周一早上九点出头，客户电话打过来，说那台跑 ERP 的机器"卡得没法用"，打开什么都转圈。我先没当回事，以为是老毛病——磁盘 IO。这台机器是机械盘阵列，之前就闹过 IO 慢。第一反应就...
内存被吃光，top 里却找不到凶手，最后是 smaps 揪出来的
有一阵子我们一台应用服务器每到下午就卡，free -m 一看，内存快见底了，swap 开始往里灌。奇怪的是 top 按内存排序，最高的进程也就占 1 个多 G，加起来跟总量对不上。一开始...
RAID 阵列掉了一块盘，重建到一半，另一块也开始报错
客户的机器是台老 HP，P420i 阵列卡，四块 3TB 组 RAID5。上周三早上监控邮件弹出来：阵列降级，Slot 2 的盘 SMART 报错。按流程走：确认备用盘在位，然后在线换盘...
服务器时间慢了 3 分 47 秒，证书先炸了
上周四早上九点四十，开发在群里喊：登录接口大面积报错，全是证书校验失败。我第一反应是证书过期了，登服务器 curl 了一下 https 自己，好的，证书还有 287 天才到期。那就不是证...
Too many open files：一个 1024 引发的血案
上周五下午，客户报障说他们的一套订单系统突然开始报错，接口大面积超时。我们登录服务器一看，业务日志里密密麻麻全是同一行：java.io.IOException: Too many ope...
主从复制延迟 8 万秒，我差点把锅甩给机房网络
先说结论：主从复制延迟飙到八万秒的时候，最不该怀疑的就是网络。我花了三个小时才明白这个道理，期间还差点让客户把机房运维叫起来背锅。事情是这样的。上周三下午四点，监控弹出一条告警：MySQ...
凌晨三点被报警短信吵醒，罪魁祸首是日志把盘写满了
3 点 17 分，手机在床头柜上震。我迷迷糊糊摸过来看了一眼，是机房监控的短信：「10.0.3.21 / 分区使用率 97%」。第一反应是骂了一句。昨天下午刚清过一次，怎么又满了？爬起来...