客户系统每天凌晨三点准时出错，查了一周，问题出在服务器时间上
客户的业务系统有个规矩：每天凌晨三点跑批，把前一天的数据汇总、对账、生成报表。这个跑批跑了两年多，一直挺稳，结果上个月开始，隔三差五就失败一次，报错时间还特别固定——都是凌晨三点前后。客...
分类 · IDC运维
当前分类下共有 57 篇文章。
SSH 连服务器每次都要等 30 秒，一直以为网络慢，结果是这个
有个客户反映，他们运维连服务器 SSH 特别慢：输完 ssh 命令，要等差不多半分钟才出 password 提示，但连上之后操作一切正常，一点不卡。我第一反应是网络问题。客户服务器在我们...
磁盘还剩 100G，却报 No space left on device，同事差点重装系统
上周客户报障，说他们的文件服务器传不上文件了，报错 disk quota exceeded，但又说磁盘空间应该是够的。我把 df -h 一拉，确实，/ 分区还剩 100 多 G，怎么看都...
CPU 频率只剩 0.8GHz，机器卡成 PPT，风扇倒是转得挺欢
周一早上九点出头，客户电话打过来，说那台跑 ERP 的机器"卡得没法用"，打开什么都转圈。我先没当回事，以为是老毛病——磁盘 IO。这台机器是机械盘阵列，之前就闹过 IO 慢。第一反应就...
内存被吃光，top 里却找不到凶手，最后是 smaps 揪出来的
有一阵子我们一台应用服务器每到下午就卡，free -m 一看，内存快见底了，swap 开始往里灌。奇怪的是 top 按内存排序，最高的进程也就占 1 个多 G，加起来跟总量对不上。一开始...
RAID 阵列掉了一块盘，重建到一半，另一块也开始报错
客户的机器是台老 HP，P420i 阵列卡，四块 3TB 组 RAID5。上周三早上监控邮件弹出来：阵列降级，Slot 2 的盘 SMART 报错。按流程走：确认备用盘在位，然后在线换盘...
定时任务半夜没跑，罪魁祸首是 cron 不认识 /usr/local/bin
周三早上，客户说他们每天凌晨两点的数据库备份没执行。我查了一下备份目录，昨天的文件在，前天的也在，就今天早上没有。第一反应是 cron 服务挂了。systemctl status cro...
服务器突然卡成 PPT，一查是 TIME_WAIT 堆了两万个
周四下午两点多，客户在群里喊：你们的服务器是不是不行了，页面打开要转十几秒，有的直接超时。我登录上去，第一感觉是机器还活着，负载不高，CPU 和内存都正常。但页面就是慢。我 ss -s ...
服务深夜反复重启，把 /var/log/messages 刷了 17 个 G
凌晨三点，手机连着震了五下。我眯着眼看了一眼，全是同一台机器的磁盘告警：/ 使用率 92%，94%，96%，98%，99%。五分钟一条，眼看着就要满了。这不是第一次了。上周刚处理过一台机...
MySQL 半夜被 OOM killer 干掉，内存明明还剩 30G
凌晨一点四十七，手机震了。监控发来的：MySQL 主库挂了。我爬起来登录，第一件事看进程还在不在。ps 一下，mysqld 没了。再看 mysql 的错误日志，最后几行是：2026-08...