产线系统半夜宕机，我们怎么让它分钟级拉起：Linux生产环境灾备笔记

去年冬天，一家客户的 MES 服务器在半夜崩了。不是程序出错，是那台跑了三年的老服务器主板烧了。排产系统停摆，第二天上午车间等了半天才恢复。事后他们问摩杰斯，这种事能不能不靠运气。后来我们帮他们把生产环境重新搭了一遍，核心就一句话：别把命压在一台机器上。

一、先分清热备和冷备各管什么

热备解决的是"马上能用"：两台服务器实时同步，一台倒了另一台秒级接管，业务不掉。冷备解决的是"丢了能找回来"：每天定时把数据完整拷一份到异地，真出了硬件报废这种大事，至少能把数据捞回来重搭。两者不是二选一，是各管一段。很多工厂只做了冷备，结果切换要几小时，热备才是停机的真正对手。

二、把切换演练当成例行动作

双机热备最怕的是"平时不切、出事切不动"。我们给这家厂定了个规矩：每季度挑一个周末，真把主服务器关掉，看备用机能不能正常接管、数据齐不齐。头两次演练都暴露了配置漏项，要是真出事那天才发现，就不是停半天的事了。演练这种事，省不掉。

三、监控要盯到"能报警"而不是"能看"

服务器不是亮着灯就健康。我们给生产环境加了基础监控，磁盘满了、内存撑爆、服务进程掉了，能在出问题前就告警，而不是等车间打电话来说系统打不开。告警接的是值班手机，不是邮箱。等发现再处理，和提前十分钟处理，差别就是停不停产。

四、生产系统要和业务系统分开养

这家厂以前把 MES、数据库、还有别的小工具全堆在一台机器上，一台倒全部倒。我们后来把生产数据库单独放在高可用集群里，应用层分开部署。生产系统牵扯到车间每一道工序，值得单独养、重点保，不能跟边缘工具挤一个篮子。

五、把这些写进上线清单

我们给工厂做 MES 落地时，会把双机热备、定时冷备、监控告警、切换演练直接写进上线清单，系统交付时这几样是标配，不是出了事再补。产线一旦跑起来，系统多停一小时就是实打实的产量损失，灾备方案得跟系统一起交。

总结：

Linux 生产环境灾备，说穿了就是别赌单机不死、别赌备份能救、别赌出事能切。双机热备管切换、冷备管兜底、演练管可信、监控管提前量，四样都齐，生产系统才敢说稳。摩杰斯在给工厂做生产管理数字化时，这套动作几乎是每家都要补课的部分，提前规划比停机后救火划算太多。昆山、苏州一带的工厂如果生产系统灾备心里没底，可以找摩杰斯一起补课。

相关阅读：《工厂 IT 服务总览》把这几类问题都归了类；同一主题下还有《系统为什么跑在 Linux 上》、《服务器负载飙高的排查顺序》。