我们的一个客户报告了一个由于磁盘已满导致生产环境宕机的事件

… 我们的一个客户报告了一个由于磁盘已满导致生产环境宕机的事件。我们获取了该虚拟机的副本并进行了检查。调查发现，根目录（/）已满是因为 /var/log 已满，而我们计划每天运行一次的 'logrotate' 定时任务单元从未运行过，或者只运行过一次……我记不太清到底是哪一种了。进一步调查发现，这个虚拟机与另一个具有正常运行的 logrotate 定时任务单元的虚拟机在软件负载或配置方面没有任何差异。在这个站点的数百个相同虚拟机中（以及在其他客户的站点中更是有成倍的数量），只有这一个虚拟机受到了影响。我们建议客户清理 /var/log 并重启系统，但这并没有让 'logrotate' 恢复正常，我们所能找到的任何诊断或修复方法都无法让它恢复正常。一旦 "systemd-crond" 决定永远不再安排这个任务，它就坚持这个决定。…