Linux执行df查看磁盘使用率爆满但du统计所有目录文件占用空间很小核心故障根源是存在大量已rm删除、但业务进程仍持有句柄的文件可以通过lsof | grep deleted查看占用删除文件的进程重启对应业务进程或者截断文件释放磁盘空间。一、现场踩坑完整故障背景前段时间一台后端日志存储服务器告警磁盘使用率超过90%登录服务器执行df -h查看/分区已占用94%随时可能磁盘写满业务崩溃。第一时间执行du -sh /*逐层排查目录大小/var/log、/data等业务目录总占用加起来不足总磁盘容量的40%剩余一半磁盘空间凭空消失反复查找大文件、查找扩容快照均无结果。翻阅Linux磁盘与文件句柄机制文档后找到排查思路rm删除文件仅移除目录项若打开该文件的进程持续运行不退出内核不会释放文件占用的磁盘块。随后执行lsof | grep deleted查出数十个被删除的超大日志文件均被Java应用、Nginx进程持续占用重启对应进程后磁盘空间瞬间释放df使用率直接回落至40%左右。下面完整拆解底层原理、分步排查流程、临时应急方案与长期规范。1.1 df与du统计逻辑差异、删除文件不释放空间底层原理du命令统计逻辑仅遍历当前目录树中存在的有效文件只计算能在磁盘目录中检索到的文件大小已经被rm删除、仅进程持有句柄的文件目录项已经消失du完全不会统计这部分占用。df命令统计逻辑直接读取磁盘分区块设备总占用统计内核层面所有正在占用的磁盘块包含目录中可见文件 已删除但句柄未释放的隐藏文件所以df显示占用远高于du汇总数值。文件句柄释放规则Linux内核中一个文件的磁盘空间会在两个条件全部满足后回收1、所有目录下该文件的硬链接全部删除2、所有打开该文件的进程全部关闭文件句柄进程重启/退出会自动释放句柄。高频触发场景运维直接rm -f 超大日志文件清理磁盘但Nginx、Java、MySQL等服务未重启进程持续往已删除文件内追加日志磁盘空间无法释放。1.2 本次故障直接触发诱因服务器磁盘容量告警后运维直接rm删除几个十几GB的日志文件未重启写入日志的业务进程Nginx、后端Java服务后台持续运行仍然持有已删除日志文件的读写句柄内核持续保留对应磁盘块du仅检索现存目录文件无法统计句柄占用的已删除文件导致目录总占用和df磁盘占用差值巨大未配置日志轮转logrotate自动截断清理只能手动rm删除日志极易出现该类磁盘空间不释放问题。二、标准分步排查流程定位句柄占用文件执行df -h 确认磁盘分区使用率、挂载点锁定爆满的分区执行du -sh /* 汇总根目录所有目录总占用对比df数值确认存在大量隐藏占用文件执行lsof | grep deleted 筛选所有已删除、但进程持有句柄的文件输出内容包含进程PID、进程名称、文件大小、文件路径根据lsof输出的PID确认对应业务服务区分Nginx、Java、数据库等进程临时处理不重启进程前提下使用/truncate/ 原文件路径截断文件立刻释放磁盘空间长期根治正常重启对应业务进程自动释放所有文件句柄处理完成后再次执行df -h确认磁盘使用率回落空间成功释放。三、分层解决方案临时应急不重启进程、长期标准化日志清理方案3.1 现场临时应急方案业务不能重启快速释放磁盘通过lsof | grep deleted 找到占用大空间的已删除文件完整路径使用输出重定向截断文件示例 /var/log/nginx/access.log该操作不会关闭进程句柄但会清空文件磁盘块瞬间释放空间批量处理场景编写简单循环脚本批量截断所有被删除的日志文件临时释放空间后择业务低峰期重启对应服务彻底释放句柄避免后续磁盘再次爆满。3.2 企业长期标准化根治优化方案全线服务器配置logrotate日志自动轮转工具按文件大小/时间自动切割、压缩、删除老旧日志logrotate内置文件截断逻辑不会产生句柄占用残留禁止运维直接使用rm命令清理正在被业务写入的活跃日志文件如需清理优先使用截断操作监控告警新增lsof deleted文件数量监控定时检测系统中已删除未释放句柄的文件数量超标提前推送告警避免磁盘突然爆满容器化业务统一使用容器日志驱动日志输出至stdout由宿主机日志收集工具统一管理减少宿主机本地大日志文件制定运维磁盘清理规范清理业务活跃日志后必须重启对应服务或截断文件同步记录操作台账防止遗忘句柄占用问题。四、高频故障排错清单现场实操各类磁盘空间异常场景故障现象根因分析标准解决方案df显示磁盘占用95%du统计全部目录仅占用40%容量差值巨大大量日志文件rm删除后业务进程仍持有文件句柄内核不回收磁盘块lsof | grep deleted 查找占用进程截断文件或重启服务释放空间lsof查询不到deleted文件但df和du占用差距依然很大存在挂载点嵌套覆盖、挂载临时文件系统遮挡原目录文件du无法读取底层文件临时卸载临时挂载目录重新执行du统计底层真实文件占用截断文件后磁盘空间立刻释放过几小时磁盘又快速涨满业务进程持续往日志文件追加数据仅截断未重启进程文件会持续增大业务低峰重启服务彻底释放句柄同时配置logrotate自动轮转日志服务器重启后df磁盘占用直接恢复正常空间全部释放服务器重启会杀死所有进程全部文件句柄强制释放内核回收所有空闲磁盘块紧急故障可临时重启服务器生产业务优先截断文件避免停机logrotate配置完成但删除日志后依旧存在句柄占用问题logrotate未配置copytruncate参数采用直接删除旧日志方式进程句柄不释放logrotate配置中添加copytruncate轮转时复制日志后截断原文件不直接删除五、运维高频误区避坑现场踩坑复盘总结1.误区rm删除文件后磁盘空间会立刻释放df数值会同步下降纠正rm仅删除目录入口只要有进程打开该文件磁盘块会持续占用df占用不会下降必须释放文件句柄才能回收空间。2.误区磁盘占用异常只需要逐层du查找大目录就能定位所有占用文件纠正du只能读取当前目录树存在的文件已删除仅句柄占用的文件du完全无法统计出现df/du差值必须使用lsof排查deleted文件。3.误区业务不能重启无法释放已删除文件占用的磁盘空间纠正使用 文件路径 截断操作无需重启进程直接清空文件磁盘占用临时快速释放磁盘空间适合业务不允许停机的紧急场景。4.误区日志清理直接rm删除最省事不需要配置logrotate工具纠正手动rm清理活跃日志极易产生句柄占用、磁盘不释放故障logrotate自动轮转搭配copytruncate参数从根源避免该类问题是生产标准规范。5.误区lsof看不到deleted文件就代表不存在隐藏磁盘占用纠正除了句柄占用文件挂载点嵌套、裸设备数据、数据库回滚日志、内核临时文件也会造成df/du占用差值lsof无输出时需要排查挂载覆盖场景。
