第29章：分布式故障排查与稳定性治理

1. 项目背景某金融平台的vLLM集群（16张A100，4台服务器）在运行两周后遭遇了一次诡异的集群故障：凌晨3点，8个DP实例中的3个同时停止响应，监控显示GPU显存正常、网络正常、CPU正常——但API Server返回503。运维重启了3个实例后恢复。第二天同样时间再次发生。运维在故障前15分钟的日志中发现了一条不起眼的NCCL WARNING：NCCL WARN NET/Socket : Connection refused。进一步排查发现，凌晨3点正好是数据中心网络设备的维护窗口——交换机短暂重启，NCCL的心跳连接断开后未能自动重连，导致GPU Worker进入僵死状态。表面上是vLLM故障，根因在数据中心网络。更让团队沮丧的是，这种"间歇性、跨组件"的故障在传统监控中很难捕获——网络中断了30秒，但对vLLM的影响延迟了5分钟才显现（NCCL超时重试机制）。等监控发现问题时，根因现场（网络中断）早已消失。痛点：分布式vLLM的故障域横跨API Server、Engine Core、GPU Worker、NCCL通信、模型加载、ZMQ消息总线六个层面。单层故障往往引发级联效应——Worker僵死→ZMQ超时→Engine Core堆积→API Server 503。排查分布式故障需要"从现象反推根因"的跨层诊断能力。本章将建立分布式vLLM的故障域地图，覆盖Worker崩溃、NCCL hang、显存耗尽、请求堆积四类核心故障的排查路径，并提供限流、熔断、降级、自动重启的稳定性治理策略。2. 项目设计