核心硬件故障
1、GPU核心故障
核心虚焊/脱焊：由于热胀冷缩或物理应力导致BGA焊点裂纹，表现为死机、无法识别或计算错误。
核心过热烧毁：因散热失效（风扇停转、液冷故障、硅脂干涸）导致核心温度超过阈值（如>90°C），引发热降频或永久性损坏。
2、显存故障 (HBM3)
物理损坏：显存芯片鼓包、裂纹（冷焊裂纹常见于GDDR6X，HBM3同样敏感），受高温、电压波动影响。
ECC错误：可纠正错误（CE）频发或不可纠正错误（UE），导致数据损坏、任务中断。Meta集群数据显示HBM3故障率高达17.2%。
信号完整性故障：数据总线（DQ）/时钟（CLK）信号因PCB走线损伤、虚焊或干扰产生抖动/毛刺。
3、供电电路故障
电源管理芯片（VRM/PWM IC）故障：电压漂移、输出不稳，导致GPU无法启动或随机重启。
MOS管烧毁：高负载（700W TDP）下电流过载导致击穿。
电容失效：滤波电容鼓包、漏液，造成供电波纹过大。
12VHPWR接口熔毁：接口插接不良、电阻增大导致局部过热熔毁（预兆包括接口变色、焦糊味）。
4、PCB与连接故障
PCB板层短路/断路：受潮、异物或机械应力导致内部线路损伤。
金手指氧化/磨损：PCIe金手指接触不良，导致设备无法识别。
元器件脱落/烧毁：电容、电阻等外围元件因过压/过流损坏。
互联与通信故障
1、NVLink/NVSwitch故障
连接不稳定：NVLink 4.0桥接器松动或信号错误，导致多卡通信中断（Meta集群占比30.1%）。
拓扑识别异常：nvidia-smi topo -m显示连接为"NODE"而非"NVx"，或 nvlink --status显示"Inactive"。
数据交换超时（DOE Timeout）：系统日志报错如 ABORT timed out。
2、PCIe通道故障
插槽接触不良：PCIe插槽灰尘、变形或引脚氧化。
链路降级：BIOS设置错误（未启用Gen4/Gen5）或信号干扰，导致运行在低速率模式。
根复合体冲突：与主板其他设备（如NVMe、网卡）共享带宽时争抢资源。
散热与环境故障
1、散热系统失效
风扇故障：停转、转速异常，导致核心/显存过热。
散热器堵塞：灰尘积聚、热管老化导致导热效率下降。
液冷系统故障：泵体停转、冷却液泄漏、冷头微通道堵塞。
2、环境适应性故障
温度波动：机房温度波动（如午间升温）导致性能吞吐量变化（Meta报告1-2%）。
电磁干扰（EMI）：附近强电磁设备（如未屏蔽风扇）干扰显存控制器。
电源波动：市电或UPS不稳，触发GPU保护性掉电。
系统与软件故障
1、驱动与固件故障
驱动冲突/版本不兼容：安装失败、NVIDIA-SMI has failed、CUDA版本匹配错误。
固件Bug/更新失败：ECC校验逻辑错误、NVLink通信协议故障。
内核兼容性问题：系统升级后未重编译驱动。
2、资源分配与任务冲突
显存未释放：任务残留进程占用显存，导致新任务无法分配资源。
多用户争抢：资源管理工具（Slurm/K8s）配置不当。
虚拟机/容器穿透故障：PCIe直通或NVIDIA Container Toolkit配置错误。
诊断与维护类故障
1、性能监控故障
工具误报：nvidia-smi、DCGM等监控工具因版本旧误报健康状态。
日志缺失：系统日志未正确记录硬件错误事件。
2、预防性维护缺失
硅脂干涸：长期未更换导致热阻增大。
灰尘累积：未定期清理加速散热恶化。
电气检查遗漏：未定期检测供电电压、电阻值。
服务器集成与架构故障
1、OAM（UBB）架构特有故障
模块解锁机构失效：无法正常滑出或锁定GPU模块。
背板供电故障：GPU托架或主板供电模块（如12V背板）不稳定，导致多卡掉卡。
2、集群规模性故障
批量故障：同一批次H100因共同设计缺陷（如某电容型号不良）集中爆发故障。
网络堆叠问题：RoCE网络与NVLink协同工作时通信超时。
英伟达GPU服务器故障常见类型
