H100 GPU在AI训练和推理中通常需要长时间运行。如果使用过程中出现异常，很多人第一反应都是“是不是GPU坏了？”
其实，H100出现故障之前，往往会先出现一些比较明显的现象。
GPU突然识别不到
服务器原本可以正常使用H100，但某张GPU突然消失，或者重启之后无法正常识别。
这种情况可能涉及驱动、服务器连接、电源、运行环境，也可能是GPU硬件问题，需要结合实际情况判断。
训练过程中突然掉卡
模型训练跑了很长时间，突然因为GPU异常导致任务中断，是比较影响业务的一类问题。
如果只是偶发，可以先检查运行环境；如果同一张GPU频繁掉卡，就需要进一步排查原因。
多张GPU之间通信异常
多GPU服务器需要依靠高速互联进行通信。如果训练过程中出现通信异常、任务中断或者性能明显下降，需要关注GPU之间的通信链路以及相关硬件。
ECC、Xid错误反复出现
服务器日志出现GPU相关错误时，不建议直接判断“GPU坏了”。
这些错误可以作为排查依据，但最终还是需要结合故障现象、日志和GPU状态综合判断。
高负载运行后频繁异常
有些GPU开机时看起来一切正常，但运行训练、推理任务一段时间后才出现问题。
如果这种情况反复发生，就需要进一步检查GPU、服务器以及运行环境。
对于H100故障，比较重要的一点是：
不要只看一次报错，也不要只靠重启解决问题。
如果同一张GPU持续出现掉卡、无法识别、通信异常等情况，就应该进一步进行专业检测。
捷智算提供H100、H200、H800等高端GPU维修服务，可针对GPU模组、主板、NVSwitch等相关硬件进行检测与维修。
