千卡集群已经会高频遇到NPU亚健康、链路丢包、散热波动；万卡级别，硬件故障是常态，不是“会不会坏”，而是多久坏一次。MoE架构（DeepSeek主流架构）对All2All集合通信极其敏感，路由不均衡、网络拥塞会快速吃掉算力利用率；一张卡、一条链路拖慢，整轮梯度同步卡住，任务就停滞，要从最近的checkpoint回滚重跑，浪费几天算力成本。英伟达生态成熟，靠多年积累的通信库、故障隔离、断点续训框架把这套流程打磨得很顺滑；昇腾这边MindCluster、CCAE集群自愈引擎正在追赶，能做到故障秒级感知、自动隔离，但万卡级长稳训练的生产级验证，案例还很少，属于正在啃的硬骨头#DeepSeek#