科大讯飞联合华为智算运维团队对集群稳定性运维进行了专项攻关,以大模型训练黄金指标体系为起点,共同打造“智算运维体系”。中国信息通信研究院认为这一“智算运维体系”的建立,填补了智算运维领域空白标准。
该套标准从底层基础设施、到算存网、再到AI工程化,全方位梳理影响集群长稳的关键指标,并通过流程优化、平台构建、快速定位和解决问题。在该套标准执行下,科大讯飞自研超大集群智能运维和调度系统,保障飞星一号集群从2023年10月上线至今,基础设施零重大故障,计算设备集群性能也从 30%提升到95%,软硬件故障均收敛,NPU月均利用率平均可达95%以上,故障自动重训率97%以上,中断损失时长30分钟以下,算力可用度98%以上,已常态化支持星火大模型的高效训练。http://t.cn/A6u2Bgju
发布于 广东
