六和岛轻创汇
26-11-19 07:49 微博认证:六和岛轻创汇官方微博

摩尔线程适配2.8万亿参数模型
🎯 国产卡跑通了万亿参数模型的训练。
📊 摩尔线程11月17日披露:基于MTT S5000智算卡和MUSA软件栈,完成了月之暗面Kimi K3.1 Pro(2.8万亿参数)的训练适配。
双机16卡裁剪配置连跑400步,训练损失从8.93收敛到2.18。
打通的是FSDP2多模态训练链路。
💡 我的判断是,这件事的分量不在"能跑",在"跑得住"。
国产卡过去被诟病最多的不是算力,是稳定性:跑几十步就掉卡、loss炸掉、软件栈对不上。能连跑400步且loss正常收敛,说明工程这一层补上了。
但要说清楚:400步是裁剪配置,不是全量训练。从验证到主力生产,中间还有距离。
真正的门槛从来不是硬件参数,是生态。CUDA那套工具链积累了十几年,换栈的成本比换卡贵得多。
为什么这件事值得看?因为国产算力过去只能做推理,训练这块基本没进场。训练对稳定性、互联带宽、软件栈的要求,比推理高一个量级。
还有一个信号:适配的模型是2.8万亿参数的多模态大模型。参数越大,对显存和互联的压力越大,能跑通说明硬件这一层的短板补得不慢。

发布于 江苏