集微网官方微博
26-11-17 22:23 微博认证:集成电路社区集微网官方微博

【#打通万亿多模态训练链路!摩尔线程完成Kimi K3.1 Pro训练适配#】

近日,月之暗面开源2.8万亿参数旗舰模型Kimi K3.1 Pro。#摩尔线程 sh688795[股票]# 基于旗舰级AI训推一体智算卡MTT S5000与MUSA软件栈,完成该模型的训练适配,构建了原生FSDP2多模态训练路径,打通了从模型加载、分片调度到梯度同步的完整训练链路。
摩尔线程是国内极少数具备万卡规模集群训练能力的GPU企业。大模型训练对底层算子完备度、显存管理与分布式通信的要求极为严苛,是检验国产GPU全栈实力的试金石。依托全功能GPU(Universal GPU)与MUSA软件生态的协同积累,摩尔线程已构建起成熟的工程化体系,具备对前沿复杂大模型从“快速推理部署”到“全链路稳定训练”的支撑能力。
http://t.cn/AXTwmhaG