梁赛 26-01-29 22:19
微博认证:AI博主

重磅发布!华为昇思MindSpore 2.8:像写串行代码一样做分布式大模型训练。

昇思MindSpore 2.8版本正式亮相,其中最引人注目的是全新的HyperParallel架构。面对当前大模型规模激增、结构越来越不规则、硬件日益异构的三大挑战,MindSpore这次选择与“超节点”协同设计,将其视同一台超级计算机进行整体调度,核心依靠HyperShard、HyperOffload、HyperMPMD三大技术支撑。

尤其值得关注的是HyperShard声明式并行,它试图彻底改变分布式训练的编程模式。传统方法中,开发者常需为适配分布式系统而大量修改代码,而HyperShard将并行策略与模型逻辑解耦,让用户能够以“单卡视角”编写代码,系统自动完成策略推导、图切分与资源调度,实现“编写即单卡,运行即分布式”的体验。这大大降低了分布式训练的门槛,让开发者更能聚焦于模型创新本身。

此外,新版本在动态图能力、大模型推理适配以及科学计算套件上也有显著增强。总体来看,MindSpore 2.8通过软硬件协同与架构革新,正推动AI框架向更灵活、更高效、更易编程的方向演进,为应对下一代超大规模模型训练提供了重要基础设施。

发布于 广东