贾凡-失落的大蒜
26-09-28 12:42 微博认证:科技博主

刚刚,华为盘古大模型团队开源了 openPangu-2.0 的预训练代码、SFT 代码和后训练 RL 代码。

此前华为已经陆续开了模型结构、Flash/Pro 权重、推理代码和训推算子;

其中 Pro 是 505B 总参数、18B 激活,512K Context,预训练用了约 34T Tokens。

现在预训练 + SFT + RL 代码再补上,基本已经开始覆盖一套大模型从训练到后训练的完整链路。

遥遥领先。国产化里真的遥遥领先。

发布于 内蒙古