刚刚,华为盘古大模型团队开源了 openPangu-2.0 的预训练代码、SFT 代码和后训练 RL 代码。
此前华为已经陆续开了模型结构、Flash/Pro 权重、推理代码和训推算子;
其中 Pro 是 505B 总参数、18B 激活,512K Context,预训练用了约 34T Tokens。
现在预训练 + SFT + RL 代码再补上,基本已经开始覆盖一套大模型从训练到后训练的完整链路。
遥遥领先。国产化里真的遥遥领先。
发布于 内蒙古
