Marin实验室正在实时公布他们训练Marin 535B-A23B模型的全过程
可以在这里围观：http://t.cn/AXpic3UF

负责人Percy Liang介绍：
“Marin 535B-A23B 本周开始训练！和往常一样，整个过程公开透明。
航程计划：在 11 台 GB200 NVL72 上，使用 18.75T 词元进行预训练 (80%) + 中期训练 (20%)，持续约 3 个月（2.7e24 FLOPs）。训练后将进行后续训练。
在正式运行之前，我们训练了一个 4 级缩放阶梯，从 1.6B-A61M（48B 词元）到 27.7B-A1.2B（926B 词元），以调试问题，并对我们的主运行做出预测。这是我们迄今为止最大规模的运行，所以绝对要做好应对意外的准备。
”