蚂蚁百灵开源 Ling-3.0 Base 模型，同步开放 6 个训练关键节点 checkpoint

8 月 20 日，蚂蚁百灵正式开源 Ling-3.0-tiny-base 与 Ling-3.0-flash-base。除最终 Base checkpoint 外，团队还同步开放两款模型的预训练和中期训练权重，共计 6 个 checkpoints。

此次开放覆盖三个训练阶段：预训练 checkpoint 已完成大规模预训练，尚未进行中期训练、WSM 合并和后训练；中期训练 checkpoint 已完成中期训练，尚未进行 WSM 合并和后训练；最终 Base checkpoint 已基于中期训练完成 WSM 合并，尚未进行后训练。开发者可根据自身数据与研究目标选择不同训练起点。

WSM（Warmup-Stable and Merge）是一种面向大模型预训练的学习率方案，以多个 checkpoints 加权合并代替传统学习率衰减，使模型更适合持续预训练和动态扩展数据。

参数方面，Ling-3.0-tiny-base 总参数 7.9B、激活参数 1.3B，适合代码领域训练、预算敏感的强化学习研究及模型行为研究；Ling-3.0-flash-base 总参数 124B、激活参数 5.1B，可用于代码、复杂推理、长上下文及专业领域模型的继续训练。两款模型采用统一训练方案，开发者可先在 tiny 上低成本验证训练策略，再扩展至 flash。

此前，Ling-3.0-flash 于 7 月 24 日发布、8 月 7 日开源；Ling-3.0-tiny 于 8 月 11 日开源。

模型已上线 Hugging Face 与 ModelScope。官方提醒，Base Model 未完成指令对齐，不建议未经后训练直接部署为面向终端用户的聊天服务。#极客头条#