[CL]《Ring-Zero: Scaling Zero RL to a Trillion Parameters for Emergent Reasoning》X Tang, Q Cao, Y Liu, Y Zhan… [Renmin University of China & Ant Group] (2026)

在超大规模语言模型领域，如何通过纯强化学习（Zero RL）激发万亿参数模型的涌现推理能力是一个悬而未决的难题。过去的方法受困于计算资源瓶颈，大多局限于小规模模型，本质原因是缺乏能支撑万亿级参数稳定训练的算法优化与系统架构。

本文的核心洞见是：把万亿参数模型的推理诱导看作一个从“发现”到“磨砺”的渐进过程。由此，通过引入带剪切的重要性采样、训练-推理比率修正以及混合精度控制等关键操作，不仅解决了系统层面的数值不稳定性，更使模型在无人类标注数据的情况下，自发实现了从原始搜索到结构化推理的认知跳跃。

这项工作真正留下的遗产是验证了推理能力的“苦涩教训”：当规模达到万亿级别，模型会自发涌现出拟人化思考、自我验证和并行推理等高级认知策略，令传统的人工启发式设计显得多余。它为后来者打开的新门是万亿级推理模型的高效训练范式，但尚未跨过的门槛是如何在单一强化学习框架下完美兼顾推理深度与推理成本的动态平衡。

arxiv.org/abs/2607.12395 #机器学习# #人工智能# #论文# #AI创造营#