Meta超级实验室「Meta Superintelligence Labs，MSL」发了新论文！

如果你不断让大语言模型回答「把它改进一下」，会发生什么？

上周，MSL的三位成员上传了一篇ArXiv论文，探索了如何利用强化学习（RL）高效地微调大语言模型。

在推理时，LLM这次实现了迭代自我改进。

传送门：http://t.cn/AXPnIUsB

训练具备迭代自我改进能力的模型，代价不菲。

最直接的做法是训练模型执行K步自我改进，但这会让每个训练回合的轨迹步数（rollout步数）膨胀为原来的K倍。

他们提出了一种新的方法——探索迭代（Exploratory Iteration，ExIt）。

这是一个基于RL的自动课程学习方法。

通过「回收利用」大语言模型先前回合中生成的回答，新方法把这些回答作为新的起点，用于自我改进（self-improvement）或自我发散（self-divergence），从而逐步扩展和多样化训练分布。

DeepSeek的强化学习微调方法GRPO，性能强大，而且与之前的PPO方法相比减少了资源需求。

与PPO不同，GRPO不使用学习到的价值函数来计算基线项，而是使用一组G条蒙特卡洛轨迹，估计每个初始提示m的基线。

在此过程中，「可学习性分数」在训练过程中自然产生。

在决定下一个训练任务时，ExIt的课程机制会优先抽取那些在GRPO表现出更高回报方差的部分历史。

通过这种自举任务空间的自动课程，模型学会多步自我改进，但训练仅需单步任务。

为了抵消强化学习减少输出多样性的倾向，研究者直接纳入了寻求多样性的组件：发散改进（self-divergence）。

以概率p_div，自我迭代步成为自我发散步。

在这一步中，策略被提示在先前解决方案的基础上进行改进，同时显著偏离它（见下列提示）。

他们发现：

发散步能够从模型中诱导出有意义的不同响应，当整合到ExIt策略中时，可以增加任务空间的覆盖范围。