[LG]《Rubric Dropout: A Simple Way to Mitigate Reward Hacking in Rubric-as-Reward RL》M Yang, X Guo, U Tyagi, M Zhang… [Scale AI & University of Arizona] (2026)
在用语言模型进行强化学习对齐的领域,奖励作弊是一个悬而未决的难题。过去用固定评分准则作为奖励的方法,受困于模型分数虚高、真实能力下降的现象,本质原因是静态的奖励代理为模型提供了稳定的可供利用的漏洞。
本文的核心洞见是:把评分准则列表重新看作一个神经网络层。由此,借鉴“神经元丢弃”(Dropout)的思路,在训练时随机丢弃部分准则这一关键操作,使奖励目标不再固定,问题得以解开。
这项工作真正留下的遗产是“目标随机化”这一缓解奖励作弊的范式。它为后来者打开的新门是,将此思想应用于更广泛的强化学习对齐任务,但尚未跨过的门槛是其作用机制与正则化效果的区分,以及单次实验结果的局限性。
arxiv.org/abs/2608.11669 #机器学习# #人工智能# #论文# #AI创造营#
发布于 北京
