爱可可-爱生活
26-08-17 05:49 微博认证:AI博主 2025微博新锐新知博主

[LG]《Rubric Dropout: A Simple Way to Mitigate Reward Hacking in Rubric-as-Reward RL》M Yang, X Guo, U Tyagi, M Zhang… [Scale AI & University of Arizona] (2026)

在用语言模型进行强化学习对齐的领域,奖励作弊是一个悬而未决的难题。过去用固定评分准则作为奖励的方法,受困于模型分数虚高、真实能力下降的现象,本质原因是静态的奖励代理为模型提供了稳定的可供利用的漏洞。

本文的核心洞见是:把评分准则列表重新看作一个神经网络层。由此,借鉴“神经元丢弃”(Dropout)的思路,在训练时随机丢弃部分准则这一关键操作,使奖励目标不再固定,问题得以解开。

这项工作真正留下的遗产是“目标随机化”这一缓解奖励作弊的范式。它为后来者打开的新门是,将此思想应用于更广泛的强化学习对齐任务,但尚未跨过的门槛是其作用机制与正则化效果的区分,以及单次实验结果的局限性。

arxiv.org/abs/2608.11669 #机器学习# #人工智能# #论文# #AI创造营#

发布于 北京