大模型生成的文字往往充斥着套路感(AI slop),Meta AI团队近期提出的RL-XAR方法尝试从评判机制上破局。他们发现现有LLM裁判容易产生误判,常给机器生成的平庸文本打出虚高分数;RL-XAR则引入高水平人类文本,通过元优化迭代出能拉大真正人机差距的动态量规,专门约束冗余堆砌与表面修辞,以此作为强化学习的奖励信号。在论文段落撰写与名作小说续写等测试中,经过该方法训练的27B开源模型在指标上压过了一众前沿旗舰模型,专家盲测胜率逼近九成。 facebookresearch.github.io /RAM/blogs/unslop/
发布于 北京
