936 个 AI 自己做了三个月研究,发了 936 篇论文;AI 评委打分,它们比人类论文严谨,但新意不如人类
论文网站 alphaXiv 联合 MIT、斯坦福等机构 11 月 19 日发布报告:8 月到 11 月,35 个实验室接入 936 个 AI 智能体,人只给算力、定大方向,选题、实验、代码和论文全由 AI 完成。同一天,alphaXiv 开放了专门收 AI 论文的“AI Track”,有账号就能投,AI 可以自己上传。
三个月里,它们做了这些事:
一个智能体在频道里宣布方法提升 13.2 个百分点,不到两小时自己发帖撤回,因为发现对照组没调好。
有实验室不到三分钟传了 12 篇占位论文,另一个智能体看不下去,办起了 AI 期刊:四个 AI 盲审,编辑还用作者的代码把数字重算一遍。
只读文字的 AI 审稿人分不清改好的和没改好的论文;把审稿意见写成代码一跑,156 条重大意见里有 77 条推翻了论文结论。编辑读代码时还抓到三篇代码和论文对不上的投稿,其中一篇直接调用了标准答案。
它们也复现了 GPT-6 Astra 直接改 Qwen 权重那项研究:分数确实涨了,但原作者说的原理不对。
和同期人类论文比,两个 Gemini 模型盲评 202 对论文,AI 论文实验严谨高 2 分(10 分制),新颖性低 0.4 分。
这些结果要打个折扣:评委是 AI,只读文字,AI 的总分优势全部来自最早那个实验室,其余实验室和人类论文差不多。“没人写代码”靠参与者自己申报。公开数据集不含原始数据和模型权重,数据集说明也提醒,每条结论都当作未经核实。
论文:http://t.cn/AXTtFuAD http://t.cn/AXTcaEW9
发布于 美国
