AI 一站式水论文（bushi）的研究来了。

日本人工智能公司 Sakana AI 与与牛津大学的 Foerster Lab for AI Research 以及英属哥伦比亚大学的 Jeff Clune 和 Cong Lu 合作，共同发布了新论文——人工智能科学家（The AI Scientist）：实现全自动开放式科学发现。

- 提出并运行了一个完全由人工智能驱动的自动化科学发现系统，并将其应用于机器学习研究。
- 从提出新颖的研究想法、编写必要的代码、执行实验，到总结实验结果、将其可视化，再到在完整的科学手稿中展示其研究成果，人工智能科学家可自动完成整个研究生命周期。
- 还引入了自动同行评审流程，以评估生成的论文、撰写反馈意见并进一步改进结果。它能够以接近人类的准确度评估生成的论文。
- 自动科学发现过程重复进行，以开放式的方式迭代开发想法，并将其添加到不断增长的知识档案中，从而模仿人类科学界。
- 在首次展示中，《人工智能科学家》对机器学习研究中的不同子领域进行了研究，发现了热门领域的新贡献，如扩散模型、transformers 和 rokking。

人工智能科学家 "旨在提高计算效率。每个想法都会被实现并发展成一篇完整的论文，每篇论文的成本约为 15 美元。

该方法目前的缺点：

-人工智能科学家目前不具备任何视觉功能，因此无法修复论文中的视觉问题或读取图表。例如，生成的曲线图有时无法阅读，表格有时会超出页面宽度，页面布局也往往不够理想。添加多模态基础模型可以解决这些问题。
- 人工智能科学家可能会错误地实施自己的想法，或与基线进行不公平的比较，从而导致误导性的结果。
- 人工智能科学家在撰写和评估结果时偶尔会出现关键性错误。例如，它很难比较两个数字的大小，这是LLMs的一个已知病理。为了部分解决这个问题，我们确保所有实验结果都是可重现的，并存储所有执行的文件。

论文：http://t.cn/A68gaCyW
博客：http://t.cn/A68gaCyp
Github：http://t.cn/A68gaCyO