【何恺明团队新作:给大模型加上“视觉记忆”,AGI基准测试从40分升到100分】
同一个大模型,仅仅换了一套“看世界”和“记东西”的方式,成绩就能相差 60 分。
近日,MIT 电气工程与计算机科学系副教授、Google DeepMind 杰出科学家何恺明团队发表论文《VISTA:面向交互世界推理的视觉框架》。研究团队没有训练新的基础模型,而是在现有多模态模型外增加了一套视觉交互与记忆框架。
结果显示,接入 VISTA 后,模型在 ARC-AGI-3 的 25 个公开游戏中分数显著提升。Claude Opus 5 的得分从 40.68 分直接提升至 100 分,GPT-5.6 Sol 则从 13.33 分提升至 99 分,两个模型最终都顺利完成了全部公开关卡。
作为一套面向多模态 #Agent# 的视觉交互框架,VISTA 主要解决两个看似基础、却长期影响 Agent 表现的问题:模型如何直接观察视觉环境,以及在长周期的连续交互中,如何保存并重新调用过去的信息。
ARC-AGI-3 是今年 3 月推出的一套 AGI 基准测试,由 ARC Prize 基金会主导,延续了 Keras 创始人 François Chollet 提出的 ARC 系列思路,主要考察模型面对陌生任务时的适应和推理能力。
戳链接查看详情:http://t.cn/AXW1fKiU
