晚点LatePost
26-05-20 09:34 微博认证:晚点LatePost 官方微博

#拆解世界模型#【与 GEAR 高深远聊世界模型、自进化循环和 DreamDojo】过去一年,“世界模型” 成了 AI 圈最热、也最容易被滥用的概念之一。

它边界很宽:视频生成模型可以被称为世界模型,因为它似乎学到了物理规律;自动驾驶领域也需要世界模型,因为要预测道路环境的变化;机器人研究者也在谈论世界模型,因为机器人需要在开展行动前先预测后果。

本期《晚点聊》,我们试图把这个概念拆清楚。

对谈嘉宾是高深远,一位刚从港科大博士毕业、即将正式加入英伟达具身智能实验室 GEAR 的年轻研究者。他从 2024 年以来持续研究世界模型,早期做自动驾驶方向,后来在英伟达 GEAR 参与 DreamDojo 和 DreamZero 等工作,是 DreamDojo 的联合一作。

DreamDojo 是一个服务于 Physical AI 的世界模型;DreamZero 则是一个可能替代 VLA(视觉-语言-动作模型,visual-language-action model) 的新的机器人策略,被称为世界动作模型(WAM,world action model)。

本期前半段,我们梳理了世界模型的大图景,以及 Google DeepMind、NVIDIA、World Labs 等主要团队的各自思路。

后半段,我们进入 GEAR 的具体实践。高深远认为,世界模型的核心价值不只是生成真实视频,而是构造一个自进化闭环:世界模型(DreamDojo)预测世界,policy(DreamZero)产生动作,Agent 负责规划和评估。 http://t.cn/AXiFOHx9

发布于 北京