李飞飞丈夫、Salesforce 首席科学家 Silvio Savarese：数字与物理 AI 的相似性远超你的想象

无论是在工厂车间协调机械臂，还是编排多步骤的客户服务响应，所有 AI agents 都需要四个基本组件：

用于存储和检索信息的 Memory，
进行推理和规划的 Brain，
执行行动的 Actuators，
以及感知环境的 Senses。

关键区别在于数字 agents 通过 API 和软件接口运作，而物理 agents 则通过马达和传感器交互。但智能层——即规划、适应和学习的能力——保持一致。

AI 的下一个前沿领域不仅仅是理解和生成语言——它关乎在物理领域中的理解与行动。首先是世界模型：这些 AI 系统理解物理现实如何运作。它们可以被视为大型语言模型的三维物理等价物（LLMs）。与其捕捉词语与文本元素之间的关系不同，它们捕捉的是三维物理物体与其周围环境元素之间的关系——它们如何移动、互动以及占据空间。

“世界行动模型”（WAMs）——不仅理解物理空间，还能在其中实现互动与导航的系统。WAM 现在正学习理解物理定律和现实世界的互动。这些现实世界的交互需要对物理动力学、几何关系和物体恒常性有更深入的理解。

链接：http://t.cn/A6163Wv4