Jim Fan（范麟熙）和Yuke Zhu（朱玉可）带队的英伟达GEAR（Generalist Embodied Agent Research）小组，副标题《在虚拟世界和现实世界中构建具有通用能力的 Agents 》，主要的研究方向：

1. 多模态基础模型：用于规划和推理的LLMs ，视觉语言模型以及在互联网规模数据源上训练的世界模型；

2. 通用机器人：能在复杂环境中实现稳健运动和灵巧操作的机器人模型和系统；

3. 虚拟世界中的基础代理（Foundation agents）：在不同的游戏和模拟中自主探索并不断提升自身能力的大型行动模型（large action models）；

4. 模拟和合成数据：用于大规模学习的模拟基础设施和合成数据管道。

Jim Fan 介绍了以往的研究，包括：

Eureka（教五指机械手转笔的一个研究）；
Voyager（第一个玩 Minecraft 的LLM Agent）；
MineDojo（将 Minecraft 变为 AGI 研究乐园的开放式框架）；
VIMA（第一个带有机械臂的多模态LLM ）；
MimicPlay（模仿学习算法，通过结合非结构化的人类游戏数据和机器人远程操作数据来解决复杂的机器人任务）；
MimicGen（通过在模拟中使用数字孪生将高质量的人类数据扩大1000倍）；
Prismer（在GPT-4宣布之前的一个开源多模态LLM）；
ACID（一个学会与泰迪熊玩耍的机器人模型）。

链接：http://t.cn/A6Y0N74N