Google DeepMind 推出 SIMA(Scalable Instructable Multiworld Agent) :一个在广泛的 3D 虚拟环境和视频游戏中遵循自然语言指令的通用 AI Agent。
Google DeepMind 在训练 AI 玩游戏的领域有着悠久的历史,现在他们将重点从单个游戏转向通用的、可指导的游戏 AI Agent。
谷歌与8家游戏工作室合作,在无人深空、 拆迁(Teardown)、英灵神殿等9款游戏上训练 SIMA。
这些游戏提供了广泛的独特技能供其学习,从驾驶宇宙飞船到制作头盔。
SIMA 包括一个专为精确图像-语言映射而设计的模型,以及一个能够预测屏幕上接下来会发生什么的视频模型,并根据 SIMA 产品组合中特定 3D 设置的训练数据对这些模型进行了微调。
SIMA 不需要访问游戏的源代码,也不需要定制的API,只需要两个输入:3D环境提供的图像和用户给出的自然语言指令。
通过鼠标和键盘输出,这是人类使用的交互界面,这意味着SIMA可以潜在地与任何虚拟环境进行交互。
它可以评估 600 项技能,涵盖导航和对象交互等领域,例如“向左转”或“砍倒树”。 SIMA 目前可执行在大约10秒内完成的简单任务。
Google DeepMind 表示,在多种游戏上接受过训练的 SIMA 智能体的表现明显优于仅在一个游戏上接受过训练的 SIMA 智能体。
当它面对未见过的环境时,它的表现几乎与专业 Agent 一样——凸显了它泛化到新空间的能力。
与 Google DeepMind 之前的工作不同,SIMA 并不是为了获得高游戏分数。
它是关于开发可以将抽象语言转化为有用动作的具身人工智能 Agent 。使用视频游戏作为沙盒提供了一种安全、可访问的测试方法。
SIMA 研究面向更通用的人工智能,可以在虚拟和物理环境中理解并安全地执行指令。
