量子位
26-01-08 19:09 微博认证:量子位官方微博

#国产具身智能基座模型拿下全球第二##开源模型真实世界真机测评#
国产具身智能基座模型,再次突破!

RoboChallenge真机评测榜单上,来自自变量机器人的端到端具身智能基础模型WALL-OSS,以总分54.69、成功率35.33%的成绩,超越美国具身智能明星公司Physical Intelligence的pi0(π0),排名全球第二。

在叠洗碗巾、挂口杯、按按钮、浇盆栽、移物入盒、开瓶器进抽屉等多个单任务中,WALL-OSS均拿下单项第一。

要知道,这可不是一场普通的测试。

RoboChallenge由Dexmal原力灵机联合Hugging Face发起,是首个在真实物理环境中,由真实机器人执行操作的大规模、多任务基准测试。

与LLM测评不同,具身模型测评更像是一场“开卷考”,任务描述和场景环境都是提前公开的。

参赛方无需提交模型权重,只需提供可驱动机器人的算法;最终,平台通过统一的真机执行,以动作视频和任务完成率作为评分依据。

格外关键的是,WALL-OSS是一个开源模型。

相较于闭源模型的测评结果存在较大操作空间(其性能可能源于对第三方模型的微调、接口层的特殊适配,或者存在黑箱内的未公开优化),模型本身的原生能力不容易被外界验证,开源模型的成绩建立在完全透明的代码与参数之上,其能力可被任何研究者复现、检验和深入研究。

而且,WALL-OSS的开源程度也相当彻底:不仅开放了预训练模型权重、完整训练代码和数据集接口,甚至还提供了详尽的部署文档。仅需RTX 4090级别的消费级显卡,就可以完成从训练到推理部署的完整流程。

另外,当前榜单前三名,包括pi0、pi0.5,也都是来自开源体系。

具身智能的前沿发展,正在由开源模型共同推动向前。

下面先具体来看WALL-OSS在测试中的实际表现。
http://t.cn/AXbWYC6g