Simon的白日梦
26-06-03 11:30 微博认证:科技博主

从一张图生成物体相互独立、还能正确交互的 3D VR 场景,这个方向终于开始从“能看”走向“能碰”了。REST3D 现在还没开源,但应该快了🥹。

REST3D,全称 Reconstructing Physically Stable 3D Scenes from a Single Image。它抓住了普通 image-to-3D 经常忽略的一点:场景看起来像,不代表在物理模拟里站得住。很多结果一加重力就会出现漂浮、穿模、支撑关系错误,视觉上像 3D,交互上一碰就散。

它的做法是先做 agentic physical scene understanding,构建 scene-tree,把物体状态和支撑关系先表达清楚;再用 image-to-3D 初始化场景,通过 scene-tree-guided alignment 和 physics-constrained optimization 去修正物理违规,同时尽量保持和原图视觉一致。

项目页里直接展示了 Isaac Gym 物理仿真和 Meta Quest Pro 的 VR 交互。和普通 3D 重建相比,REST3D 的门槛不是“像不像”,而是“能不能被重力、碰撞和手部交互真正测试”。对可交互世界生成来说,这才更接近真实世界模型的标准。

🔗 原帖:http://t.cn/AXXAijxh(X)
🌐 项目页:http://t.cn/AXXAijxz(项目页)
🎬 视频:http://t.cn/AXXAijx7(演示视频)
#HOW I AI# #ai生活指南# #3D重建#

发布于 广西