刚刚发布的Genie 3世界模型,正在疯狂展示AI的超能力。它不只是能从文本中生成交互式的AI空间世界,还能操控图像和视频。
比如,你现在可以进入到世界名画中去,随意的在其中移动、观察。
这种身临其境的现场感,对于喜欢艺术的同学不要太爽。
有网友就用Genie 3进入到了Jacques Louis David的名画《苏格拉底之死》。
前谷歌XR、地图团队成员Bilawal Sidhu甚至还利用Genie 3的生成,成功训练出了3D高斯溅射(Gaussian Splat)模型。
具体的过程大概是:
Genie 3从图像(如油画)生成可互动的动态3D世界,支持实时导航和多视角渲染。
然后,进行内绘(移除UI元素)和放大处理(使用Topaz AI提升4倍超分辨率)。
最后,利用这些处理后的图像训练3D高斯溅射(Gaussian Splat)模型,实现高效的辐射场渲染和沉浸式探索。
除了高斯溅射模型,Bilawal Sidhu还尝试了通过经典的摄影测量流程处理,以提取一个带纹理的3D网格,可以将其导入到任何3D工具中。
效果虽然不如高斯溅射来的优雅,不过依然可用。
最后,Bilawal Sidhu还贴心地将两个模型的链接分享了出来,让大家都可以进去体验。
高斯溅射:http://t.cn/A6sbo5My
摄影测量技术:
http://t.cn/A6sbo5ML
