量子位 25-06-04 12:01
微博认证:量子位官方微博

#AI生成世界能实时运行了##李飞飞开源3D底层技术#

李飞飞创办的空间智能公司World Labs,开源了一项3D底层技术:Forge渲染器。

李飞飞称:“它能做到的事情,令人难以置信。” 【图1】

那么,Forge是什么?简单说,Forge可以让AI生成的3D世界在任何设备上、实时流畅运行,从手机到XR,都不在话下。【视频2】

这项技术的重要性,被称为是3D高斯泼溅(3D Gaussian Splatting)领域的“着色器”,对应的是传统3D渲染里基础中的基础。

具体来说,Forge有以下几大特点:【视频3】

- 支持多对象、多摄像头、实时动画编辑;

- 和主流Web图形库three.js无缝集成;

- 用极少代码即可运行,并支持可编程渲染逻辑;

- GPU级优化,能处理复杂遮挡、动画和骨骼变换;

- 可动态生成、修改每一个splat(高斯粒子),灵活做动画。

而Forge的特别之处还在于它的Dyno系统,开发者可以像搭乐高一样,把各种函数模块拼起来,控制3D世界里的每个元素,如怎么显现、怎么动、怎么变。

关键是,这一切都能实时运行,哪怕是在低功耗设备上。比如这份菜单场景的官方展示:【图4】

这也能看出World Labs公司的目标:把AI从2D世界提升到完整3D空间。未来不只是文本生成图像,还能生成、编辑和互动整个三维世界。

目前,World Labs已融资超2.3亿美元,背后金主包括a16z、英特尔、AMD等。Forge只是他们计划中的一部分工具,面向的是开发者、设计师、电影工作室等专业创作者。

感兴趣的小伙伴可以访问Forge主页:http://t.cn/A6eUHIR9