马斯克解密了,公布了这次 V15 渲染底层架构:
简单结论不是大家说的高斯泼溅,我们讨论的是先有3D世界,再渲染画面,FSD 这次显然不是。这次是从整套感知特征里直接生成连续视频,用的世界模型。
基于特征(latent feature)做条件生成,把感知重建、画面生成、驾驶决策做成一套,这应该是下一个阶段的端到端路线了。
去年开始特斯拉的世界模型核心用途是合成数据,做生成,老马说精度已经做的很高了。
这次相当于在车端跑一个轻量化版本的世界模型。
过去我们的SR和感知给规控,两套逻辑是分开的。
特斯拉现在把它们合二为一,就是把开车的大脑视觉显示同源,屏幕里的视图,就是模型理解到的世界,不是摄像头的实拍画面,也不是先加载地图。
这套通用的视觉编码器也就是 UVE,也在这次 V15 更新后,会共用到FSD、Robotaxi 和 Optimus。
车端这边从 UVE 特征分一条分支,单独跑一个约10亿参数扩散模型,拿上一帧Reality View画面,加噪声,再去噪,实时生成当前画面,就是我们现在看到的了。
一次输出的视频片段,36fps,分辨率匹配车机屏幕,UVE特征更新是18Hz,现在跑起来还有点延迟,主要是因为车端算力有限。
AI 5 上线后,效果会有质的变化,延迟还会更低。
#新能源汽车##大v聊车#
发布于 广东
