飞机先生_
26-11-22 20:29 微博认证:深圳市新出行科技有限公司 主编

马斯克解密了,公布了这次 V15 渲染底层架构:

简单结论不是大家说的高斯泼溅,我们讨论的是先有3D世界,再渲染画面,FSD 这次显然不是。这次是从整套感知特征里直接生成连续视频,用的世界模型。

基于特征(latent feature)做条件生成,把感知重建、画面生成、驾驶决策做成一套,这应该是下一个阶段的端到端路线了。

去年开始特斯拉的世界模型核心用途是合成数据,做生成,老马说精度已经做的很高了。

这次相当于在车端跑一个轻量化版本的世界模型。

过去我们的SR和感知给规控,两套逻辑是分开的。

特斯拉现在把它们合二为一,就是把开车的大脑视觉显示同源,屏幕里的视图,就是模型理解到的世界,不是摄像头的实拍画面,也不是先加载地图。

这套通用的视觉编码器也就是 UVE,也在这次 V15 更新后,会共用到FSD、Robotaxi 和 Optimus。

车端这边从 UVE 特征分一条分支,单独跑一个约10亿参数扩散模型,拿上一帧Reality View画面,加噪声,再去噪,实时生成当前画面,就是我们现在看到的了。

一次输出的视频片段,36fps,分辨率匹配车机屏幕,UVE特征更新是18Hz,现在跑起来还有点延迟,主要是因为车端算力有限。

AI 5 上线后,效果会有质的变化,延迟还会更低。

#新能源汽车##大v聊车#

发布于 广东