i冰宇宙
26-11-22 19:43 微博认证:微博2018十大影响力数码大V 数码博主 头条文章作者

关于马斯克最新公布的特斯拉 AI 世界模型,你需要知道的 10 件事

马斯克今天连续发布了多条技术推文,披露了特斯拉 AI 世界模型、自动驾驶算法以及下一代 AI5 芯片的许多核心细节。

1. 特斯拉早在 2025 年就已经拥有像素级世界模型。

马斯克透露,特斯拉去年就已经建立了一套他称之为接近像素级完美的世界模型(World Model)。

它能够学习真实世界的视觉规律,并生成高度逼真的模拟画面。

这项技术最重要的用途之一就是合成数据(Synthetic Data Generation)。

比如,现实中很难收集到一万次暴雨天气下的紧急避险场景,但如果世界模型足够准确,AI 就有机会在虚拟环境中反复生成类似情况,用来训练自动驾驶。

2. 真正的技术核心之一,是 UVE 通用视觉编码器。

它的全称是 Universal Vision Encoder。

简单理解,UVE 负责把连续的摄像头画面压缩成 AI 能够理解的视觉特征。

这些特征包含场景中的物体、空间关系和运动变化等信息。

关键是,它处理的是连续的视觉信息,而不只是孤立的一张照片。

这样 AI 才有机会理解一辆汽车正在向哪个方向移动,行人下一步可能走向哪里。

3. 驾驶决策模型拥有约 30 亿参数,并与生成模型共享视觉特征。

马斯克透露,UVE 提取的视觉特征会送入一个约 30 亿参数的模型,由它输出具体驾驶动作。

有意思的地方在于,车载画面生成系统也使用同一套 UVE 特征。

也就是说,特斯拉让负责开车的 AI 和负责生成画面的 AI,共享底层的视觉理解结果。

这样可以减少重复处理,也有利于不同模型之间保持对场景理解的一致性。

4. 车载系统还引入了一种叫 Conditional Mean Flow 的生成模型。

这是马斯克透露的一个很值得注意的技术细节。

Mean Flow 属于生成模型技术路线,其目标之一是高效地完成从噪声或初始状态到目标数据的生成过程。

Conditional 则意味着生成过程会受到外部信息约束。

特斯拉使用最近一段时间的 UVE 视觉特征作为条件,让生成系统知道当前道路环境发生了什么变化。

马斯克表示,车载使用的是完整世界模型的一个小得多的版本。

这也是特斯拉希望在有限车载算力下实现实时生成的重要方向。

5. 他们还使用了一个约 10 亿参数的扩散模型,而且采用了连续画面生成技术。

这是我认为非常巧妙的地方。

马斯克透露,系统会把上一轮生成的 Reality View 画面加入噪声,再交给约 10 亿参数的扩散模型进行去噪,生成当前的可视化画面。

可以简单理解成:

AI 已经画好了一幅道路画面,下一刻它参考刚刚画好的内容,再结合最新的视觉信息,把画面更新成新的状态。

这样能够利用前后画面的连续性,避免每一帧都完全从零开始生成。

这也是实时生成视频需要解决的关键问题之一。

6. 它能够以 36 FPS 生成画面,而且每次生成 8 帧。

马斯克给出了非常具体的数据:

每次生成一个包含 8 帧图像的视频片段,目标显示帧率为 36 FPS,分辨率与车机 UI 屏幕一致。

系统以 18Hz 的频率获取 UVE 特征,并将生成工作分摊到 4 个计算周期中。

这意味着它采用了一种分阶段的计算安排,让有限的芯片资源能够持续承担视频生成任务。

值得注意的是,视觉特征更新频率与最终画面帧率不同,这也是生成式视觉系统需要处理的时序问题。

7. 更惊人的是,它只使用了半个 TRIP 计算引擎。

马斯克透露,在特斯拉当前的 SoC B 芯片上,一共有 3 个 TRIP 计算引擎。

由于其他任务也要占用资源,这套 Reality View 生成系统只能使用其中半个引擎。

而且当前的 TRIP 硬件还有明显限制:

它主要处理 8 位整数运算(INT8),就连 Transformer 模型常用的 Softmax 运算,都需要通过软件模拟,耗费 28 个步骤。

Softmax 是 AI 用来计算注意力权重等信息的重要运算。

这说明,特斯拉目前是在算力非常有限、硬件功能也存在约束的情况下,实现这套实时生成系统。

8. 他们准备通过改进 Transformer 的信息输入方式,把延迟降低约 35%。

目前这套生成系统还有一个问题,就是延迟偏高。

马斯克透露了一个优化方向:

在扩散 Transformer 的不同网络层之间,逐步插入更新的 UVE 视觉特征。

通俗理解,AI 生成画面的时候,不必一直依赖最初接收到的那份视觉信息。

它可以在生成过程中继续获得更新的数据,让画面更及时地反映真实道路变化。

马斯克预计,这种方法可以将延迟降低约 35%。

这项技术非常值得关注,因为实时性直接决定生成式视觉技术能否真正适用于汽车和机器人。

9. 下一代 AI5 芯片预计将带来约 12 倍的计算能力。

马斯克在回复中表示,AI5 将是一次巨大的提升,计算能力大约提高 12 倍。

需要注意,他在这条回复中没有展开完整的测试口径。

但可以想象,随着算力提升,未来车载 AI 有机会使用更大的模型、更高的画面分辨率,以及更复杂的实时世界模拟。

目前需要精打细算才能运行的生成任务,未来可能会拥有更充足的计算资源。

10. 马斯克声称,FSD V15 的安全性相比 V14 提高了 25 倍。

马斯克还专门纠正了一个误解。

一些人以为他说的是提升 25%,但他强调自己的意思是 25 倍。

相关讨论提到了整个车队的安全表现。

不过,这个数字非常惊人,目前仍需要更完整的测试口径、数据和独立验证。

尤其需要区分关键人工干预、驾驶系统失误和真实交通事故等不同指标。

因此,现阶段应当把它视为特斯拉方面提出的安全性改善声明。

发布于 河北