#特斯拉车载算力实时AI建模##模型时代#
马斯克解释特斯拉 FSD 的世界模型与实时生成原理:
如果有人对此感兴趣的话:
从去年开始,我们就已经拥有了一个精度接近像素级完美(pixel-perfect)的世界模型。这对于生成合成数据(synthetic data)至关重要。
车端运行的是这个世界模型的一个小得多的版本。它采用条件均值流模型(conditional mean-flow model),输入来自特斯拉通用视觉编码器(Tesla Universal Vision Encoder,简称 UVE)最近一段时间生成的特征序列。
这些 UVE 特征,同时也被输入到一个拥有 30 亿参数的编码器模型中,由后者生成实际的驾驶动作。
我们从这些 UVE 特征中分出一条独立的处理分支,然后运行一个约 10 亿参数的扩散模型(diffusion model)。
这个模型以上一次生成的真实世界视角画面(reality-view generation)为输入,先向画面中添加噪声,再通过去噪过程,将其更新为当前时刻的可视化画面。
随后,模型会生成一小段视频,包含 8 帧图像,帧率为每秒 36 帧,分辨率与车内用户界面(UI)屏幕相同。
这项计算任务由半个 TRIP 引擎承担。UVE 以 18Hz 的频率输出特征,也就是每秒 18 次。每次 UVE 输出新的一帧特征,系统都会执行相应的生成任务,并将计算分摊到 4 个周期中完成。
目前,由于算力限制,系统的延迟仍然有些偏高。
不过,我们已经找到了一些方法,可以在扩散 Transformer 的不同网络层之间,交错引入更新的 UVE 特征,从而将延迟降低约 35%。
以下是关键术语解释:
读懂马斯克的 FSD 技术揭秘:8 个关键术语
马斯克这段推文透露了特斯拉自动驾驶系统的一项重要进展:特斯拉已经能够在汽车上运行一个约 10 亿参数的生成式世界模型,利用自动驾驶系统的视觉信息,实时生成车辆周围的道路画面。
这项技术涉及世界模型、视觉编码器、扩散模型、Mean-Flow 等概念。理解下面 8 个术语,就能基本看懂它的工作原理。
1. 世界模型(World Model)
让 AI 在内部建立一个能够模拟现实世界的系统。
人开车时,看到路边有个足球滚出来,可能会提前减速,因为我们知道后面可能有孩子追过来。
世界模型就是要让 AI 学习类似的规律:汽车怎样运动、行人怎样移动、不同物体如何相互影响,以及接下来可能发生什么。
马斯克提到的 pixel-perfect world model,指的是一个能够生成高度逼真画面的世界模型,目标是让生成结果在像素层面接近真实世界。
这种能力可以用于生成训练数据,也可以用于实时重建汽车看到的世界。
2. 合成数据(Synthetic Data)
由计算机生成、可以用来训练 AI 的数据。
假设我们希望训练自动驾驶汽车应对暴雨中的连环追尾事故。
这种情况很危险,也很少发生。依靠真实道路采集,可能需要很长时间才能积累足够多的案例。
如果有一个足够准确的世界模型,就可以在虚拟环境中制造事故,修改天气、车辆速度、道路环境,生成大量不同的训练样本。
马斯克表示,特斯拉从去年起就拥有一个接近像素级真实的世界模型,而它的一项重要用途就是生成合成数据。
3. 通用视觉编码器(Universal Vision Encoder,UVE)
把摄像头拍摄的画面,翻译成神经网络能够处理的数字特征。
想象一下,汽车摄像头看到前方有一辆红色轿车正在减速。
计算机最初接收到的只是大量像素数据。UVE 将这些像素转化成更有意义的特征,让后续神经网络能够利用其中的车辆、道路、位置关系和运动信息。
你可以把 UVE 理解为自动驾驶系统的视觉信息处理中心。
马斯克透露,特斯拉的 UVE 特征会被送往两个不同的模型:
* 一个约 30 亿参数的模型,用于生成驾驶动作。
* 一个约 10 亿参数的模型,用于生成真实世界的可视化画面。
两个模型共享对世界的视觉表征。 这是理解特斯拉这套架构的关键。
4. 条件均值流模型(Conditional Mean-Flow Model)
一种能够减少生成步骤、提高图像生成速度的方法。
传统生成模型有点像一个画家,需要反复修改草稿,才能完成一张画。
Mean-Flow 的思路,是让神经网络学习从起点到终点的平均变化速度,从而用更少的计算步骤完成生成。
例如,假设从一张噪声图片变成清晰图片,原本需要多次逐步处理。Mean-Flow 希望通过学习整个变化过程,缩短达到最终结果所需要的计算路径。
这里的 Conditional 意为“有条件的”。模型生成画面时,会根据特斯拉 UVE 提供的视觉信息进行约束。
这项技术对自动驾驶尤其有价值,因为汽车不能像普通 AI 视频工具那样,花费几秒钟生成一段画面。
它必须尽可能跟上真实世界的变化。
5. 扩散模型(Diffusion Model)
一种通过去除噪声来生成图像的 AI 模型。
假设你有一张照片,然后不断向照片添加随机噪点,直到几乎看不清原来的内容。
扩散模型通过训练,学习这个过程的逆向操作:如何从带有噪声的图像中恢复和生成合理的画面。
特斯拉采用了一种适合连续视频生成的方式。
它拿到上一轮生成的道路画面,加入一定的噪声,然后根据最新的 UVE 特征进行去噪,生成更新后的画面。
比如,上一刻路口的行人还站在人行道上,下一刻他已经迈出一步,模型就需要生成这个变化,同时保持街道、建筑和车辆的连续性。
马斯克透露,特斯拉车端承担这项任务的模型规模约为 10 亿参数。
6. 扩散 Transformer(Diffusion Transformer,DiT)
利用 Transformer 神经网络完成图像和视频生成中的去噪计算。
Transformer 是现代大语言模型广泛采用的神经网络架构。它能够处理输入信息中各个部分之间的关系。
用于图像生成时,它可以学习画面不同区域之间的联系。
例如,一辆汽车向左转弯,它的车身角度、车轮、阴影以及与周围车辆的位置关系,都要相应改变。
Diffusion Transformer 可以利用这些关联信息,让生成的画面更加协调。
马斯克提到的一个重要优化,就发生在 Diffusion Transformer 的内部计算过程中。
7. TRIP 引擎(TRIP Engine)
特斯拉车载芯片中用于加速神经网络运算的专用计算硬件。
可以把它理解为专门为 AI 计算设计的发动机。
运行神经网络需要执行大量矩阵运算。TRIP 引擎能够高效完成这类计算。
马斯克透露,车内生成式世界模型的计算,只使用了半个 TRIP 引擎的资源。
这很重要。
传统的 AI 视频生成往往需要高性能 GPU,而汽车必须在有限的计算能力和功耗预算下,同时执行感知、驾驶决策等任务。
特斯拉希望将视频生成控制在足够低的计算成本之内,使其能够持续运行。
8. 延迟(Latency)与交错注入(Interleaving)
让 AI 在生成画面的过程中,及时获取更新的现实信息。
假设摄像头在上午 10 点整拍下一个路口。
AI 开始根据这张画面的视觉特征生成视频。但是,生成过程需要一定时间。
如果前方车辆在此期间突然变道,AI 最终生成的画面就可能落后于真实情况。
马斯克提出的优化方案,是在 Diffusion Transformer 的不同计算层之间,交错引入更新的 UVE 特征。
也就是说,模型开始生成时使用一组视觉信息,随着计算继续进行,后续网络层还能够获得更新的信息。
这样可以减少最终画面相对于真实世界的延迟。
马斯克预计,这种方法能够将延迟降低约 35%。
