轰鸣的小跑SVM
26-08-26 10:31 微博认证:汽车达人 微博新知博主 汽车博主

#小鹏第二代VLA能预测6秒后世界##小鹏第二代VLA记得前30秒发生了什么# 如果模型想要像人类一样理解世界,必须先理解一件事,也就是时间。举个很简单的例子。你开车经过路边的时候,几秒前看见一个孩子追着球跑,随后孩子被一辆停着的货车挡住了。此时从摄像头的当前画面看,前方可能什么都没有,但一个有经验的司机依然会提前收油,因为他记得刚才发生过什么,也知道那个孩子可能突然从货车后面跑出来---这就是驾驶中的“时序”。

我们平时说智驾能识别多少种物体,对异形障碍物的识别,讨论的主要还是空间。但真实世界并不是一张静止的照片,它实际上是“连续播放”的存在,同样是一辆靠近车道线的车,它可能只是在车道内轻微摆动,也可能正在准备加塞。如果只看此刻这一帧,两种情况可能非常相似;但如果把过去几秒连起来看,就会发现他此前持续横向偏移的状态,又或者他是不是做了反复的试探,还有他与前车距离是不是越来越近,这些是可以给到你很多信息的。

人类司机判断对方意图,依靠的其实不是某一个瞬间,就是这么一段时间里的变化。
6.3.0版,最强的地方,就在这,新增了一个Infini-VLA长时序架构,有效时序30秒。所谓“记得前30秒”,当然不是简单地在车里保存一段录像,保存下来不等于理解,而真正重要的是,模型能够从过去30秒的连续信息里,提取对当前驾驶有价值的状态。

这个行人刚才从哪里走过来?旁边车辆是不是已经连续几秒向我靠近?前车为什么突然减速?刚才被大车遮住的电动车可能出现在哪里?这些历史信息,会改变车辆对当前风险的判断。如果说过去的智驾更多是在回答“它现在在哪里“,长时序模型开始尝试回答的是“它刚才从哪里来,状态发生了什么变化,接下来又可能去哪里?”

这相当于智驾开始从识别“物体”,走向理解“事件”。

当然,严格来说,以前的智驾并不是完全没有时序能力。
目标跟踪、BEV时序融合,本来就会利用连续多帧信息。可是这次真正值得关注的是小鹏的有效时序扩展到了30秒,并且试图让这段历史直接进入VLA的判断和决策,这和以前的意义是不一样的---以前更多的是在帮助系统更稳定地去跟随、鉴定目标,而长时序是在帮助模型理解一段交通行为的前因后果。

但仅仅记住过去还不够。
开车困难的地方在于所有的交通参与者都在运动,而且彼此影响。
旁边的车可能继续直行,也可能突然加塞;行人可能停在路边,也可能横穿;自车选择加速、减速或者让行,又会反过来影响其他人的动作。所以,小鹏又把X-Foresight预测世界模型放到了车上,让它能够推演未来6秒的环境变化。这里的“预测6秒后世界”并不是说模型能够看见一个唯一且注定发生的未来。

它就是人类司机在脑中的快速预演---如果我继续保持现在的速度,周围的车和人可能怎么运动?如果我提前减速,风险会怎样变化?如果我现在让出一点空间,对方是不是会完成并线?不同动作对应着不同的未来,模型需要在这些可能性中,选择一条更安全、更合理的轨迹。

老司机是这样的没错吧?看到旁车有加塞苗头,不会非要等它压过车道线才踩刹车;看到路口前车反复犹豫,也不会继续紧贴着往前开了,他会提前留出余量,因为脑子里已经大致推演了接下来几秒可能发生什么。

X-Foresight做的,就是把这种“预演未来”的能力交给模型。
它会把自车动作和未来环境变化放在一起考虑,而不仅仅是预测一段轨迹而已---因为驾驶不是观看一场与自己无关的电影,事实上你做出的每个动作,都会改变电影后面的剧情。

这时候,30秒记忆和6秒推演就形成了一条完整的时间轴。
过去30秒告诉模型事情为什么发展到现在,未来6秒则判断事情接下来可能变成什么。只有记忆,没有预测,你可能知道旁车一直在靠近,却不知道这种变化意味着什么;只有预测,没有历史,车辆又很难判断旁车只是偶然摆动而已,还是说已经已经表现出明确的并线意图。

两者结合,智驾才有机会从“危险出现以后完成迅速反应”,升级为“在危险来临之前就做好了充足的准备”。长时序和世界模型带来的提升,收益是肉眼可见的---不只是安全,也会直接反映在所谓的“丝滑感”上。

智驾更丝滑是因为刹车踩得更轻、方向盘打得更慢而已嘛?其实更根本的原因,是“更早地做出决策”。如果系统直到前车都急刹了、旁车已经压线了、行人已经进入车道了才开始处理,那它只能用更大的制动力和更急的转向来补救,乘客感受到的自然就是点头、犹豫和一惊一乍。而如果模型能提前几秒发现趋势,就可以先收一点电门、慢慢拉开车距、提前留出空间。尽管最后可能同样是减速让行,但动作发生得更早,整个过程就会自然很多。

这就是“拟人感”。

安全和舒适,并不是两个完全独立的能力。很多时候,舒适恰恰来自对风险更早的理解。

从理解空间到理解时间,改变的不只是模型能够多看几秒而已,如果我们说汽车开始尝试把过去、现在和未来连接起来,形成对真实世界连续的理解,那么你也就知道立刻,真正高级的驾驶,不在于“处理当下”,而在于“预判未来”。

一年之约了,6.3.0,终于要揭开面纱了。
从高速NGP,到城区NGP,到全国都能开,到端到端,再到VLA、VLA2.0,再到长时序,尽管智驾的故事似乎一直在变化,但有一件事,从来都没有变过。

那就是,XP没有的时候大家都没有,XP不提的时候大家都不提。
XP一旦打开了,2-3个月后,友商们纷纷都开始跟进了。
为什么呢?
为什么呢?
这是为什么呢?

发布于 广东