侧端世界模型可能是个坑。
这几天试了两家的新版本,都在车端用上了世界模型,但都表现出类似的问题,就是大部分时候感觉模型好厉害,真的有老司机的预判能力,但偶尔又会表现出新手一样的愚蠢决策。
比如说,对于死角位较快速度接近的VRU,表现得像只受惊的兔子一样。而对于瞎了一样乱开的汽车,又好像视而不见一样。
我想了半天,觉得问题应该都在世界模型上。
本质上来说,世界模型就是根据过往的信息,预测接下来几秒中可能发生的事情。就好像你看见一个人走到一块广告牌后面,被完全遮挡住了,但你“知道”他会在什么时间,在哪里,用什么速度重新出现。
但是,我们小时候应该都被爸妈“整蛊”过,当着我们的面走到遮挡物后面,然后就藏起来了,直到我们着急得不得了才出来。
我们着急,就是因为我们头脑中的“世界模型”在那瞬间失效了!
没错,世界模型其实并不神秘,它就是根据大量的经验,预测某一场景接下来几秒钟的发展趋势。
问题就是,这种预测在经过训练后一定会收敛到一个范围内,否则就没意义了,而这个范围就是“一般情况”。
所以去到车上,就很容易出问题了:你在主道上快速行驶,一辆车在辅道慢速汇入,“一般情况”当然是对方减速让路,但万一遇到个愣头青,突然加速跟你抢道呢?世界模型的预测就失效了,而如果在整个系统中世界模型的权重较大,或者为了串联世界模型而加大了延迟,就会出现对危险视而不见的情况。
当然,系统下一步大概率是触发兜底规则,大力刹车,不会真的撞上去,只是体验就会很差了。
对VRU过于敏感也能这样解释。为了避免事故,世界模型在训练时被喂了大量VRU冲撞的数据,让模型觉得只要VRU用较快速度靠近就会发生碰撞是“一般情况”,而忽略了VRU的高机动性。
而侧端世界模型的这问题是几乎无解的,因为我们自己偶尔也会被那些眼瞎脑残的司机吓得口吐莲花。我们这个效率极高、参数庞大的碳基世界模型都有失效的时候,而且概率还不是特别低。
所以我觉得,接下来侧端世界模型可能会跟大语言模型一样,被放在辅助的位置,用来提升舒适性,而不是继续被用来做决策核心。
这个预测大概27年下半年能验证。
#智驾仙人的碎碎念##智能车研究所#
发布于 广东
