最近看了一篇自动驾驶论文LOWP
现在很多端到端智驾方案,会先把多路摄像头的图像转换成BEV,也就是鸟瞰视角下的场景特征,再根据这些信息预测车辆接下来应该怎么开。
但问题来了:
车辆只是要规划未来几秒钟的行驶轨迹,真的需要把周围整个空间都计算一遍吗?
这篇论文做了一个很有意思的尝试。
研究人员发现,在一套现有的端到端规划模型中,深度网络和BEV编码器占据了大约60%的模型参数。
他们干脆绕过稠密BEV构建,只用32个可学习查询,直接从摄像头特征中读取规划相关的信息。
其中16个查询利用相机标定,把3D空间中的锚点投影到图像上,寻找相关特征;另外16个则结合相机视线的几何信息,在图像特征中提取全局信息。
最后融合两路结果生成轨迹。
数据也挺有意思。
在nuScenes开环测试中,相比采用稠密BEV的对照模型,参数量从8080万下降到了4290万,减少约47%。
同一GPU上的网络推理耗时,从41.35毫秒降到了24.42毫秒,速度提升约1.7倍。
平均轨迹L2误差则从0.302米改善到了0.296米。
也就是说,在这个实验里,减少将近一半的模型参数,并没有明显牺牲规划精度。
当然,这还不能证明BEV已经没有必要。
在Bench2Drive闭环仿真中,系统依然出现了因为刹车控制持续介入而原地停滞的问题。更轻的模型,也不等于整套驾驶系统就更安全。
端到端智驾下一阶段的竞争,不应该只关注怎么把模型做得更大,还应该研究哪些信息是真正需要计算的。
过去我们习惯先尽可能完整地理解场景,再做决策。
未来还有另一条值得探索的路线:从决策需要什么出发,反过来决定感知应该重点处理哪些信息。
车端算力永远不是无限的。
能够用更少的计算,做出同样可靠甚至更好的决策,这本身就是非常重要的技术进步。
#影总聊智驾##大v聊车#
