63充电中 24-12-26 21:15
微博认证:汽车博主 微博原创视频博主

理想即将推送的 7.0 版本软件,智驾方面有几个比较大的更新。

最重磅的就是在这个版本下,高速 NOA 也切到端到端的技术栈了,以前还是依靠高精地图 + 规则。

目前高速切了端到端的除了特斯拉,应该就是理想了。

城区切端到端的时候体验上变化很大,这回高速切端到端体验上变化也很大。

第二个变化是,城区体验也有优化,这个版本的模型已经加到 800 万 clips 了,相比 2 个月前我们体验的 400 万的版本,训练素材翻倍了。

关于高速切了端到端之后,能力和体验到底提升了哪些,以及哪些能力有回退,我们会拍个视频来分享。

这条微博聊聊第三个更新点,就是 UI 上增加了 AI 推理可视化。

这个功能你可以把它看作是 EID 可视化界面的 Plus、Max、Ultra 版本。

这个功能在可视化展示识别到的周围环境的基础上,增加了系统决策和注意力的展示。

就是以前只展示:

- 看到了什么(车道线、各种车辆的识别)
- 要干什么(蓝色的引导线)

但是现在把背后决策的过程也展示出来了。

目前展示的内容主要分 3 块:

- 端到端模型的轨迹
- Attention 注意力系统
- VLM 视觉语言模型

【端到端模型的轨迹】

端到端的模型实时输出的轨迹并不止一条,但之前 UI 上只会展示出系统最终执行的那一条。

但是现在会通过 10 个窗口展示 10 个模型输出的结果,而且这个结果上可以看到有百分比。

其实原始数据是系统给这些规矩打分,但是官方为了展示得更直观一些,把这些分数转化成了百分比。

系统在运行的过程中会一直选择得分高的路径来行驶。

这里我截了几张图,没来得及排版,大家可能看着有点费劲。

图一:识别到路边的非机动车,选择了稍微往左偏移一些的轨迹;

图二:一条三车道的路上,模型输出的路线里既有保持在当前车道行驶,也有从变道超车;

图三:掉头时候的路径规划,可惜显示面积太小,规划路线没有展示完整;

图四:复杂路口的轨迹规划;

图五:窄路绕行的轨迹规划;

图六:小路口左拐的轨迹规划。

【Attention 注意力系统】

这个注意力系统主要展示的是,对实时视频流中的交通参与者⾏为和环境路况的评估。

这里会通过热⼒图形式展⽰注意⼒系统的⼯作状态,越红的区域代表对智能驾驶决策影响越⼤,蓝色则反。

这个其实从上面的六张图也可以感受到,系统着重关注的是两侧的路沿和可能会发生干涉的交通参与者。

这里看两个比较典型的。

图七:常规的路沿其实是淡蓝色的,说明有关注,但是关注度没那么高。

但是在转弯的时候,车头方向的路线都会变成深红色。

图八:右侧通向的两轮车是淡蓝色,但是马路牙子上的两轮车是红色。

不知道是不是因为这个车的朝向可能会和我们的轨迹干涉,所以系统觉得这个车更影响决策。

【VLM 视觉语言模型】

这个以前只能通过一些系统播报来了解 VLM 的作用,但是播报的时候其实非常有限。

主要是可变车道、公交车道的识别,和丁字路口、学校的减速提醒。

但是现在通过对话框的展示来看,这套系统的工作比想象的勤奋一些。

会一直识别当前路上的情况,比如前车的颜色、动作、红绿灯状态等等。

那这些目前对决策的帮助相当比较有限,一方面是信息量还不够大,另一方面是这个系统运行的比较慢,没办法做到那么实时。

【总结】

这个页面对于普通用户来说,我觉得意义比较有限,因为在城区环境,尤其是复杂的城区环境,可能注意力全在看路,很难真的去看你到底怎么规划、注意力在哪。

对于普通用户来说,你只要开得好就行了,在你出现一些我不理解的操作的时候,用文字或者语音告诉我你是怎么想的就可以了,这些其实没那么重要。

但能展示出来一方面给了用户看 or 不看的选择;另一方面,系统信息透明度更高了。

可视化一直是一个系统能力展示的窗口,比如以前我们通过可视化有没有识别到锥桶,判断系统是否具备锥桶的识别能力;通过轨迹线的规划判断系统有没有绕行前面临停车的意图;通过红绿灯识别的速度来看系统的识别速度。

现在理想通过可视化把更多背后的东西都展示出来了,这个要是做好了还好,要是没做好,其实还是比较容易露怯的。

#理想明年有望实现L3级自动驾驶#

发布于 上海