理想即将推送的 7.0 版本软件,智驾方面有几个比较大的更新。
最重磅的就是在这个版本下,高速 NOA 也切到端到端的技术栈了,以前还是依靠高精地图 + 规则。
目前高速切了端到端的除了特斯拉,应该就是理想了。
城区切端到端的时候体验上变化很大,这回高速切端到端体验上变化也很大。
第二个变化是,城区体验也有优化,这个版本的模型已经加到 800 万 clips 了,相比 2 个月前我们体验的 400 万的版本,训练素材翻倍了。
关于高速切了端到端之后,能力和体验到底提升了哪些,以及哪些能力有回退,我们会拍个视频来分享。
这条微博聊聊第三个更新点,就是 UI 上增加了 AI 推理可视化。
这个功能你可以把它看作是 EID 可视化界面的 Plus、Max、Ultra 版本。
这个功能在可视化展示识别到的周围环境的基础上,增加了系统决策和注意力的展示。
就是以前只展示:
- 看到了什么(车道线、各种车辆的识别)
- 要干什么(蓝色的引导线)
但是现在把背后决策的过程也展示出来了。
目前展示的内容主要分 3 块:
- 端到端模型的轨迹
- Attention 注意力系统
- VLM 视觉语言模型
【端到端模型的轨迹】
端到端的模型实时输出的轨迹并不止一条,但之前 UI 上只会展示出系统最终执行的那一条。
但是现在会通过 10 个窗口展示 10 个模型输出的结果,而且这个结果上可以看到有百分比。
其实原始数据是系统给这些规矩打分,但是官方为了展示得更直观一些,把这些分数转化成了百分比。
系统在运行的过程中会一直选择得分高的路径来行驶。
这里我截了几张图,没来得及排版,大家可能看着有点费劲。
图一:识别到路边的非机动车,选择了稍微往左偏移一些的轨迹;
图二:一条三车道的路上,模型输出的路线里既有保持在当前车道行驶,也有从变道超车;
图三:掉头时候的路径规划,可惜显示面积太小,规划路线没有展示完整;
图四:复杂路口的轨迹规划;
图五:窄路绕行的轨迹规划;
图六:小路口左拐的轨迹规划。
【Attention 注意力系统】
这个注意力系统主要展示的是,对实时视频流中的交通参与者⾏为和环境路况的评估。
这里会通过热⼒图形式展⽰注意⼒系统的⼯作状态,越红的区域代表对智能驾驶决策影响越⼤,蓝色则反。
这个其实从上面的六张图也可以感受到,系统着重关注的是两侧的路沿和可能会发生干涉的交通参与者。
这里看两个比较典型的。
图七:常规的路沿其实是淡蓝色的,说明有关注,但是关注度没那么高。
但是在转弯的时候,车头方向的路线都会变成深红色。
图八:右侧通向的两轮车是淡蓝色,但是马路牙子上的两轮车是红色。
不知道是不是因为这个车的朝向可能会和我们的轨迹干涉,所以系统觉得这个车更影响决策。
【VLM 视觉语言模型】
这个以前只能通过一些系统播报来了解 VLM 的作用,但是播报的时候其实非常有限。
主要是可变车道、公交车道的识别,和丁字路口、学校的减速提醒。
但是现在通过对话框的展示来看,这套系统的工作比想象的勤奋一些。
会一直识别当前路上的情况,比如前车的颜色、动作、红绿灯状态等等。
那这些目前对决策的帮助相当比较有限,一方面是信息量还不够大,另一方面是这个系统运行的比较慢,没办法做到那么实时。
【总结】
这个页面对于普通用户来说,我觉得意义比较有限,因为在城区环境,尤其是复杂的城区环境,可能注意力全在看路,很难真的去看你到底怎么规划、注意力在哪。
对于普通用户来说,你只要开得好就行了,在你出现一些我不理解的操作的时候,用文字或者语音告诉我你是怎么想的就可以了,这些其实没那么重要。
但能展示出来一方面给了用户看 or 不看的选择;另一方面,系统信息透明度更高了。
可视化一直是一个系统能力展示的窗口,比如以前我们通过可视化有没有识别到锥桶,判断系统是否具备锥桶的识别能力;通过轨迹线的规划判断系统有没有绕行前面临停车的意图;通过红绿灯识别的速度来看系统的识别速度。
现在理想通过可视化把更多背后的东西都展示出来了,这个要是做好了还好,要是没做好,其实还是比较容易露怯的。
#理想明年有望实现L3级自动驾驶#
