63充电中
26-06-18 18:38 微博认证:汽车博主 微博原创视频博主

今天,蔚来新版本辅助驾驶全量推送了。

值得划重点的是,这次全量推送不是神玑芯片的车全量,而是蔚来 NT2、NT2.5、NT3 以及搭载了神玑芯片的乐道,多平台多车型,70 多万用户一起推。

想了解新版本体验的可以看这个:http://t.cn/AXX2b8ho。

这么多平台一起推在行业里还是不多见的,现在很多品牌也处于新老平台共存期,如何同时兼顾新老用户的体验,是行业共同的问题。

蔚来也不是硬着头皮把几个平台全做完了再一起推,而是这对于他们来说,一起推就是能力的一部分。

关于这点最近听少卿做了一些分享,为了实现同步推送,蔚来在背后做了不少工作。

除此之外,少卿还聊了另一个行业共同面临的问题,就是数据暴涨的同时,如何实现有效训练样本增长。

一、先来说第一个问题:不同硬件平台的同步推送需要做哪些工作。

首先第一个大前提还是建立在 NT2 本身的硬件布局足够超前,在 2020 年内部定义硬件架构的时候,NT2 的车就上了:

- 高线束瞭望塔布局的激光雷达
- 7 颗 800 万像素的摄像头
- 4 Orin-X 芯片

这些硬件是支持同步迭代的基础,你要是只有前向的摄像头,神仙来了也没用。

但是尽管硬件本身超前,这几代车的硬件还是有差异的。

比如摄像头虽然都是 800 万像素的,但是上了自研芯片之后,自研芯片上有更强的 ISP 图像处理单元,摄像头的成像性能是不一样的。

比如毫米波雷达虽然都有,但是后期升级到了 4D 毫米波。

所以蔚来需要做出一个能接入不同传感器的神经网络,而且对于很多传感器还得支持热插拔,毕竟有的车有激光雷达有的车没有激光雷达。

通过这种方式才能让蔚来用同样一套代码、同一个网络铺所有的车,在有限的研发资源下同时支持四个平台十几款车的同时发布。

这里还有一个大家看不到的细节是,之前的单一传感器里也会有自己的 ECU 去处理数据,比如毫米波雷达数据进来之后先处理一遍再传到主芯片上。

这样带来的问题是系统时延会更高,同时成本也会更高,传感器侧的软件迭代也不够方便,所以在 22 年开始蔚来就开始把很多传感器的处理芯片处理能力上移到主 ECU 里。

上面这些是和不同传感器适配的问题,下一个问题是不同的芯片如何适配。

这里的问题是不同的芯片要不要使用同一套代码,行业里有很多是不同的芯片就是完全两套不同的代码,这个从效率上来说肯定就是差了很多的。

蔚来因为在 20 年底开始规划 Orin-X 这代架构的时候内部就已经决定了要自研芯片,所以蔚来在英伟达 Orin-X 平台上开的时候就留了一手。

虽然在开发的时候英伟达有官方的工具链,但是蔚来只用到 CUDA 这一层,CUDA 是和硬件对接的第一层软件所以必须要用,CUDA 往上所有的软件(推理引擎、部署框架)蔚来都选择了自己做。

所以在研发前期这些看不到的地方蔚来做了很多工作,这也奠定了现在能双线进行的基础。

很多前期没有自研工具链的,现在想要同步推进 2 个平台的迭代就很吃力了。

另外,少卿还分享了两个内部利用 AI 提升效率的例子。

第一个是 AI 编译器。

云端训练出来的神经网络想要转成能部署在车端芯片上的代码需要有一个编译的过程,编译完了之后才能比较好的跑在车端的芯片上,这里包含算子优化、图优化、量化、内存布局优化等。

这个只要模型一改动,就得再来一次,之前人工手写的方式就非常耗人耗时,模型改完得 1-2 周才能部署到车上。

蔚来自研了 AI 编译器之后可以实现自动算子生成 + 自动图优化,部署时间大幅减小到 1-2 天。

第二个是自动化的 AI Agent。

模型部署到车上之前还有很多步骤,原来这个过程基本都是人工的,但现在这整个过程替换成了 AI Agent 的方式,这个效率继续从 1-2 天变成了 2 个小时。

所以虽然现在 NIO AD 团队需要支持的分支车型和平台更多了,但是实际去看这些流程的工程师比原来还更少了。

二、再来看数据的问题

数据驱动这次大家都听过,现在的问题是发展到现在,AI 性能想要继续提升 3 个点,数据需翻 10 倍,提升 18 个点就得要 10 的 6 次方的数据量,这是指数级的上涨。

从媒体测试的角度这点也非常直观,之前我们上海跑一圈就能发现好多问题,现在跑一圈不够了,得跑更多里程才能发现问题。

好消息是有数据的话,能力还能继续提升,坏消息是太花钱了。 大家的目标肯定都是在少花钱的基础上,收集更多有效数据。

现在蔚来的思路是这样的:

1. 建立一套云端下发系统,在量产车重找对研发有价值的 corner case,而且这个数据是可以跨平台使用的;

2. 收集辅助驾驶状态下驾驶员干预的数据,这里获得有效数据的效率非常高,这个也是最近这个新版本上同步上的能力;

3. 云端仿真,这里更多是收集一些更抽象的场景。

比如用户自己在开车的时候很少有走错路的数据,但是辅助驾驶会有可能出现一些人类不太犯的问题,但如果没有这样的数据,辅助驾驶可能就完全扑街了。

通过这些方式可以让数据收集的方式更高一些。

三、最后再记录一下部分 QA 内容。

Q:纯视觉的乐道会上 NWM 2.5 吗?纯视觉 vs 带激光雷达的世界模型表现有何不同?

少卿:前几天专门做了内部盲评,单 Orin 版本全面比原来好很多,从 2 点几分提升到 4 点几分(5 分制),还在继续迭代。

但是确实它对于我们的区别会比刚才说的这些平台要大一些,最主要的问题是算力的区别,在单 Orin 平台上需要做比较多额外的工作,得把模型大小压下来,但是压下来会出现很多新的问题,需要在这些问题上投入一些研发资源。

主要和算力有关,传感器的影响不大。

Q:双 9031 的工作逻辑是怎么样的?

A:双芯片逻辑是如果去做 L3,其实只有一种办法就是把两块芯片都跑起来,因为 L3 最终希望是毫秒级接管。

但是这件事情对于算力和功耗,尤其是功耗,其实是不太优的一种状态,我们设计了一个温备的逻辑,就温备的逻辑的意思是说我有一块芯片可以不完整的跑起来,它不需要去消耗那个功耗,但是它可以备在那,这个是双芯片的这个逻辑。

温备芯片同时干两件事:1. 跑数据筛选/验证逻辑;2. 温备冗余。

Q:如何看待特斯拉的 FSD?

A:对于我们来说,特斯拉确实在数据的体量上和训练的资源上是世界领先,或者说远远⼤于国内的公司,都不是⼀个量级,有可能是⾼⼀个量级以上。

从架构的⻆度来说,更多是⼀些⾏业内部的信息。我们在今年上半年推的世界模型加上闭环强化学习,在这个版本再加⼀个监督微调,从架构的⻆度来说,今年上半年应该是不弱于特斯拉的,尤其是闭环这⼀块,我们算是⽐较领先的。

在现在来说,我觉得可能⼤家相对来说架构会更统⼀、更⼀致了,相⽐国内这些还是跟以前的状态。所以对于我们来说,我们⾯临的问题是怎么在资源更少的情况下,尤其是算⼒更少的情况下,能达到⼀个类似的结果。

现在⼤家也在说这个延迟的问题。其实从350的版本,就是现在⻢上要发的NT2的版本,我们现在已经开始在优化延迟的问题。我们把建模的⽅式从轨迹变成⽅向盘、油⻔,就是在优化⼀定的延迟。

但是这件事对于我们来说是不够的,因为原来的控制体系,就是⼀个模型的控制体系,到真正的底盘、电机有很多层,AD⾥⾯可能就有⼀两层,在底盘控制域⾥⾯还有⼀两层,甚⾄两三层。

它的原因是原来没有⼀家供应商,因为底盘控制是供应商和很多插件做上去的,就是⽼的传统,每多⼀个团队就会多⼀层,因为⼤家都要把这个事情变成⼀个软件之后包接⼝,每包⼀层接⼝延时就会变⾼。

所以我们从350上开始优化这件事。优化的⽅式是通过在AD领域把编码⽅式或者是控制⽅式,改变了⽅式做硬件的打通。

这还不够,因为蔚来相⽐很多友商,或者很多供应商,另外⼀个好的点是我们底盘做得⽐较深,我们有很多底盘上的积累,以及它的⾃研程度是⾮常⾼的。

所以在接下来的版本上,我们从两三个⽉以上就开始了,只是说现在还没有推到量产版本上。

我们会跟底盘同事做⾮常深⼊的打通,使得我们能把⾃⼰在底盘上⾃研的优势和在智驾上⾃研的优势拼起来,最终产⽣⼀个对于智驾控制⾥⾯最⼩的延迟。

Q:今天说了很多数据的问题,有没有可能未来经过预训练之后的模型不再需要数据了,可以通过更强的AGI能⼒直接实现更强的⾃动驾驶的能⼒?

A:我想说数据才是这个时代AI的根。

⼤家看到的其实除了算⼒的提升之外,包括各种各样的模型,端侧算⼒、云端算⼒,过去这五年、⼗年提升了⾮常⾮常多,甚⾄是百万倍的提升。

但是所有的基础模型,包括⼤家⽤的语⾔模型,包括智驾和后⾯更新的模型,其实最根的问题还是数据。

语⾔模型是⼀个上帝恩赐的特殊领域,原因是没有任何⼀个AI应⽤是天然躺在这么多数据在互联⽹上。

⽐如⼤家做语⾔模型的时候,就简单把互联⽹上的数据下载下来,简单做⼀个清洗就有⼏⼗T甚⾄更⾼的数据。

但是其他所有的应⽤,都需要产⽣数据,解决数据的问题。尤其是智驾,我们今天说了这么多关于数据的事,本质上都是为了去解决像互联⽹上直接可以下载下来那些数据的问题。

互联⽹数据有两个点,⼤家可能感受没有这么明显。

第⼀个点是量⼤,第⼆个点是这些数据是怎么产⽣的呢?这些数据是⼗亿⽹⺠花了⼗年上传的数据。

上传的过程是⼀个Corner case过滤的过程,原因是因为上传是为了获得流量,上传是为了获得关注度。

所以⼤家上传的时候会天然说,我不去尽量上传那些Common case,不去上传⼤家都懂的东西,我去上传⼀些⼤家可能觉得新奇的东西、觉得更有价值的东西。

所以这是⼀个⼗亿⽹⺠花了⼗年做的数据筛选的结果。但是智驾有什么?智驾⾸先没有
这么⼤的数据量,第⼆是哪⼉来⼗亿⽹⺠呢?

所以智驾⾸先要解决的问题是,我要产⽣这么⼤的数据量,第⼆是我要产⽣等价于⼗亿⽹⺠做筛选的能⼒。

我显然没有这么多⼈⼯⼲这个事,我只能通过⾃动化去做。只有这⼀类数据,就是⼜量⼤、⼜ Corner case 明确的数据产⽣之后,神经⽹络才能发挥它的作⽤。

直到今天,越⼤的模型对于数据的结合性越强,所以这时候我们在真实世界,在数据的⻆度要解决的问题,也是我们今天讲的这些所有事情背后的原因。就是我们必须产⽣⾜够⼤的数据,必须产⽣⾜够Corner case的数据。

Q:为什么蔚来在当下这个节点能力有很大的提升?接下来我们对智驾能⼒该有什么样的预期?到什么时候用户体验上会觉得会有⼤的迭代?

A:为什么在这样⼀个时间点,有了更新的版本和更新的能⼒?⽆⾮这个能⼒最终就是三件事情构成的:新的算法、底层的硬件和底层的数据体系。

我们关于底层硬件和底层数据体系,⼀直这⼏年来说,持续不断在夯实和迭代,这些东西其实⼀直都在。

这⼏年从2024年开始,去发布这个世界模型,到后⾯在上⾯衍⽣了闭环强化学习的学习框架,其实意味着我们在算法的第⼀个体系⾥⾯,⾛到了⼀个更好的位置上。我们其实⽤更少的计算量、更少训练的成本,去产⽣了更好的结果。

所以如果说我们最近这⼀两年到底发⽣了什么,我觉得从表⾯上来说,就是算法体系的架构、闭环强化学习的变化,然后它⾛到了业界的前⾯,所以我们以更⾼的效率、更低的成本去产⽣更好的结果。

在底下,我觉得更底层是说,我们从2023年左右,认知到智驾其实跟前⾯⼏年不太⼀样了。

不⼀样的点⼤家看到的是,从原来的⽅式变成了⼀个端到端或者是其他名字、世界模型这些的⽅式。

但是我们看到的事情是说,在智驾,在物理AI这个领域,它是⼀个第三阶段的事情,我解释⼀下我们定义的第三阶段。

我们认为⼀个技术的发展分为四个阶段。

第⼀个阶段是⽬标和怎么评判好坏不清楚,⼤家不知道该往哪个⽅向⾛,也不知道怎么评判它。

第⼆个阶段是我们知道这个事情应该往哪个⽅向⾛,也知道了怎么评判好坏,但是我们不知道什么样的技术路线是好的。

也就意味着,在技术路线上存在着弯道超⻋的可能性,存在更低成本实现更好结果的可能性。

第三个阶段就是技术路线收敛,⼤家⾛的都是类似的⽅式,靠更多的算⼒、更多的数据、更多的⼈员投⼊来去产⽣结果和差异化。

第四个阶段是说,第三个阶段的价值也没有了,性能的提升已经进⼊ S 曲线的晚期了,最终的评分⽆⾮你是94,我是95,对于用户来讲没有那么重要了。

所以靠产品细节的定义,⽤⼾交付细节的定义,⽤更细分的市场产品设计来产⽣差异化。

在前⾯2020年左右,智驾已经进⼊第三个阶段,⼤家更多拼谁的⼯程师更多,谁的测试⻋更多,解决这个问题。

从2023年⻆度来说,这个事情⼜回到了第⼆阶段,可以开始⽤更新的技术创新来去解决问题,来去产⽣差异化。

所以我们从那个时候开始,不仅仅是做新的算法,也做组织变⾰。

这前⾯我们跟⼤家聊过⼀次,在⼤概两年前的状态,我们把组织变成了接⼒跑的形式,就是4×100⽶的形式,第⼀棒跑预研,第⼆棒交付,第三棒跑跨平台,第四棒跑具体⻋的交付。

这样⼀个结构,也是在那个时间点,我们觉得它从第三阶段退回到了第⼆阶段,所以我们应该更多去⿎励创新,⿎励预研。

所以我们在第⼀棒投⽐较少,因为第三阶段更多是投⼈和⼯程化,会多;第⼆阶段是更多在预研这件事情上投⼊丰富资源,去布预研团队。

最终⼤家看到⼤的层⾯,是世界模型加闭环强化学习。但是细的层⾯有更多的创新,有的能说出来,有的说不出来,去⽀撑整个⼤的⽅⾯。

#蔚来##蔚来四平台超70万用户同步升级#

发布于 上海