轰鸣的小跑SVM
26-11-17 11:22 微博认证:汽车达人 微博新知博主 汽车博主

iCAR V25是台很有意思的车---方正、硬朗的造型赋予了V25非常强的辨识度,可是喜欢方盒子的人,可不只是天天在沙漠里玩耍,平时一样要在城市里通勤、穿街过巷,当你在路口遇到探头、窄路会车的时候,能不能真正驾驭它、从容应对路况,都会是非常实在的感受---这是这个时期方盒子为什么突然得以爆火真正的原因,新能源解决了过去方盒子是油老虎的问题,而智能化解决了方盒子“烈马难以驾驭”的问题。

要如何驾驭V25就是这个“有意思”的地方---这台车搭载了征程6P的猎鹰700+,560TOPS,是有点想法的,为啥这么说呢?芯片、算力这些数字最后是如何怎么变成路上的真实表现的,它是一个真实的课题。很多时候大家会有种错觉就是,只要芯片算力足够强,一切计算都可以在瞬间完成---但这个想法恰恰是有问题的,我们就借这个问题来聊聊地平线一直在说的“软硬协同”到底是什么。

我们得先把一次模型的推理过程拆开来。
摄像头输入的图像,通常要经过一连串运算才能变成可用的结果,而每一步计算过程都需要数据,当中既有模型的权重,也有前面算出来的中间结果。这些东西都得从存储里读出来,送到运算单元,算完之后才能交给后面的步骤---而在这个搬数据和等东西上面,其实是要消耗掉不少时间的,所以运算单元再快,但凡下一步需要的数据还没有来,它也只能干等。

这就是“内存墙”的意义---计算能力增加了之后,如果数据供应跟不上的话应该怎么办?此时盲目增加运算单元是未必能够缩短推理时间的。征程6P采用的Nash架构,设计了L0M、L1M、L2M三级存储,负责数据缓冲与交换,其实想要解决的就是这个问题。

这个架构抓住了一个思路---对于一些参与计算的数据,如果接下来还要继续使用的话,那么就尽量在片上留住它、复用它,如此就可以减少反复往外部存储搬运的过程。而在这个有限的存储空间里,过度数据如何存放、何时释放,以及软件的调用规划,都会直接影响到下一步的情况---硬件架构的设计和软件上的算法设计,在这里就得到了某种意义上的“统一”。

以及,一个容易被忽略的事情是,神经网络里的运算,实际上非常复杂。
大量矩阵计算之外,还有逐个元素的运算、数据排列变换等工作。Nash配备了不同类型的计算单元,确实可以给Transformer常用的一些算子提供硬件加速。但搭载模型之后仍然要靠编译和调度来组织,如果后一步依赖前一步的结果,那么前面没做完,后面就开不了工。

地平线在这里实际上有着非常独到的思考。
比如我们前面提到的,耗时主要在读写数据,还是在计算过程里?是否有某个单元因为耗时超长,而导致其他单元没有办法和它并行?找到真正堵住的地方,才能知道模型结构、数据安排,执行方式应当如何优化。说到这里,你就能知道一件事情了---峰值算力、每秒可以完成的推理量,以及一次推理应当在多长时间内出结果,就成了三件相辅相成的独立事件,在辅助驾驶的过程里,系统由于需要不断接收新的画面,判断与决策都是在持续刷新的,而决策之后,还有车辆控制和执行的响应时长,在实时驾驶过程里,辅助驾驶能不能在千钧一发的瞬间给到你信心,差异就藏在这些细节之中。

举个例子吧。
比如V25的这段演示,前方右侧车头探入行驶路线,车辆向左调整后就直接继续通过了。
你看到的是一个再普通不过的情景了,可是你不知道的是背后一堆惊心动魄的运算过程,在这个过程中,环境里对手的位置出现了变化,自身与前车、路边的距离也一直处在变化之中,前一个瞬间系统认为合理的路线,下一个瞬间就被否定掉了,你想想你的报告被领导打回来的样子是什么?

但V25,它已经通过软硬协同的优化,最大限度完成了计算上的提速,并给到了你这个结果。
要知道路上的其他车,是不会停下来等你做完计算的---而能够在电光火石的空隙之中找到自己答案的,才是好的辅助驾驶。

这就是理解V25这套系统的切入点---模型如何才能比较好地去发挥芯片的能力。
算法所需要的数据是如何流动的,当中的每一步计算应该如何衔接,就决定了560TOPS有多少能力能够在你需要的时候派上用场,这就是所谓的软硬协同,最终需要落实到的细节---而魔鬼,就出在细节里。

发布于 广东